Il n'y a pas lieu d'inviter l'autorité cantonale à statuer à nouveau sur cette question, attendu qu'en matière de prévoyance professionnelle, il n'existe pas de droit aux dépens découlant de la législation fédérale pour la procédure de première instance (
art. 73 LPP;
ATF 126 V 145 consid. 1b). Mais le recourant, qui obtient gain de cause devant le Tribunal fédéral des assurances, alors qu'il a succombé en procédure cantonale, a la faculté de demander aux premiers juges de se prononcer sur l'allocation d'une indemnité de dépens, au regard de l'issue définitive du litige.
Par ces motifs, le Tribunal fédéral des assurances prononce: