A.B. a bénéficié de prestations complémentaires à l'AVS servies par la Caisse cantonale neuchâteloise de compensation (ci-après CCNC) à compter du 1er février 1994. La caisse de compensation a procédé à un nouveau calcul des prestations en question le 19 septembre 1994 avec effet au 1er octobre suivant, puis le 28 décembre 1994 pour l'année 1995. Le 17 janvier 1996, l'agence communale AVS de Peseux a, sur demande de l'assuré, signalé à la CCNC que la dernière de ses décisions était entachée d'une erreur, aucune taxe journalière de home ne devant être prise en compte pour A.B. qui avait quitté Landeyeux après un séjour limité.