Au vu du sort de la cause, il est statué sans frais (art.47 al.1 LPJA). Le recourant a droit à une indemnité de dépens (art.48 al.1 LPJA), qui seront acquittés en mains de l'Etat à concurrence de la rémunération qu'il y a lieu d'accorder à l'avocat d'office (art.19 al.2 LAJA).
Par ces motifs,
LE TRIBUNAL ADMINISTRATIF
1. Annule la décision de la Caisse cantonale neuchâteloise de compensation du 24 août 1995 et renvoie le dossier à ladite caisse pour nouvelle décision au sens des considérants.
2. Met le recourant au bénéfice de l'assistance judiciaire et fixe l'indemnité due au mandataire d'office, désigné en la personne de Me S., à 600 francs.
3. Statue sans frais.
4.