Annule la décision entreprise.
2. Renvoie la Caisse cantonale neuchâteloise de compensation à agir conformément aux considérants.
3. Statue sans frais ni dépens.
Neuchâtel, le 10 mai 1995
AU NOM DU TRIBUNAL ADMINISTRATIF
Le greffier Le président