Il suit des considérants qui précèdent que le prononcé entrepris
doit être confirmé, ce qui conduit au rejet du recours. Il est statué sans
frais, la procédure étant en principe gratuite (art.85 al.2 litt.a LAVS
par renvoi de l'art.7 LPC). Il n'y a en outre pas lieu à allocation de
dépens.
Par ces motifs,
LE TRIBUNAL ADMINISTRATIF
1. Rejette le recours.
2. Dit qu'il n'est pas perçu de frais de justice ni alloué de dépens.
Neuchâtel, le 25 novembre 1996