Il convient donc d'annuler la décision d'irrecevabilité et de
renvoyer la cause au département en l'invitant à procéder selon les considérants qui précèdent. Au vu du sort de la cause, il est statué sans frais
(art.47 al.1 LPJA) et une indemnité de dépens doit être octroyée au recourant (art.48 al.1 LPJA).
Par ces motifs,
LE TRIBUNAL ADMINISTRATIF
1. Annule la décision d'irrecevabilité du 2 avril 1996.
2. Renvoie la cause, au sens des considérants, au Département de la justice, de la santé et de la sécurité.
3. Statue sans frais.
4. Alloue au recourant une indemnité de dépens de 500 francs à la charge
de l'Etat.
Neuchâtel, le 25 juin 1996