Par ces motifs,
la Cour de droit public
1. Annule la décision attaquée, ainsi que celle du Service des migrations du 1er décembre 2009.
2. Renvoie le dossier audit service au sens des considérants et pour nouvelle décision.
3. Statue sans frais et ordonne la restitution de son avance de frais au recourant.
4. Alloue au recourant une indemnité de dépens de 1'775.40 francs à la charge de l'Etat.
5. Invite le Département de l'économie à statuer sur les dépens de première instance de recours en faveur du recourant.
Neuchâtel, le 24 novembre 2011
1