Il résulte de ce qui précède que, entièrement mal fondé, l'appel ne peut qu'être rejeté, aux frais de son auteur qui devra également verser une indemnité de dépens à l'intimée, étant rappelé que cette dernière plaide au bénéfice de l'assistance judiciaire. L'indemnité due à son mandataire d'office sera fixée par voie de décision séparée.
Par ces motifs,
Cour d'appel civile
1. Rejette l'appel, entièrement mal fondé, et confirme la décision du 27 avril 2012.
2. Arrête les frais de la procédure d'appel à 600 francs et les met à la charge de l'appelant qui les a avancés.
3. Condamne l'appelant à verser à l'intimée une indemnité de dépens arrêtée à 800 francs.
Neuchâtel, le 14 décembre 2012