Rejette le recours dans la mesure où il est recevable.
2. Arrête les frais de justice à 1'000 francs et les met à la charge du recourant qui les a avancés.
3. Condamne le recourant à verser à l’intimée une indemnité de 1'000 francs à titre de dépens.
Neuchâtel, le 3 juillet 2018
1 L'autorité parentale inclut le droit de déterminer le lieu de résidence de l'enfant.
2 Un parent exerçant conjointement l'autorité parentale ne peut modifier le lieu de résidence de l'enfant qu'avec l'accord de l'autre parent ou sur décision du juge ou de l'autorité de protection de l'enfant dans les cas suivants:
a. le nouveau lieu de résidence se trouve à l'étranger;