Le 31 août 2004, il a annoncé son départ pour la commune de [...] (ZG). Le 13 décembre 2004, l'office de perception a informé A.X. que son départ pour [...] (ZG) entraînait la fin de son assujettissement à l'impôt direct dans le canton de Neuchâtel et, le cas échéant, le remboursement des montants versés pour la période fiscale 2004. Le service des contributions (ci-après aussi: le service) a par la suite considéré que le dépôt des papiers de A.X. dans cette commune n'y avait pas créé de domicile fiscal et a, par décision du 13 novembre 2007, assujetti de manière illimitée le couple dans le canton de Neuchâtel dès la période fiscale 2004.