B. X. interjette recours devant le Tribunal administratif contre ce jugement, concluant à l'annulation de celui-ci, au renvoi de la cause au sens des considérants, subsidiairement à la constatation que l'impôt sur le gain immobilier doit être différé. En résumé, il fait valoir que l'intégralité du produit de la vente de la maison de Neuchâtel a été réinvestie dans sa nouvelle demeure à H. (NW) et que les conditions légales de l'imposition différée sont remplies, même s'il a quitté Neuchâtel et s'est établi à H. (NW) en 2001. Ses motifs seront repris autant que besoin dans les considérants qui suivent.
C. Le Tribunal fiscal conclut au rejet du recours en se référant à son jugement