Résumé des faits:

A. X, géomètre, est assujetti à la taxe sur la valeur ajoutée (TVA) et inscrit
auprès de l’Administration fédérale des contributions (AFC) depuis le
1er janvier 1995. Par courrier du 28 septembre 1995, le contribuable informa
l’AFC que ses comptes 1993 et 1994 n’étaient toujours pas bouclés et qu’il
n’était pas en mesure d’établir les décomptes TVA y relatifs.
B. En date du 27 février 1996, après plusieurs rappels, l’AFC rendit le
contribuable attentif au fait qu’il n’avait pas remis ses décomptes pour les
périodes fiscales allant du 1er au 3e trimestre 1995 et fit donc valoir, par
décompte complémentaire, une créance fiscale provisoire de Fr.