3. Le 10 janvier 2006, les contribuables ont remis une déclaration fiscale 2004 provisoire. Pour leur appartement susmentionné, ils ont indiqué une valeur locative brute de 33'009 fr., pour l'impôt fédéral direct (ci-après l’IFD) et de 30'368 fr. pour l'impôt cantonal et communal (ci-après l'ICC). Ils ont fait valoir des charges et des frais d’entretien liés à ce bien de 6'602 fr. pour l'IFD et de 5'314 fr. pour l'ICC.