A. En 1997, A. et B, propriétaires d'une parcelle sise à C., ont décidé de rénover la ferme se trouvant sur cette parcelle. Pour mener à bien ce projet, ils ont confié le mandat d'architecte et de direction des travaux à D. et se sont adjoints, sur proposition de ce dernier, les services du bureau d'ingénieurs E. SA.
B. Le 2 octobre 1997, les propriétaires, par leur architecte, ont déposé une demande de permis de construire. Celui-ci leur a été délivré le 8 décembre 1997, avec un certain nombre de conditions.