Concernant la restitution des locaux, le recourant considère qu'elle a eu lieu le 31 juillet 1993, date de la remise des clés. Partant, il tient l'avis des défauts donné oralement le 31 août 1993 ou par écrit le lendemain pour tardif. Au surplus, il considère que le dommage retenu est excessif. Il conclut à la cassation du jugement attaqué et, principalement, au rejet de la demande, subsidiairement au renvoi de la cause au Tribunal civil du district de Neuchâtel pour nouveau jugement, avec suite de frais et dépens de première et seconde instance.
F. Le président de l'autorité de jugement ne formule pas d'observations.
L'intimé conclut au rejet du recours, avec suite de frais et dépens.