Der Steuergerichtshof erkennt:
I. Die Beschwerde wird gutgeheissen.
Demzufolge wird der angefochtene Entscheid, soweit er die direkte Bundessteuer betrifft,
aufgehoben und der streitige Abzug für Schuldzinsen im Betrag von CHF 35'523.-
gewährt.
II. Es werden keine Kosten erhoben. Der geleistete Kostenvorschuss (CHF 500.-) wird dem
Beschwerdeführer zurückerstattet.
III. Es wird keine Parteientschädigung zugesprochen.
IV. Zustellung.