Aus den Erwägungen :

2. a) Von den steuerbaren Einkünften werden nach Art. 33 Abs. 1 lit. a DBG abgezogen die privaten Schuldzinsen im Umfang des nach Art. 20 und 21 steuerbaren Vermögensertrages und weiterer 50'000 Franken.

b) Die Steuerverwaltung erwog, gemäss kantonaler Praxis würden Zinsausgleichszahlungen als abzugsfähig anerkannt, wenn bei einer vorzeitigen Vertragskündigung lediglich der Zinssatz eine Änderung erfahre, das Grundgeschäft mit der gleichen Bank jedoch weitergeführt werde (zum Beispiel Umwandlung einer Festhypothek in eine mit variablem Zinssatz). Im vorliegenden Fall liege keine Ausgleichszahlung im erwähnten Sinn vor, sondern eine Entschädigung, die aufgrund der Vertragsauflösung geschuldet werde. Die Art und Weise wie die Prämienhöhe festgesetzt werde, ändere an der Qualifikation als Rücktrittsentschädigung oder Konventionalstrafe nichts.

Die Beschwerdeführer liessen dagegen einwenden, gemäss konstanter Praxis (welche den Steuerorganen offenbar schon vor längerem in einer internen Weisung schriftlich mitgeteilt worden sei) würden diejenigen Zinsausgleichszahlungen nämlich als abzugsfähig anerkannt, welche bei einer internen Umplatzierung innerhalb des gleichen Bankinstitutes bezahlt werden müssten. Faktisch gebe es aber keinen Grund, diese Zahlungen anders zu behandeln als Zinsausgleichzahlungen bei Bankenwechseln. Dies ergebe sich aus Folgendem: Auch Zinsausgleichzahlungen bei einer Umplatzierung innerhalb des gleichen Bankinstitutes würden geschuldet, weil ein bestehender Vertrag aufgelöst würde. Auch diese Zinsausgleichzahlungen seien abhängig vom Festzinssatz, vom Schuldkapital und von der Restlaufzeit. Die betreffenden Zinsausgleichszahlungen seien in der Regel ebenfalls nicht periodisch, sondern auf einmal zu leisten und würden in dem Jahr zum Abzug zugelassen, in welchem sie entrichtet worden seien. Rechtlich betrachtet seien Zinsausgleichszahlungen, welche bei einer internen Umplatzierung bezahlt werden müssten, und Zinsausgleichzahlungen bei Entlassung aus dem Vertrag wegen eines Bankenwechsels genau das Gleiche. In beiden Fällen handle es sich um einen Teil des vereinbarten Zinses. Die Praxis der Steuerverwaltung, nur Zinsausgleichszahlungen zum Abzug zuzulassen, welche bei einer Neuplatzierung bezahlt würden, nicht aber solche, welche bei einem Wechsel des Bankinstitutes geleistet werden müssten, sei insbesondere deshalb widerrechtlich, weil sie gegen den Gleichheitsgrundsatz verstosse.

c) Der in Art. 8 der Bundesverfassung vom 18. April 1999 der Schweizerischen Eidgenossenschaft (BV) enthaltene Gleichheitssatz verlangt, dass Gleiches nach Massgabe seiner Gleichheit gleich, und Ungleiches nach Massgabe seiner Ungleichheit ungleich behandelt wird. Es dürfen keine Unterscheidungen getroffen werden, für die ein vernünftiger Grund in den tatsächlichen Verhältnissen, über die zu entscheiden ist, nicht gefunden werden kann. Die Rechtsgleichheit ist verletzt, wenn zwei gleiche tatsächliche Situationen ohne sachlichen Grund unterschiedlich behandelt werden (vgl. BGE 117 Ia 257 E. 3b S. 259).

Die Praxis der Steuerverwaltung betreffend die Abzugsfähigkeit von Zinsausgleichszahlungen benachteiligt die steuerpflichtige Person, die einen Festhypothekvertrag vorzeitig kündigt, jedoch keinen neuen Hypothekvertrag mit dem bisherigen Hypothekargeber abschliesst gegenüber jener steuerpflichtigen Person, die mit dem gleichen Hypothekargeber wiederum einen Hypothekarvertrag eingeht. Erstere kann eine aufgrund einer vorzeitigen Kündigung eines Festhypothekvertrags geschuldete Vorfälligkeitsentschädigung von ihrem steuerbaren Einkommen nicht zum Abzug bringen, während Letzteren ein solcher Abzug zugestanden wird. Im Weiteren kann nach der Praxis der Steuerverwaltung eine steuerpflichtige Person, die ohne den Hypothekargeber zu wechseln, eine Festhypothek in eine variable Hypothek umwandelt und deswegen eine Vorfälligkeitsentschädigung zu entrichten hat, diese Entschädigung von ihren steuerbaren Einkünften in Abzug bringen kann, selbst wenn sie danach diese variable Hypothek kündigt und bei einem anderen Hypothekargeber eine neue variable Hypothek aufnimmt. Für die dargestellte unterschiedliche Behandlung der Abzugsfähigkeit von Vorfälligkeitsentschädigungen ist ein sachlicher Grund nicht ersichtlich. Diese Praxis der Steuerverwaltung verletzt somit das Rechtsgleichheitsgebot.

3. Es bleibt im Weiteren zu prüfen, ob die Steuerpflichtigen die strittige Rücktrittsprämie von den Einkünften abziehen können.

a) Die Beschwerdeführer liessen vorbringen, zu den privaten Schuldzinsen gehörten unbestrittenermassen die Hypothekarzinsen. Diese setzten sich zusammen aus den Refinanzierungskosten der Gläubigerbank einerseits und dem Gewinn dieser Bank anderseits. Schuldzinsen könnten periodisch (beispielsweise vierteljährlich, halbjährlich, jährlich und auch in grösseren Zeitabständen) oder auf einmal (beispielsweise bei der Auszahlung des Darlehens oder zusammen mit der Darlehensrückzahlung) erbracht werden. Sie seien nicht zwingendermassen periodisch zu bezahlen. Wenn ein Hypothekarschuldner die Bank wechseln wolle, weil er - gesamthaft betrachtet - trotz der zu leistenden Zinsausgleichszahlung günstiger fahre, lasse die Bank den Betreffenden normalerweise "springen", wenn dieser dafür den Gewinn bezahle, welcher der Bank entgehe. Das aufgenommene Geld werde dann vom Hypothekarinstitut anderswo angelegt. Dies natürlich nochmals mit Gewinn (was auch für den Staat keineswegs uninteressant sei). Die vom Schuldner der Bank für die Entlassung aus dem Vertrag zu erbringende Ausgleichszahlung sei abhängig vom Festzinssatz, vom Schuldkapital und von der Restlaufzeit. Beim betreffenden Betrag handle es sich somit eindeutig um einen Teil des vereinbarten Zinses, nämlich um den Gewinn bzw. um den kapitalisierten Gesamtzins abzüglich kapitalisierten Refinanzierungskosten. Aus dem Gesagten gehe hervor, dass eine derartige Einmalzahlung ebenfalls den Charakter eines Schuldzinses habe. Wenn die betreffende Entschädigung im Vertrag anders genannt werde, so sei dies unwesentlich. Bei der Beurteilung solcher Zinsausgleichzahlungen komme es nämlich nicht darauf an, wie diese bezeichnet würden, sondern darauf, was sie effektiv seien (vgl. in diesem Zusammenhang auch Art. 18 OR). Schon aus den eben erwähnten Gründen dürfte klar sein, dass die zur Diskussion stehenden CHF 26'475.00 zum Abzug zugelassen werden müssten.

b) Was unter dem Begriff Schuldzinsen zu verstehen ist, lässt sich Art. 33 Abs. 1 lit. a DBG nicht direkt entnehmen. Schuldzinsen können ohne Rücksicht darauf abgezogen werden, ob sie zur Erzielung des Einkommens erforderlich und damit Gewinnungskosten für steuerbare Einkünfte sind oder nicht. Vorausgesetzt wird aber, dass es sich um Schuldzinsen im Rechtssinne handelt (vgl. Der Steuerentscheid [StE] 1998 B 27.2 Nr. 20, E. 3b). Im Steuerrecht sind Schuldzinsen alle Vergütungen, welche der Steuerpflichtige einer Drittperson für die Gewährung einer Geldsumme oder das ihm zur Verfügung gestellte Kapital zu leisten hat, sofern dieses Entgelt nach der Zeit und als Quote des Kapitals in Prozenten berechnet wird und damit nicht die Kapitalschuld getilgt wird. Das Vorhandensein einer Kapitalschuld (als Geldschuld, d.h. einer Verpflichtung, die Geld zum Leistungsgegenstand hat) ist Voraussetzung für die Abzugsfähigkeit von Schuldzinsen (Kapitalabhängigkeit). Schuldzinsen sind deshalb alle geldwerten Leistungen für die Kapitalnutzung, soweit sie nicht zur Rückzahlung des Kapitals führen. Es ist dabei unerheblich, ob das Entgelt periodisch oder aperiodisch geleistet wird, in einem festen Prozentsatz oder ob es variabel (z.B. indexiert) ist (vgl. Felix Richner/Walter Frei/Stefan Kaufmann, Handkommentar zum DBG, Zürich 2003, N. 7 zu Art. 33).

Auch im Zivilrecht wird unter dem Begriff des Zinses die Vergütung verstanden, welche ein Gläubiger zu fordern hat für die Entbehrung einer ihm geschuldeten Geldsumme, sofern diese Vergütung sich nach der Höhe der geschuldeten Summe und der Dauer bestimmt. Der Zins ist eine zur Kapitalschuld hinzutretende Nebenleistung und ist von der Hauptforderung abhängig. Rechtlich ist das Vorhandensein einer Kapitalschuld Voraussetzung für die Entstehung der Zinsschuld. Die Abhängigkeit der Zinsschuld ist doppelter Natur: einmal nach ihrer Entstehung und sodann nach ihrem Umfang. Wo diese doppelte Abhängigkeit vorliegt, ist eine Zinsschuld vorhanden. Diese Abhängigkeit von der Hauptforderung zeigt sich vor allem in ihrer Entstehung. Zins kann nur so lange entstehen und anwachsen, als eine Hauptforderung besteht (StE 1998 B 27.2 Nr. 20, E. 3b).

In diesem Licht betrachtet stellt die strittige Rücktrittsprämie keine Zinsschuld dar. Es fehlt ihr das charakteristischen Element für die Qualifikation als Schuldzins. Wohl steht die fragliche Leistung im Zusammenhang mit dem bei der Z-Bank aufgenommenen Hypothekdarlehen. Die Kapitalzahlung wurde aber aus dem einzigen Grund fällig, weil die Steuerpflichtigen als Schuldner in Missachtung der Kündigungsfristen vorzeitig vom Vertrag zurückgetreten waren. Nach dem Gesagten gilt indessen eine Zahlung rechtlich nur als Zins, welche dem Gläubiger für die Zurverfügungstellung eines bestimmten Kapitals durch die Gläubigerin geschuldet ist. Dies trifft auf die Rücktrittsprämie gerade nicht zu, weil sie eben nicht für die Überlassung eines Kapitals durch die Gläubigerin geschuldet war, sondern im Gegenteil wegen der vorzeitigen Rückzahlung des Hypothekarvertrags durch die Steuerpflichtigen (vgl. StE 1998 B. 27.2 Nr. 20, E. 3c).

c) Mit dem Schuldzinsenabzug soll der durch die für eine Kapitalschuld zu erbringenden Finanzierungsaufwendungen entstehenden Einschränkung in der wirtschaftlichen Leistungsfähigkeit einer steuerpflichtigen Person Rechnung getragen werden (vgl. Ernst Höhn/Robert Waldburger, Steuerrecht, Bd. I, 9. Aufl., Bern 2001, N. 126 ff. zu § 14). Genauso solche Kosten aus einer Verschuldung, die die wirtschaftliche Leistungsfähigkeit vermindern, stellt eine Vorfälligkeitsentschädigung, welche eine steuerpflichtigen Person, die einen Festhypothekarvertrag vorzeitig kündigt, zu zahlen hat. Die vorzeitige Kündigung eines Festhypothekarvertrags ermöglicht einer steuerpflichtigen Person, die aus ihrer Verschuldung resultierenden Gesamtkosten bis zum Zeitpunkt zu reduzieren, in welchem der gekündigte Hypothekarvertrag geendet hätte. Grund zur Annahme der Gesetzgeber habe den Abzug von Vorfälligkeitsentschädigungen ausschliessen wollen, besteht nicht. Die gesetzliche Regelung des Schuldzinsenabzugs von Art. 33 Abs. 1 lit. a DBG erscheint daher insoweit, als sie Vorfälligkeitsentschädigungen nicht als abziehbare Kosten nennt, als lückenhaft. Im Weitern vermag auch der Umstand, dass es sich bei der strittigen Entschädigung um eine Konventionalstrafe im Sinne von Art. 160 OR handelt, einen Abzug von den steuerbaren Einkünften nicht auszuschliessen (vgl. Richner/ Frei/ Kaufmann, a.a.O., N. 43 zu Art. 26; Peter Locher, Kommentar zum Bundesgesetz über direkte Bundessteuer, Therwil/Basel 2001, N. 55 zu Art. 26; Ernst Känzig, Wehrsteuer [Direkte Bundessteuer], I. Teil, 2. Auflage, Basel 1982, N. 23 und 52 zu Art. 22). Gesamthaft ergibt sich demnach, dass Vorfälligkeitsentschädigungen, wenn sie zusammen mit den Schulzinsen den Betrag des nach Art. 20 und 21 DBG steuerbaren Vermögensertrages und weiterer 50'000 Franken nicht übersteigen, zum Abzug von den steuerbaren Einkünften zuzulassen sind.

4. a) Gemäss Art. 25 DBG werden zur Ermittlung des Reineinkommens von den gesamten steuerbaren Einkünften die Aufwendungen und die allgemeinen Abzüge nach Art. 26-33 abgezogen. Aufgrund dieser Generalklausel für Gewinnungskosten in Art. 25 DBG sind die Gewinnungskosten im Zusammenhang mit Erträgen aus Privatvermögen Art. 32 DBG nicht abschliessend aufgezählt; weitere Aufwendungen in diesem Zusammenhang sind gestützt auf Art. 25 DBG abzugsfähig (vgl. Richner/Frei/Kaufmann, a.a.O., N. 2 zu Art. 32).

Gewinnungskosten im Sinne von Art. 25 DBG sind Aufwendungen, die unmittelbar zur Gewinnung des Einkommens gemacht werden und in einem direkten ursächlichen Zusammenhang dazu stehen. Gewinnungskosten können auch Aufwendungen sein, die nicht zum Zweck der Einkommenserzielung gemacht werden, sondern Folge der Einkommenserzielung sind. Als "notwendig" haben somit diejenigen Vermögensabgänge (Auslagen oder Kosten) zu gelten, die wesentlich durch die Erzielung von Einkommen verursacht sind. Zwischen der Aufwendung und der Einkunft muss somit ein Kausalzusammenhang bestehen (vgl. Archiv für Schweizerisches Abgaberecht [ASA], Bd. 67, S. 480; Richner/Frei/Kaufmann, a.a.O., N. 6 zu Art. 25).

b) Ein Kausalzusammenhang zwischen einer Vorfälligkeitsentschädigung mit dem nach Art. 21 Abs. 1 lit. b DBG steuerpflichtigen Einkünften aus der Eigennutzung von Grundstücken ist immer dann zu bejahen, wenn sie objektiv mit der Erzielung des Eigenmietwerts zusammenhängen und subjektiv zur Förderung der Nutzung eines eigenen Grundstücks gemacht werden (vgl. Urteil vom 23. April 1996 des Bundesfinanzhofes in: Bundessteuerblatt [BStBl] 1996 II S. 595 ff.). Ein solcher besteht in objektiver Hinsicht, da die Rücktrittsprämie durch die vorzeitige Kündigung des Hypothekardarlehens für die selbstgenutzten Liegenschaft veranlasst ist und diese Kündigung den Steuerpflichtigen ermöglichte, die Aufwendungen für Hypothekarzinsen insgesamt gerechnet zu reduzieren und damit in künftigen Steuerperioden einen höheren steuerpflichtigen Nettoertrag zu erzielen. Da sich die Steuerpflichtigen dessen bewusst waren und dies auch wollten, steht fest, dass die Rücktrittsprämie subjektiv zur Förderung der Nutzung eines eigenen Grundstückes aufgewandt wurde. Diese ist deshalb nach Art. 25 DBG abzugsfähig.

In diesem Zusammenhang ist noch darauf hinzuweisen, dass dieses ökonomische Verhalten der Steuerpflichtigen über die Jahre betrachtet für den Fiskus nicht nachteilig ist, zumal die Summe von Vorfälligkeitsentschädigung und künftig bis zur ursprünglichen Restlaufzeit der Hypothek zu bezahlenden tieferen Zinsbeträge kleiner ist als die Summe der höheren ursprünglich vereinbarten Zinsbeträge.

5. Dem Gesagten zufolge erweist sich die Beschwerde als begründet und ist somit gutzuheissen. (…)