In der Folge wurde dem Ehemann eine Jahresaufenthaltsbewilligung im Rahmen des Familiennachzugs erteilt. Er reiste am 7. November 2000 in die Schweiz ein. Die Jahresaufenthaltsbewilligung wurde letztmals am 7. November 2002 verlängert. Im September 2002 verliess die Ehefrau die gemeinsame Wohnung. Mit Verfügung vom 4. März 2003 widerrief das Ausländeramt die Aufenthaltsbewilligung und wies H.J. an, den Kanton St. Gallen bis zum 15. April 2003 zu verlassen. Zur Begründung führte es im wesentlichen aus, H.J. habe nur zwei Jahre mit seiner Ehegattin zusammengelebt; die eheliche Gemeinschaft bestehe nicht mehr und habe weniger als fünf Jahre gedauert.