Falls zur Ermittlung der tatsächlichen Entscheidgrundlagen erforderlich, sei die Sache an die Vorinstanz zurückzuweisen.
Der Kanton Graubünden schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherung (BSV) deren teilweise Gutheissung beantragt.
In einer ergänzenden Eingabe vom 24. April 2004 hält der Beschwerdeführer an den gestellten Anträgen fest.
Das Eidg. Versicherungsgericht zieht in Erwägung: