1. Die Beschwerde wird in dem Sinne gutgeheissen, dass der angefochtene
Entscheid und die Verfügung vom 23. Dezember 2003 aufgehoben werden
und die Sache an die IV-Stelle Graubünden zurückgewiesen wird, damit diese
nach ergänzender Abklärung im Sinne der Erwägungen über das
Rentenbegehren neu verfüge.

2. Es werden keine Gerichtskosten erhoben.

3. Die IV-Stelle Graubünden hat dem Beschwerdeführer eine
Parteientschädigung von CHF 1'500.00 (inkl. MwSt.) zu bezahlen.