Das Verfahren ist grundsätzlich kostenlos (Art. 61 lit. a ATSG). Von diesem Grundsatz abzuweichen, besteht im vorliegenden Fall kein Anlass.
Demnach wird erkannt:
1. Die Beschwerde wird abgewiesen.
2. Es besteht kein Anspruch auf eine Parteientschädigung.
3. Die Kostenforderung des unentgeltlichen Rechtsbeistands, Rechtsanwalt Rémy Wyssmann, wird auf CHF 5'825.00 (inkl. Auslagen und MwSt.) festgesetzt, zahlbar durch die Zentrale Gerichtskasse des Kantons Solothurn.