I. Dans ses observations, l'intimée se réfère à sa décision du 4 février 2010 et conclut au rejet du recours.
J. L'Office du contentieux général a informé la présente autorité, en date du 10 juin 2010, qu'au vu du contenu du recours, il n'était pas concerné par les plaintes et effets suspensifs demandés par le recourant.
K. La Caisse de chômage du canton de Berne a, en date du 15 juin 2010, conclu au rejet du recours.