a) Interjeté en temps utile et dans les formes légales, le recours est recevable.
b) Depuis le 1er janvier 2011, la Cour de droit public du Tribunal cantonal a succédé au Tribunal administratif et traite les causes qui avaient été déférées à cette dernière instance (art. 47, 83 OJN).
2. a) En vertu de l'article 25 al. 1 LPGA, auquel renvoie l'article 95 al. 1 LACI, les prestations indûment touchées doivent être restituées. Selon la jurisprudence, les principes régissant la restitution de prestations indûment perçues, applicables avant l'entrée en vigueur de la LPGA, le 1er janvier 2003, sont également applicables sous l'empire de cette loi (ATF 130 V 318 cons.