I. Le recours est partiellement admis. Partant, l'atteinte à la liberté syndicale du recourant est constatée. La décision du 21 septembre 2010 est par conséquent annulée sur ce point; pour le reste, elle est confirmée. II. Il n'est pas perçu de frais de procédure. L'avance versée par le recourant, par 800 francs, lui est restituée. III. Une indemnité de partie par 2'500 francs (TVA non comprise), à charge de l'Etat, est allouée à Me Christian Delaloye. Cette décision peut faire l'objet d'un recours auprès du Tribunal fédéral, à Lausanne, dans les 30 jours dès sa notification.