A. X. a été taxé au titre de l'impôt cantonal et communal direct (ci-après : ICD) pour l'année 2008 sur la base d'un revenu imposable de 70'700 francs et pour l'année 2009 sur la base d'un revenu imposable de 47'600 francs. Les impôts y afférents (impôt cantonal et impôt communal cumulés) se sont élevés pour 2008 à 14'713.30 francs, dont à déduire des acomptes, soit un solde de 14'186.25 francs, et pour 2009 à 8'229.50 francs, totalement impayés.
Le 21 janvier 2010, le prénommé, agissant par sa fiduciaire, a sollicité une remise des impôts précités auprès du Département de la justice, de la sécurité et des finances (ci-après : DJSF).