Le 21 janvier 2010, le prénommé, agissant par sa fiduciaire, a sollicité une remise des impôts précités auprès du Département de la justice, de la sécurité et des finances (ci-après : DJSF). Il a motivé sa demande en relevant les difficultés financières auxquelles il était confronté, suite à une séparation puis un divorce intervenu en octobre 2008 et aux frais engendrés par l'entretien de ses deux enfants mineurs et en souhaitant que les impôts dont il était encore redevable lui soient remis de façon à pouvoir garantir son minimum vital, le budget établi par la fiduciaire laissant à l'intéressé un disponible d'à peine 1'000 francs par mois pour la nourriture, l'habillement et les autres