Vu ce qui précède, il y a lieu de rejeter le recours. Les recourants succombant, les frais seront mis à leur charge, en compensation avec leur avance de frais (art. 47 LPJA). Ils ne peuvent prétendre à l'allocation de dépens (art. 48 LPJA a contrario).
Par ces motifs,
la Cour de droit public
1. Rejette de recours.
2. Met à la charge des recourants un émolument de décision de 700 francs et les débours par 70 francs, montants compensés avec leur avance de frais.
3. N'alloue pas de dépens.
Neuchâtel, le 21 octobre 2011
1 Sont déduits du revenu:
a.3 les intérêts passifs privés à concurrence du rendement imposable de la fortune au sens des art. 20 et 21, augmenté d’un montant de 50 000 francs.