A. A.a. Par jugement du 11 janvier 2018, le Tribunal criminel des Montagnes et du Val-de-Ruz (ci-après: le Tribunal criminel) a reconnu A.________ (ci-après: le condamné) coupable d'actes d'ordre sexuel avec des enfants ainsi que d'actes d'ordre sexuel commis sur une personne incapable de discernement ou de résistance et l'a condamné à une peine privative de liberté de deux ans et demi, sous déduction de 190 jours de détention avant jugement - hors exécution anticipée -, ainsi qu'à l'internement. Par la suite, par décision du 3 mars 2022, le Tribunal criminel a ordonné la transformation de la mesure d'internement en une mesure thérapeutique institutionnelle. A.b.