2.
Les frais de justice, d'un montant de 500 fr., sont mis à la charge du recourant et sont compensés avec l'avance de frais qu'il a effectuée.
3.
Le présent arrêt sera communiqué aux parties, au Tribunal des assurances du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 1er mars 2006
Au nom du Tribunal fédéral des assurances
Le Président de la IVe Chambre: La Greffière: