5.
Le recourant, qui succombe, doit supporter les frais de justice (art. 156 al. 1 en corrélation avec l'art. 135 OJ). Il ne saurait par ailleurs prétendre une indemnité de dépens pour l'instance fédérale (art. 159 al. 1 OJ en corrélation avec l'art. 135 OJ).
Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours de droit administratif est rejeté.
2.
Les frais de justice, d'un montant de 500 fr., sont mis à la charge du recourant et sont compensés avec l'avance de frais qu'il a effectuée.
3.
Le présent arrêt sera communiqué aux parties, à la Caisse de retraite et de prévoyance du personnel X.________, au Tribunal cantonal des assurances et à l'Office fédéral des assurances sociales.