A. F.________, a travaillé comme mécanicien au service de G.________ SA, du 1er octobre 1974 au 31 mai 1996. A ce titre, il était affilié à la Caisse de pensions de Centrales Suisses d'électricité (CPC), devenue la Caisse de pensions Energie (ci-après : la Caisse de pensions). A partir du 4 juin 1996, il a été mis en arrêt de travail par son médecin traitant, le docteur C.________, en raison de troubles somatoformes douloureux, de lombalgies chroniques avec exacerbations depuis 1993. Le 12 février 1997, il a déposé une demande de prestations de l'assurance-invalidité. Le 21 avril 1997, son employeur a annoncé le cas à la Caisse de pensions.