C. X.________ interjette recours de droit administratif contre ce jugement dont il demande l'annulation, avec suite de dépens. A titre principal, il reprend ses conclusions formulées en première instance; subsidiairement, il conclut au renvoi de la cause à l'intimée. La caisse intimée conclut implicitement au rejet du recours. Quant à l'Office fédéral des assurances sociales, il a renoncé à se déterminer. Considérant en droit :