Le village ne prit le nom de Ville-Saint-Jacques qu’en 1288, sans doute à cause du passage des pèlerins se rendant à Compostelle.
Les Templiers, jusqu’en 1312, et aprés eux, les Hospitaliers de Jérusalem, possédaient d’importantes propriétés sur son terrain. Les De Veres, propriétaires du Château de LaBrose, prirent ensuite le pas sur les religieux. Le cœur de l’église comporte les restes d’un édifice datés du XIIème siècle. Il s’ouvre sur la nef par un arc triomphal en plein cintre, celui-ci et les bas cotés sont du XVIème siècle.