Ce lieu doit probablement son origine à l'établissement d'un ortatoire autour duquel quelques habitations se sont élevées. On trouve mention du village dès le XIème siècle. Il ne prit le nom de Ville-Saint-Jacques qu’à la fin du XIIème siècle, probablement du fait des pèlerins de passage se rendant à Compostelle. Les Templiers, jusqu’au début du XIVème siècle et, après eux, les Hospitaliers de Jérusalem possédaient d’importantes propriétés sur son territoire.
Ville-Saint-Jacques appartenait au baillage de Moret, dont les paroisses (à l’exception de celle de Moret), constituèrent en 1789, un unique cahier de doléances.
Le chœur comporte les restes d’un édifice daté du XIIème siècle. Il s’ouvre sur la nef par un arc triomphal en plein cintre. Celui-ci et les bas-côtés sont du XVIème siècle. Au nord du chœur s’élève le clocher, forte tour accompagnée sur sa face nord d’une tourelle. Le clocher est coiffé en " double bâtière ", formée par l’intersection de deux toits à deux versants, ce qui donne un pignon triangulaire sur chaque face du clocher.
On peut déchiffrer de belles pierres tombales et des inscriptions du XVe siècle au XVIIe siècle et admirer une vierge de pitié du XVIe siècle.
Jacques le majeur était fils de Zébédée et frère de Jean. Ils étaient pêcheurs sur le lac de Tibériade, compagnons de Simon et d'André.
Avec Pierre, Jacques et Jean seront les plus proches des apôtres. Ils sont à la Transfiguration, ils entrent auprès de la petite fille de Jaïre. Ils seront au jardin des Oliviers. Jacques, comme Jean, désire la première place auprès du Maître (Marc 10. 37)
A la fin du VIIe siècle, selon la légende, Jacques partit avec quelques disciples pour l’Espagne pendant quatre années et plus particulièrement vers la cité de Gadès (l’actuelle Cadix), où le travail d’évangélisation rencontra de multiples obstacles et difficultés.
Son corps aurait été découvert dans un champ grâce à une étoile : le campus stellae, devenu Compostelle.
L'église Saint Jacques est sur le chemin historique de Compostelle : la voie Senonensis, qui relie la cathédrale Notre-Dame de Paris à Vézelay, en passant par Sens. Une chapelle y accueille les pélerins qui souhaitent s'y reposer.
Cy devant gist vénérable et discrère personne Messire Jean Godard lequel trépassa le XIIIIe jour de janvier 1556
a donné par son testament six arpents et demi de terre en plusieurs pièces avec un demi arpent de vignes assises près de ladite Ville Saint Jacques aussi que les maîtres de ladite église seront tenus faire dire tous les vendredis de l'an à toujours une messe ainsi qu'il est contenu au testament du dit Godard
Priez Dieu pour son âme
Jusqu'en 1985, l'église possédait un baptistère du XIXe siècle. Mais en venant visiter l'ancien presbytère du village, le Père Gélineau remarque ce qui a toujours servi d'abreuvoir et de réserve d'eau sur le côté de la maison et souhaite qu'on le dégage pour le voir de plus près. C'est alors qu'il se rend compte que l'abreuvoir est en fait un vieux baptistère taillé dans un bloc de pierre.
C'est ainsi que nettoyé et poncé il a retrouvé son rôle et sa valeur symbolique de baptistère. On ignore toutefois de quand il date.