Paley désignait un « lieu clôturé de pieux » (dérivé du latin palus « pieu » et du suffixe collectif etum).
Le nom de la localité est mentionné sous les formes Paleium vers 1150 ; Palai en 1172 ; Pallai en 1173 ; Paloys en 1190 ; Palei en 1220 ; Paleiacum en 1237 ; Paleiz en 1288 ; Paleyacum vers 1350 (Pouillé) ; Palais en 1385 ; Palais en 1385 ; Paleiz en 1491 ; Palley en 1519 ; Pallay en Gastinoys en 1542 ; Palay en Gastinois en 1550 ; Pallay en 1604.
L’église, dédiée à St Georges (patron des chevaliers), est un monument historique du XIIe siècle de style gothique. Elle présente deux caractéristiques frappantes :
– Sa tour clocher à quatre pignons avec ses gargouilles et sa girouette emblématique (le chevalier St Georges)
– Le fronton de l’entrée avec une inscription révolutionnaire datée de 1794 « Le peuple françois reconnoît l’Etre suprême et l’immortalité de l’âme ».
D'après la légende dorée de Jacques de Voragine, Georges de Lydda naît en Cappadoce, dans une famille chrétienne. Militaire, il devient officier dans l'armée romaine.
Saint Georges est traditionnellement représenté à cheval, souvent blanc (signe de pureté), ayant un dragon à ses pieds qu'il terrasse. En armure, portant une lance souvent brisée à la main, ainsi qu’un écu et une bannière d’argent blanche à croix rouge, couleurs qui furent celles des croisés (dont saint Georges était le saint protecteur) et devinrent celles de la Savoie et du drapeau national de l’Angleterre au XIVe siècle.
Les chrétiens d'orient l'appellent le grand martyre. Il est le saint protecteur de nombreux pays, de l'Angleterre, et de la Géorgie qui porte son nom, ainsi que de nombreuses villes, et notamment Beyrouth où un monastère du IVe siècle porte son nom (Jergis par les chrétiens et Khodr par les musulmans).
Les croisades contribuèrent à donner au culte de saint Georges un grand éclat, notamment parmi les chevaliers français et anglais. Il est le saint protecteur des cavaliers.