Au cours du Moyen-âge, Pontoise connait un accroissement important de sa population.
Accompagnant cette prospérité, un faubourg nait à l'extérieur des fortifications, le long de la route menant vers Rouen.
Les habitants dépendaient alors de la paroisse de l'abbaye Saint Martin située sur le plateau. Du fait de cet éloignement, vers 1177, une chapelle dédiée à la Vierge Marie est construite à leur intention sur des terrains appartenant au comte de Gisors. L'église Notre-Dame est érigée en paroisse en 1247 avec son propre presbytère et son cimetière.
Une nouvelle église est construite au 13e siècle grâce aux dons de nombreux fidèles qui se rendaient en pélerinage devant la satue de la Vierge miraculeuse, mais aussi grâce au soutien des rois de France, tels Saint Louis et Charles V.
L'église est endommagée au cours de la guerre de 100 ans. À partir de 1550, le chantier et notamment la construction des chapelles se poursuivit, conduit par le maître maçon Pierre Lemercier. Les guerres de religion seront à nouveau fatales à l'édifice qui sera détruit lors du siège de juillet 1589.
Les habitants se mobilisèrent à nouveau pour reconstruire l'église. L'édifice est complété par un clocher massif surmonté d'un lanternon puis par un porche, est consacré en avril 1599. En 1638, c'est à Notre-Dame que la population, épouvantée par la peste, vint faire un voeu pour obtenir la fin de l'épidémie.
Les vitraux de l’église Notre-Dame ont été réalisés dans l’atelier d’Ernest Haussaire à Lille entre 1901 et 1902. Ils sont principalement dédiés à la Vierge et à l’histoire de l’église. Les baies vitrées du bas-côté Nord relatent des scènes de la vie de Marie alors que les quatre baies du bas-côté Sud racontent quelques faits importants de l’histoire de la paroisse (construction de l’église, venue des rois de France à Pontoise, pèlerinages...).
Au 12e siècle, sous la protection de l’abbaye Saint-Martin toute proche, le faubourg Notre-Dame se développe sur les rives de la Viosne et ses habitants obtiennent l’autorisation d’y construire une 1ère chapelle (médaillon droit).
Au siècle suivant, sous la médiation de l’ancien archevêque de Rouen, le roi de France Philippe Auguste érige cette chapelle en église paroissiale (médaillon gauche).
Les rois de France Louis IX (Saint Louis), Charles V et Louis XIV se mettent sous la protection de Notre-Dame de Pontoise ; il est amusant de constater que le peintre verrier représente ces trois rois ensemble, près du tombeau de Saint Gautier au pied de la statue de Notre-Dame (alors que le tombeau était à cette époque à l’abbaye de Saint-Martin et qu’il n’a été placé dans l’église N-D qu’après la Révolution française).
Lors de l’épidémie de peste de 1580, la ville de Paris vient aussi se mettre sous la protection de la Vierge ; ces vœux seront renouvelés en 1875.
La vierge miraculeuse placée dans l’église au 13e siècle accueillait jadis les enfants mort-nés que les parents lui présentaient, afin qu’ils retrouvent un instant de vie fugitif mais sufsant pour recevoir le baptême. Le 18 juillet 1630, un enfant mort-né, qui n’avait pas été baptisé, fut apporté à Notre-Dame, et, en présence d’un peuple immense, fut rendu à la vie et aussitôt baptisé.
Lors de la cruelle peste de 1638, une grande procession fut organisée par Mgr Daguillanguy, Grand Vicaire, pour demander à la Vierge de faire cesser l’épidémie.
La ville de Pontoise fit alors le vœu solennel par lequel la municipalité promettait d’offrir à l’église Notre-Dame une statue d’argent de six cents livres et de placer une image de la Vierge aux trois principales entrées de la ville. Le texte du vœu, daté de 1638, est transcrit sur une plaque de marbre noir conservée en l’église Notre-Dame. Ce vœu a été renouvelé en 1726, 1838 et 1938.
Depuis lors, tous les habitants du Val d’Oise sont invités chaque année à vivre un pèlerinage pour rendre hommage à la Vierge.