Dès la fin du 10e siècle, il existait sans doute une paroisse dédiée à la Vierge. L'église en partie reconstruite en 1290 est érigée en collégiale (c'est à dire avec un collège de chanoines) en 1300 par le comte de Flandre Robert de Cassel.

Au début du 16e siècle, l'édifice est élargi avec la construction de vaisseaux latéraux de même hauteur que le central. Le transept, avee sa croisée qui supporte la tour et ses deux bras, coupe la nef du chœur.
L'édifice est dévasté notamment lors du passage des Gueux en 1583 et réparé de 1586 à 1607 (comme l'attestent des inscriptions en flamand sur les poutres du chœur). La Révolution le transforme en écurie, prison, puis hôpital.
Des vestiges de l'église primitive sont visibles à l'ouest et à l'est. A l'ouest, c'est la façade dans sa partie de grès ferrugineux, avec notamment des tourelles carrées qui abritaient un escalier permettant l'accès à une salle haute, vestige d'une liturgie évoluant dans un chœur occidental. A l'est, le chevet plat du chœur montre un appareillage en arêtes de poisson sur cinq rangs de briques et de tuiles en terre cuite, certaines probablement d'époque éallo-romaine. Cinq baies couvertes d'arcs en plein cintre d'allure romane ont été murées pour faire place aux retables.
La tour, placée à la croisée du transept, pourrait dater, à la base pourrait dater du 13e siècle. On lui a donné récemment une fleche en charpente de 12 m de haut et des balustrades ajourées.