L'église est érigée dans la première moitié du 12e siècle par les moines de Saint-Martin des Champs à l'emplacement d'un premier oratoire attesté au 5e siècle dans les écrits de Grégoire de Tours. Le prieuré parisien reçoit par donation d'Henri Ier les possessions royales de Noisy-le-Grand en 1060 et décident d'édifier une nouvelle église sur le site de la chapelle mérovingienne primitive.

Après avoir reçu en 1089 la paroisse de Noisy avec l’assentiment de Hugues de Dammartin et de Renaud de Chelles, les moines du Prieuré Saint-Martin-des-Champs investissent la région, envisagent la construction d’une église à Noisy, et choisissent l'emplacement de l'oratoire primitif. Le clocher, de style roman, commencé vers 1130-1140, est adossé à cet oratoire, qui forme actuellement l’abside du bas-côté nord du bâtiment actuel, et est toujours visible. La nef et le chœur datent d'environ 1245. En 1484, l'église reçoit sa dédicace "A Nostre Dame et Saint-Soulpice". Cette date marque certainement une nouvelle phase de travaux. La voûte en berceau avec la frise ornementale qui marque la corniche date certainement du 12e siècle. L'édifice a fait l'objet de plusieurs campagnes de construction et de remaniements aux 13e et 16e siècles.