19-р зууны сүүлчээр Францчууд Вьетнамыг байлдан дагуулах үед Францын засгийн газар Францын колоничлогчдын мөргөл, олон нийтийн үйлчилгээний газар болох томоохон сүм барихыг тушаажээ. 1863 онд сүмийн барилгын ажил анх Чарнер сувгийн эрэг дээр (Кин Лон) эхэлсэн. Хоёр жилийн дараа модон барилгыг барьж дуусгаж, "Сайгон сүм" гэж нэрлэв. Гэсэн хэдий ч энэ сүм морин шоргоолжны улмаас маш хурдан гэмтэж эвдрэн 1877 онд сүмийг архитектор Адмирал Бурардын удирдлаган дор Францаас тээвэрлэн авчирсан материалаар сэргээн засварласан байна. Сүмийг барьж дуусгахад гурван жил зарцуулсан байна. Нотр Дамын сүмийн нэгэн сонирхолтой баримт:

Сүмийн өмнө эзэн хаан Жиа Лонгийн ууган хүү хунтайж Канын хамт Pigneau de Behaine -ний хүрэл хөшөөг улаан гантиг тавцан дээр босгожээ. 1945 онд хөшөөг нь буулгаж, суурийг нь хэвээр үлдээжээ. 1959 онд Жозеф Фам Ван Тиен Ромд боржин чулуугаар урласан Энх тайвны хатагтайн (Our Lady of Peace) хөшөөг авчирч, хоосон cуурин дээр байрлуулжээ. Тэр жилдээ уг хөшөөг босгосны дараа уг сүмийг Нотр Дамын сүм гэж зарлав.