面對朝臣的驚詫和天後的愠怒，風燭殘年的李淳風隻是淡淡地回答了一句：“微臣以此門照應北落師門星。”

值得慶幸的是這個垂暮的老人并沒直接承受到來自天後的怒火，北落門建成之後，李淳風的健康更加每況愈下。那一年的臘月廿一他在沒有知會任何家人的情況離開了阆中修養的地方，七天後人們在北落門一側的雪堆裡找到了如同一捆幹硬枯柴般的李淳風。從屍僵程度來看，他至少已經駕鶴飛升了兩天左右。他背靠在城門石牆上，臉上挂着滿足的表情，仿佛他至死都在延續着對于這座城門不可解釋的癡迷。

張守節就沒有這麼幸運，來年開春他被以很客氣的方式遣往嶺南。據說張大人在半路上就已經因為旅途勞頓而神志不清，頭幾天還終日咒罵李淳風害慘了自己，之後便沒有人能聽明白他在說些什麼了。進入嶺南不到半年，他就死于驚風。關于張長史的死，另外還有一個比較驚悚的版本，據說他在離開長安後，變得越來越疑神疑鬼，一路上都在催促加緊趕路，像是在逃避什麼。到達嶺南之後這樣的情況變本加厲，人生的最後五個月，他都是埋在一條畫滿符箓的棉被裡面度過的，即使是最親近的人也沒法見他一面。當時正值嶺南的盛夏，但他拒絕換衣服，拒絕洗澡，也拒絕用一條薄一點的毯子來替代，終日把棉被裹得密不透風。在折騰了很長一段時間後，棉被中的張大人動靜越來越小，家人們壯着膽子掀開棉被，被窩裡如同猴子般蜷縮着奄奄一息的老人的樣子，成了在場所有人終生的夢魇。在被擡出被窩後沒多久，張守節就死了，關于他身上那密密麻麻深可見骨的爛瘡，有人認為是褥瘡，也有人認為是太熱太悶造成的。

在兩位建造者相繼離世之後，從北落門傳來的噩耗并沒有就此結束。武周聖曆元年五月，左威衛旅帥彭果，在值夜當晚一去不歸，第二天人們在北落門上找到了他，這位深得賞識，很有可能即将晉升校尉，而且還是新婚燕爾的旅帥毫無理由地在北落門上懸梁自盡了。

神龍三年，太子重俊兵變，殺武三思，武崇訓，旋即事敗，右羽林将軍獨孤諱之落荒逃至北落門。當追兵殺到時，看到獨孤将軍身陷北落門旁一個地坑中，隻留小半截屍體在外面。在之後的挖掘工作中，人們在獨孤諱之的屍體下面又找到了一具屍體，後來證明那具屍體是一個名叫趙雁冰的女道士，身前曾與安樂公主有着暧昧關系。

景龍三年，中宗密诏洛州偃師人燕欽融入宮，燕欽融曆數韋後安樂公主罪狀，中宗默然不語。宗楚客僞诏于半路撲殺燕欽融，然而，當殺手在北落門下發現燕欽融時，他已完全癡呆了，隻是靠着城牆一手指天，喃喃自語。後來有人發現，他所倚靠的地方，正是當年李淳風飛升之處。