江青一直沒有忘記許建國。在「文革」浪潮中，許建國遭殃了。
新中國成立後，許建國歷任天津市公安局長、市委書記，上海市公安局長、副市長、市委書記。
1954年11月，許建國被任命為公安部副部長。
1958年下半年，根據陳毅的建議，中央決定調許建國到外交部工作。
1959至1964年，許建國出任中國駐羅馬尼亞大使。1965年起，任中國駐阿爾巴尼亞大使。
1966年5月，許建國陪同阿爾巴尼亞部長會議主席謝胡到中國進行訪問之後，就留在國內參加「文化大革命」。
1967年底，江青在天津接見造反派的時候，點了許建國的名（許建國曾任天津市公安局長、市委書記），稱許建國是「特務」、「叛徒」，並說許建國在暗中整了她許多年。
江青一聲令下，外交部造反派就對許建國實行「隔離審查」，並成立了「許建國專案調查組」，對許建國進行內查外調。
1968年3月11日，許建國被關進秦城監獄，關押達七年之久……
許建國得罪江青，不僅僅是當年江青在許建國手下當「網員」的時候，曾經受到許建國的嚴厲批評。使江青記恨在心的是，在江青要與毛澤東結婚時，中共中央政治局常委朱德、周恩來、劉少奇、任弼時就此事徵求中央保衛委員會的意見，許建國明確表示反對。
1943年，在延安整風審干期間，許建國從晉察冀回到了延安主持審幹工作，住在邊區黨校一部。儘管江青已經是毛澤東夫人，也受到審查。江青求助於許建國：
有一天，很久不見的江青突然來找他，還帶來了兩條煙、兩瓶酒。寒暄了幾句之後，江青迫不及待地進入了正題：「老領導，現在你主持整風審幹工作，所以我專門來找你，想請你當我的歷史證明人。」許建國一聽當即說：「關於你在我這兒工作的一段，我可以負責證明，至於過去的歷史，你就要再找有關的人證明了。」江青忙又說：「哎呀，老領導，你全部給我證明了算了，反正我過去的歷史你都瞭解。」許建國很嚴肅地說：「瞭解只能是瞭解，瞭解的情況可能是正確的，但是也不能排除有重大的錯誤，對於你在上海的那一段歷史，我確實無法當你的證明人，如果我當了，這就違背了組織實事求是的要求和原則。」[12]
許建國當面拒絕了江青的請求，使江青十分難堪。
新中國成立後，許建國擔任上海市公安局長、副市長、市委書記，無意之中，又「冒犯」了江青。
那是1953年春，許建國到北京去開會。會議結束之後，毛澤東單獨召見了他。毛澤東依然叫他本名杜理卿，說道：「你是上海市的公安局長，回去之後請你把這些東西帶給子珍，以後多多照顧一下。」當時，賀子珍住在上海。說完，毛澤東拿了一些錢和物品交給許建國。
不言而喻，毛澤東跟許建國有著多年的友情，正是出於對許建國的信任，才把這樣私密的事拜託許建國去辦。
此後，毛澤東多次請許建國轉交物品給賀子珍。也正是因為毛澤東的托付，許建國在上海多次前去看望賀子珍，關心賀子珍的生活。
不料，江青得知此事，對許建國充滿恨意。
使江青不快的，還有那起匿名信案件——「18號案」。這一發生於1954年3月的匿名信案件，由於信是從當時的上海寄往江青所在的杭州，而匿名信所寫的又是江青在20世紀30年代在上海的醜聞，因此公安部部長羅瑞卿把破案任務交給了上海市公安局長、副市長、市委書記許建國。於是，許建國由於要偵辦「18號案」而瞭解了江青20世紀30年代在上海的種種情況。
1954年11月，許建國調離上海，前往北京出任公安部副部長，「18號案」尚未告破。
後來，許建國的夫人方林回憶說：
1967年春，就在首都外交口鬧騰著奪權，陳毅副總理處於困難的時候，許建國被周恩來叫到北京飯店，查詢他在上海工作期間由羅瑞卿部長交辦的關於調查江青30年代歷史問題的一封匿名信的處理情況。許據實以告，並說問題沒有查清他就調離上海，結果如何他不知道。
在場的張春橋狂妄地責問：「這件事我怎麼不曉得？」
許建國說：「你當時是市委宣傳部的一個副部長，不該你知道的事情多了。」
張春橋瞠目結舌，無言以對。
1967年底，江青在天津接見造反派時，點了許建國的名。此後，造反派幾次來抄家，索要材料。許建國預感到形勢將會更加嚴峻。為防止意外，他一方面將多年積累的材料及重要筆記忍痛銷毀，一方面囑咐我說：「我可能被捕，而且短期內回不來……要相信黨，我總會回來的。」[13]
許建國果真被捕，被關押在秦城監獄，倍遭折磨。
直到1975年鄧小平主持中共中央日常工作，大批受迫害的老幹部處境有所改善。這一年的5月，被關在秦城監獄七年、年逾七旬的許建國被送往安徽六安「養起來」。
如方林所憶，由於長期的單獨關押和摧殘，許建國出獄時已身心憔悴，面容枯槁，行動都不那麼正常了。
1977年初，許建國查出患未分化型肺癌，已是晚期。他在生命的最後時刻，向黨中央提出了申訴。他在申訴書中寫道：
幾十年來我長期在毛主席身邊和黨中央周圍做保衛工作，由於我在延安時期，特別是在上海工作時期瞭解了一些江青的問題，所以江青（「四人幫」）在「文化大革命」的過程中，利用審干的機會，對我進行殘酷的迫害，採用逼供信的手段，給我扣上了叛徒、特務的大帽子，企圖使我至死不能翻身。幾年來，由於江青的專權橫行，所以我有話不能講，有話講不清，以英明領袖華主席為首的黨中央一舉粉碎了「四人幫」，我和全國人民一樣是很高興的，感到黨有希望了，我們的國家有希望了，所以我再次向中央要求對我的歷史進行重新審查。
目前，我身患肺癌，已經擴散，可能不久於人世了，我迫切地要求能在我死之前，看到黨對我歷史作出符合歷史事實的正確結論……現在我雖然病重，但仍在堅決地與疾病鬥爭，與「四人幫」鬥爭，生命不息，戰鬥不止。
許建國在發出申訴書之後，寫下一首詩：
昨夜沉思未成眠， 革命生活憶當年。 身患重病何時好， 治療訴書迎春天。
然而當時中央遵循的是「兩個凡是」。1977年10月4日，重病中的許建國盼到了中共安徽省委組織部來人，他們帶來了中央的審查結論。來人宣佈，經「中央三辦」[14]對許建國的歷史做出審查結論，認為許建國參與「黑調查」問題屬實，「叛徒」問題屬實，中央決定將許建國定為「叛徒」，清除出黨！
許建國陷入極度憤怒之中，當場氣絕身亡。
直到1978年底中共十一屆三中全會以後，眾多的冤假錯案得以昭雪。1980年3月，中共中央為許建國平反。公安部、外交部聯合在北京中山公園中山紀念堂為許建國舉行追悼會。鄧小平、葉劍英、李先念、陳雲、胡耀邦、宋慶齡、徐向前、聶榮臻、彭真、鄧穎超、王震、烏蘭夫等中央領導獻了花圈，李先念等參加了追悼會。時任公安部部長趙蒼璧致悼詞。追悼會後，許建國的骨灰被安放在八寶山革命公墓骨灰堂。