令人遺憾的是，不久以後，與感知器有關的研究遭遇了兩次嚴重的挫折。第一次主要是技術方面的原因，也有些許人為因素。感知器當時已經被證實能夠完成簡單的學習任務，例如識別語音或印刷字體。然而，它們也成功地引起了廣泛關注，給它們的投資也遠遠超過了技術取得成功的水平。這使得人工智能界內部產生了矛盾。馬文·明斯基就是眾多直率的評論家之一。明斯基在讀博士時就已經研究過神經網絡，但是對該領域已經不抱任何希望。自20世紀50年代以來，羅森布拉特與明斯基曾在眾多科學會議上就腦啟發計算機（brain-inspin computer）的有效性展開爭論。羅森布拉特強烈推薦他研發的技術，稱感知器實際上能夠完成任何學習任務。明斯基則持截然相反的態度。直到1969年，明斯基與研究人員西蒙·派珀特合著了一本著作才打破這一僵局，該書就感知器可能無法完成的事情進行抨擊。明斯基和派珀特總結道，這一技術「不具有任何科學價值」。為神經網絡籌集的資金也頃刻化為烏有。
第二次挫折更加悲慘。明斯基和派珀特出版《感知器》一書兩年後，在一個週日，弗蘭克·羅森布拉特去美國最大的河口切薩皮克灣划船。那天是他43歲的生日，然而當天發生了意外，羅森布拉特就這樣去世了。在康奈爾大學的悼詞中他的一位同事寫道：「他的離去讓我們失去了一個最無私、最富有同情心的同事，他的機智和幽默給我們留下了深刻的印象。」這樣一來，感知器也就失去了最忠實的擁護者。
腦啟髮式神經網絡在接下來的10年中似乎銷聲匿跡了。後來，西蒙·派珀特以童話的方式，將傳統人工智能和感知器之間的衝突總結如下：
從前，控制論科學生了兩個女兒，一個是自然的，能夠從對人腦的研究和自然規律中繼承特性。另一個女兒是人造的，涉及範圍從計算機最初的創造到使用。這兩姐妹都想要建造智能模型，但是用的材料卻大不相同。自然科學使用數學純化神經元構造模型（稱為神經網絡），而人造科學則是通過計算機程序構造模型。
派珀特借用了白雪公主的故事，將他和明斯基對感知器的抨擊比作獵人衝入樹林對白雪公主的追殺。就像童話故事中講的那樣，派珀特和明斯基帶著感知器的「心臟」回到他們的主人（在本案例中，我們稱其為萬能的「美國國防部高級研究計劃局」）身邊，證實感知器已經死了。「然而，派珀特和明斯基展示給世界的證據並不是白雪公主的心臟，而是豬的心臟。」
這可能曾一度引起過度緊張，但派珀特承認，神經網絡躲過了他和明斯基的猛攻。事實也確實如此。實際上，派珀特在20世紀80年代末寫下這句話的時候，神經網絡已經又一次發展得如火如荼。