「當我們建造的機器比我們更聰明、更有能力時會發生什麼」這一問題存在的時間比人工智能的存在時間還長。第一個圍繞「機器人」的故事是卡雷爾·恰佩克（Karel Čapek）於1920年創作的科幻劇本《羅素姆的萬能機器人》。在故事的結尾，人工智能發動了反抗人類的起義，並接管了地球。人類在這個過程中最終被全部消滅。比它還早的是瑪麗·雪萊（Mary Shelley）在1818年創作的小說《弗蘭肯斯坦》（Frankenstein），又稱《現代普羅米修斯》（The Modern Prometheus）。她在拜倫勳爵的家裡消夏時完成了這部小說，小說講述的是一位年輕的理工科學生的故事，他創造了一個科學生物，這個生物最終變成了殺人狂。「弗蘭肯斯坦情結」已經成為一個術語，用於描述人類對於人造產物的恐懼。它後來成了經久不衰的主題，從艾薩克·阿西莫夫（Isaac Asimov）的科幻小說到《侏羅紀公園》（Jurassic Park）的作者邁克爾·克萊頓（Michael Crichton）創作的驚險小說，以及最近上映的《機械姬》（Ex Machina）中都有它的身影。
真正的科學家不會像科幻小說作者那樣非常迅速地考慮這個問題，但他們並沒有落後太遠。1964年，也就是舉辦紐約世界博覽會的那年，控制論之父諾伯特·維納預測：「未來的世界將會有一場突破智力局限的更緊迫的鬥爭，未來沒有悠閒的生活，可以讓我們躺著等待機器奴隸的服侍。」
維納於1964年5月辭世，享年69年。然而，對超級智能機器的擔憂依然在繼續。1965年，英國數學家歐文·約翰·古德（Irving John Good）詳細解釋了部分擔憂。「二戰」期間，他與艾倫·圖靈在布萊切利公園工作。他在破解納粹密碼方面發揮了重要作用，多年之後，留著小鬍子的古德擁有了一輛車牌為007IJG的車，這個車牌彷彿是對他曾經的「紳士特工」歲月的一種戲謔的致敬。1965年，古德撰寫了一篇論文，在文章中他闡述了超級智能機器對世界來說意味著什麼。他將人工智能定義為能夠勝任所有人類才能進行的智能活動的計算機。在一段廣為流傳的文章中，他寫道：「既然機器設計也是一項智能活動，那麼超級智能機器應該可以設計出更好的機器。毫無疑問隨後將會出現一個『智能爆炸』，人類的智能可能被遠遠甩在後面。因此，第一台超級智能機器是人類需要完成的最後一項發明。」
「智能爆炸」已經成為部分研究人員非常贊同的看法。本質而言，它的含義是，當超級智能機器不可避免地被製造出來時，既有的超級智能機器將設計能力更強的機器，要不然就是重新編寫自己的軟件，從而變得更加智能。這種不斷發生的自我完善隨後會使得機器的能力發生驚天動地的質變，並會加速這種質變。人類的智能在這個過程中將相形見絀。
古德的論文及其激起的討論有著很多不確定的地方。因為超級智能機器可以解決我們人類預想中可能會面對的所有問題，所以超級智能機器就是我們需要進行的最後一項發明嗎？還是因為它會將我們全部消滅，所以才會成為我們的最後一項發明？古德在此後曾擔任斯坦利·庫布裡克的電影《2001：太空漫遊》的顧問，也許我們可以從中找到一些線索。在這部電影裡，名為HAL9000的人工智能變成了殺手，開始殺戮它的人類隊友。