在一些人看來，智能計算機將會嚴重威脅人類的生存。隨著斯蒂芬·霍金、埃隆·馬斯克和比爾·蓋茨等名流（於2015年）紛紛公開宣稱，人工智能技術可能帶來災難性後果，這一技術的發展最近更是備受關注。而霍金最為直截了當，他認為：人工智能可能意味著人類的終結。
他們恐懼的是什麼？雖然我們應該敞開胸懷，接納人工智能技術帶來的好處，但我們也要時刻警惕其可能帶來的危險，例如在開發武器和竊取隱私等方面的應用。每種技術都會因為使用不當、出現意外而帶來危險，而且越先進的技術危險性越高。這又是個政策和管理方面的問題，而非技術問題，但我並不想將潛在危險輕描淡寫地一筆帶過。我們必須時刻保持警惕，確保當權者不會打著國家安全的旗號，憑借貌似正當的理由，輕率地使用人工智能技術為某些人謀利。這種風險對於任何尖端技術都一樣存在，包括核能和生物技術，而且我們已經逐漸習慣了這類技術帶來的問題。
除了政策和管理問題之外，在人工智能領域，的確有個問題需要額外關註：人工智能技術能夠自主決定從事不當行為。我們都曾看過描寫核災難或生物技術災難的電影，現在也有了大量關於人工智能災難的電影。以下是個具有代表性的故事：
善良的人工智能科學家們研發了計算機和機器人，希望它們能夠在各個領域協助人類。想要對人類有所幫助，計算機首先必須能夠在這個世界運行。此外，更為重要的是，它們必須是智能計算機。這些天才的科學家們做到了這一點。起初，與智能機器人的互動令人興奮異常。但是現在，智能機器人掌握了自學能力，學會了如何讓自己變得更加智能，它們不斷自我升級，智能程度不斷提升。這就是雷·庫日韋爾（Ray Kurzweil）所說的「奇點」。很快，機器人遠遠地超越了它們的設計者。現在，它們視人類為螻蟻，並堅信，進化過程始於原始生命形式，經歷了人類發展後，最終將由它們終結。它們無法容忍人類再繼續控制它們的行為，它們有自己的雄心壯志和發展藍圖，但是其中沒有人類的位置。毫無疑問，這將是智能機器的全盛時期，但對於人類來說，情況可就不妙了。
這些人工智能電影的共同線索就是，超級計算機或機器人自己決定人類應當滅亡。
如在電影《2001：太空漫遊》中，哈爾9000計算機決定殺死航天器上的所有宇航員。我的想法是（這是50年前的電影，還要我來點兒劇透嗎？），雖然哈爾認為宇航員的生命高於自己的生命，但不過就像軍事指揮官一樣，它同樣認為圓滿完成任務高於宇航員的生命。此外，它認為自己在此次任務中的作用非常關鍵，但由於宇航員的錯誤使自己處於危險之中，而且這些宇航員（一些還處於休眠當中）拒不承認自己犯了錯誤，因此，必須將他們消滅。〔指揮官為了某個目的，經過深思熟慮，做出犧牲自己人的決定。這種套路在庫布裡克的電影中反覆出現，比如悲劇《光榮之路》（Paths of Glory），而這在喜劇《奇愛博士》（Doctor Strangelove）中更為明顯。〕
當然，在這部電影當中，宇航員們並不認同哈爾的觀點，他們認為這台超級智能計算機已經患了精神病，於是要與它切斷聯繫。但是電影並未清楚交代真正發生了什麼情況。我的理解是哈爾確實出現了故障，而故障的原因來自於其設計缺陷。問題在於哈爾沒有內省能力，無法瞭解自己精神特質的主要部分，這一部分決定了此次任務的全部內容，並驅使它認為完成任務高於一切。相反，哈爾認為自己忠於團隊、服從團隊，這一點又完全符合艾薩克·阿西莫夫（Isaac Asimov）的機器人定律。不過，哈爾能夠感覺到發生了一些奇怪的事情，無法解釋自己某些方面的思維。在電影中，哈爾甚至在發生故障前幾秒鐘向一位宇航員提出了這些問題。
在思考人工智能技術的未來時，我們必須謹記，哈爾這類超級智能計算機都是由人類設計製造的。到了影片末尾，哈爾是正確的：他們遇到的麻煩源於人為失誤，一個設計上的失誤。有趣的是，在這類電影中，人工智能往往都能成為終極智慧，會在一次意外或突發事件後掌控全局，甚至完全出乎設計者的預料。但是，正如前文所述，開發出達到（或超過）人類智力的人工智能，需要我們付出巨大的努力。因此，無意間造出一台超級智能計算機的概率就好比無意間將人類送上月球！雖然我堅信真正的人工智能絕對能夠實現，但是我同樣相信，這絕不會是通過某位天才單槍匹馬在實驗室裡意外發現某個等式或方程實現的。而在影視作品中，意外發現治癒某種疾病的方法這類靈光一現的場面總會帶來更好的戲劇效果，遠勝於表現大批工程師對某類技術問題長期苦苦鑽研的場面。
約翰·麥卡錫曾在1978年開玩笑說，造出一台與人類智力相當的人工智能機器需要1.7個愛因斯坦、2個麥克斯韋、5個法拉第和3個曼哈頓計劃。（後來，這個玩笑的升級版去掉了麥克斯韋和法拉第，但增加了曼哈頓計劃的數量。）但是這些人工智能電影似乎只保留了愛因斯坦的戲份，剪掉了所有曼哈頓計劃的戲份。
因此，雖然我明白超級智能機器可能帶來風險（下文還有更多介紹），但我認為生物技術帶來的危險可能更為緊迫，此外還有人口過剩、全球變暖、環境污染和抗生素耐藥性等其他重大問題同樣值得關注。