哲學家、《超級智能》（Superintelligence）[1]的作者兼著名存在性風險學者尼克·波斯特洛姆通過一系列反烏托邦的思維實驗向公眾發出了關於人工智能的警示。在他的一項「噩夢實驗」中，廣義人工智能的目標是實現回形針產量的最大化。波斯特洛姆認為，這台讓回形針產量最大化的機器為了開發更加成功的回形針生產技術而不斷提高自身的智能，最終成為他所說的超級智能。基於這種智能水平的不斷提高，該思維實驗推測這台機器在某一天會把我們的整個太陽系變成一堆回形針。37
雖然我尊重波斯特洛姆和他的研究，但我對這一思維實驗表示質疑。正如我之前所述，廣義人工智能的特點是越來越複雜的目標設定。積累回形針的目標太過愚蠢以致機器本身無法變得非常智能或有創造力。
然而，波斯特洛姆的研究鼓勵我們思考的是這一「實用功能」理念，或者叫根據對個人的實用程度對備選方案進行排序的數學函數。大部分人的期望都是由許多目標組成的。比如，如果希望獲得幸福，那麼我們的目標就是改變生活中的各種體系。除了花更多時間陪伴家人和獲得更多的睡眠之外，我們可以進行體育鍛煉和在社區中從事志願活動。另一方面，狹義的「實用功能」會轉而利用數學方法找到最快捷的途徑，實現特定結果的最大化。這就是波斯特洛姆所提出的存在性風險。如果我們把提升人類幸福感作為廣義人工智能機器的一個目標，那將發生什麼？
機器都會追求實現這一目標的最快方法，不管帶來何種後果。機器可能會選擇一種超級算法，製造探針刺激入睡者分泌內啡肽，或強迫餵食鴉片，從而使人獲得生物化學中界定的精神愉悅感。目前執行「實用功能」的機器僅限於象棋等有限的領域，但未來廣義人工智能的「實用功能」必定是複雜的。即便如此，這些機器還是有可能重新評估自己的「實用功能」。我們能否控制這些目標？可能不行。馬斯克等反對進一步發展人工智能的人認為，僅憑這一事實就應該減慢科學進步的速度。他們認為，目前唯一讓我們免於滅頂之災的原因是人工智能還沒有宏大的目標。
我們不是預言家，我們中的任何人都無法預測人工智能的未來目標。我們可以知道的是當今世界所面臨的現實。在我看來，人類中的窮凶極惡之輩比未來任何的廣義人工智能都要危險。在短期內，相比於讓回形針產量最大化的機器，一個能夠控制先進狹義人工智能的瘋狂領導者要危險得多。鑒於目前實際存在的威脅，停止發展更先進的智能技術於我們而言有何益處？更值得警惕的是，如果我們停止研究，而其他一些不懷好意的政治力量仍在繼續研究，那我們該怎麼辦？
許多善良、智慧和理性的人都贊成限制和禁止特定類型的人工智能研究，尤其是對可能用於軍事的系統的研究，而我對此的觀點是，這些禁令不可能起到預期作用。
事實上，與許多過去的制裁和禁令一樣，此類措施可能只會讓我們試圖禁止的集團和組織開展隱藏的地下項目。
以核武器擴散的歷史為例。核武器已經傳播到美國之外，而美國是第一個開發出這種武器的國家。俄羅斯、美國、英國、法國、印度、巴基斯坦、以色列、南非、朝鮮等都擁有核武器，伊朗也可能擁有核武器。在大部分情況下，這些國家會受到嚴格的制裁，甚至連軍民兩用系統的出口也被禁止，但現狀又如何？事實上，許多分析家認為由於中東複雜的盟友與敵對關係，伊朗核武器的開發意味著沙特阿拉伯、阿聯酋和土耳其如果目前還沒有開發核武器，那麼它們很快也將這麼做。38
另一個例子是無人作戰飛機（UCAV）。美國在這一領域起到了帶頭作用，並且在全球地區戰爭中廣泛地使用「掠奪者」和「收割者」無人機，許多美國的盟友和敵人都想要獲得這項技術。比如美國的兩個盟友巴基斯坦和沙特阿拉伯都要求獲得無人作戰飛機技術。在遭到拒絕後，它們開發了本土技術。土耳其航宇工業公司（TAI）開發出Anka中海拔長距離無人飛機。39作為全球受制裁最嚴重的國家之一，伊朗也已開發出多種非常先進的無人機。其中包括一種隱形無人機，它似乎是複製於美國的RQ–170型飛機。40伊朗曾侵入一架RQ–170型飛機並迫使其降落在伊朗的領土上。
除了這些具體的例子之外，我們還需要思考這些禁令背後的心理，尤其是當它們與戰略技術相關時。囚徒困境是博弈論中最著名的問題之一，它為我們提供了一種圍繞不同的人工智能的未來進行情景規劃的有效工具。41囚徒困境指的是這樣一種境況，一個團伙的兩名成員A和B被逮捕並分開關押。如果他們互相背叛，則每個人要坐兩年牢。如果A背叛B，但B沒有背叛A，則A將無罪釋放，B將被判刑三年。如果他們都保持沉默，則各自服刑一年。雖然看起來保持沉默是「最划算」的行為，因為雙方所受到的懲罰最小且相同，但他們都不相信對方會採取這一「最划算」的行為。理由是只要背叛對方，就有可能被無罪釋放。A和B都不得不考慮對方可能採取最有利於自己的選擇，而且如果這樣的話，被背叛的一方將被處以最大的懲罰（三年有期徒刑）。因此，雙方經過考慮後所採取的行為往往是互相背叛，並一起「蹲」兩年牢房。
現在讓我們把這個困境擴展到人工智能禁令上。人工智能無疑是一項對機器、製造、能源、國防等所有領域產生革命性影響的技術。如果軍事領域的人工智能被禁止，那麼許多國家都會開始像囚徒困境中的A和B那樣思考：
情景1：如果一個國家遵守禁令，而其他國家暗中繼續開發人工智能武器，那麼其他國家的優勢就會被最大化，而遵守禁令的國家將會處於極大的劣勢。
情景2：如果所有國家自願放棄開發並遵守禁令，那是最好的情況，但誰也無法保證這種情況會出現。與囚徒一樣，這些國家會在未充分掌握其他國家決定的情況下在內部做出決定。
情景3：如果所有國家都開發出先進的人工智能技術，此時的情況不如每個國家都遵守禁令那麼美好。雖然風險依然存在，但至少所有國家都會意識到，如果它們中的任何一個國家使用人工智能武器，都會遭到抵抗。換言之，將出現威懾。
我們是否應該祈禱人工智能被用在好的地方，被用來造福我們而不是傷害我們？我們是否應該專注於這個目標並努力使其成為現實？當然如此，但我們不應該自我麻痺，認為通過一紙禁令就能解決問題。人工智能已經存在並且將繼續存在，它將變得越來越聰明和能幹。到時候，任何禁令都無法阻止創新的爆發。
我們真正需要做的是，在可解釋的人工智能、道德體系和人工智能安全等領域加倍投資，以此加快人工智能的發展速度，而不是在強制命令和禁令這條路上越走越遠。這些才是真正的技術、能力和算法，它們能安全處理事故並防止技術濫用。以無人駕駛汽車為例，我們需要將生命托付給多種執行感知和決策任務的機器學習算法。
在這種情況下，設定超高的安全性與可解釋性標準可謂迫在眉睫。比如我們可以通過指標保證狹義人工智能每一百萬小時的錯誤數量是人類的十分之一、百分之一或千分之一。我們可以從非常熟悉這些指標的航空業獲得這方面的靈感。航空技術，包括半智能控制系統等，每天都需要負責保障數百萬人的生命安全。因此，目前飛機比由人類完全控制的汽車要安全得多。這個例子說明，我們可以通過類似於當下智能控制系統的方式提升狹義人工智能系統的安全性。
然而，這個方案面臨著一個關鍵質疑，而這值得我們在此討論。作為目前最成功的機器學習系統，深度學習系統利用了神經網絡、大規模收集統計權重和激活函數。在人類看來，這些其實都是亂七八糟的數字，它們在經過不斷調整後，可以用來解釋新的數據。在這些結構中，對大多數人類觀察者來說，知識和學習的表示方式根本無法辨識。因此，批評接踵而至。這些系統似乎成了一個個「黑匣子」，人類無法探究和分析。
這一批評是對的，人工智能界必須趕快補救這個問題。我自己的研究重點是自主式控制系統的可解釋性與安全性 42，而美國和全球的一些著名研究者正在研究其他可以提高人工智能控制系統（自主系統）可解釋性與安全性的方法。美國國防部高級研究計劃局（DARPA）作為美國國防部負責尖端科技研發的部門，在過去幾十年主持開展了許多前沿性研究，其中一個名為xAI的項目專門資助可解釋性領域的研究。43
這些都是嚴肅而重要的工作，它們試圖讓狹義人工智能變得可以被理解、被說明，並且最終能以直接和具體的方式被修改，從而防止得出錯誤的結論或保留錯誤的事實。
正如其他新興技術一樣，關於人工智能的未來使用及其安全性問題，將出現許多不同意見。雖然要面對諸多挑戰，但我會始終保持樂觀的態度，相信我們能夠開發出可解釋的安全系統，從而大規模部署人工智能。更重要的是，我相信人工智能的益處將超過它的風險和缺點。在我看來，現在唯一需要做的就是加倍努力發明出更加容易被理解和被說明的系統。
無論對人工智能的態度是樂觀還是悲觀，你都必須記住，科技一旦被釋放就不可能再回到「瓶子」中。好奇是人的本性。在歷史長河中，我們一直展示著無止境的發明慾望。我們不可能停止發明嗎？我認為是不可能的。出色的發明家創造出各種各樣的東西，而創造出能夠進行自我創造的東西是任何發明家的最高成就。