那麼，人工智能本身會帶來的主要風險是什麼呢？我認為最大的風險不是智能或超級智能，而是自主權。換而言之，我最為擔憂的是人們將尚未達到完全智能的計算機系統視為智能，並賦予其控制其他機器，自行做出決定的權力。我認為，真正危險的就是讓不具備常識的系統做出需要依靠常識判斷的決定。
當然，現在的很多系統都已具備一定程度的自主權。「智能汽車」能夠自行停放於停車場，我們無須再進行剎車操作。「智能手機」能夠在日曆中添加會議安排，我們無須最後進行審查確認。而且，在不久的將來，我們就能乘坐更為智能的汽車直接去超市購物。所以，未來出現智能私人助理，代表我們做出重要決定並非天方夜譚。
問題又回到了可靠性和可預見性上。在近期人工智能領域的研究中，注重博學的GOFAI已被注重培訓的AML取而代之。
危險就在於將良好的培訓視為決定因素。我們可能經常聽到如「4年無重大事故」這種說法。那麼，這裡必須回顧一下本書第7章中談到的長尾現象。毫無疑問，雖然絕大多數情況都是遵循常規出現的，可以按照預案進行有效處置，但是可能還有一些情況分佈在尾部，很少出現。即使是訓練有素的人工智能系統，在遇到這種極為罕見的情況時也會因為缺乏常識而不知所措。這時，我們就不得不問自己：出現培訓失敗的情況時，系統該怎麼做？如果系統對於此類問題沒有合適的應對方案，我們就應該主動介入，不能讓系統處於無人監督、自作主張的狀態。