隨著我們將越來越多的工作交給人工智能，我們可能最後需要面對人工智能的權利問題。許多作家已經提出了這個問題，但是在主流目光集中到這一點之前，它依然遠落後於人工智能是否會為人類帶來危險這個問題。舉例來說，英國技術作家比爾·湯普森（Bill Thompson）因其每週的BBC新聞專欄而聞名，他認為將艾薩克·阿西莫夫的第一法則（機器人不得傷害人，也不得見人受到傷害而袖手旁觀）寫進超級人工智能的代碼中有些類似於「為奴隸戴上枷鎖或把大猩猩裝進籠子，它也折射出我們的信念，即人工智能應該且必須永遠服務於人類，而不能成為一種自主的心靈」。如果有人提議將這一條法則作為控制未來人工智能的政策，他認為：「我們在道義上有責任反對它。」
就像人類有與其人工智能助手結婚的權利，我不認為人工智能的公民權利在未來10年內會成為一個大眾討論的話題，但它是個值得考慮的話題。就像如果我們建立一個具有基本意識的生物仿真神經網絡，那麼強迫它為我們開車或優化搜索排名是對的嗎？這使人聯想起道格拉斯·亞當斯著名小說《宇宙盡頭的餐館》（The Restaurant at the End of the Universe）中的場景，在書中他描述了一個未來主義的電梯：天狼星控制系統公司的快樂人體垂直傳送器。讀者獲悉，將今天的電動卷揚機驅動電梯與這種人工智能控制的電梯相比，就像「將一包混合堅果與天狼星國立精神病醫院的整個西翼大樓相提並論」。天狼星控制系統公司快樂人體垂直傳送器有點像第三章說的智能物聯網設備，通過預測未來而工作。它甚至在你意識到自己要進入電梯之前，就會出現在正確的樓層去接你，「這樣一來，也就免去了等電梯時人們被迫要進行的所有那些單調乏味的交談、放鬆以及相互結識」。
但是，種智能電梯很快就厭倦了這種上上下下，產生了斜向運行的念頭並付諸試驗。道格拉斯·亞當斯將之稱為「存在主義式的抗議」。討論囚禁人工智能是否符合倫理這可能看起來有些可笑，但如果科學家成功開發出了一種人工智能，其行為與我們主張的以符合倫理的方式對待的真正生命體更為類似，那麼這種討論就不會那麼可笑了。多年來，許多人工智能標準都已經發生了改變，我們對於「什麼可以稱之為意識」的看法也發生了變化。舉一個著名的例子，法國哲學家、數學家勒內·笛卡兒曾經描寫了他認為在建造一種機器時會遇到的挑戰，而這種機器就是我們今天稱為人工智能的機器。在1637年發表的《談談方法》（Discourse on the Method）中，笛卡兒寫道：
如果有一些機器跟我們的身體一模一樣，並且盡可能不走樣地模仿著我們的動作，我們還是有兩條非常可靠的標準來判明它們並不因此就是真正的人。第一條是：……它決不能把這些字排成不同的組合以恰當地和人對答，而這是最愚蠢的人都能辦到的。第二條是：那些機器雖然可以做許多事情，做得跟我們每個人做的一樣好，甚至更好，卻決不能做別的事情。從這一點可以看出，它們的活動所依靠的並不是認識。
笛卡兒認為在有靈魂的思想者與一個沒有靈魂卻栩栩如生的非思想機器之間存在重大區別。「我思故我在。」是笛卡兒著名的人類自我辯解。對於笛卡兒來說，在靈魂尺度上，動物多少表現得有些糟糕。因此，一些笛卡兒的追隨者決定四處踢狗。他們的論據是，由於無法達到「最駑鈍的人」的思考水平，狗沒有靈魂，因此它們的吠叫只是簡單的機械反應。
這個標準即使用於人類自身，也存在諸多問題。你只需要看看理論上關於子宮裡的胎兒或靠生命維持技術而生存的腦死亡患者是否有生命的辯論有多激烈，你就會明白這個主題有多大的不確定性。人工智能是否有權追求生活、自由和幸福的問題並不是一個需要我們現在就回答的問題，但如同向計算機植入道德，或考慮如何解決潛在的危險軟件一樣，總有一天我們要面對這個問題。
就像奇點一樣，預測即將來臨的事物並不像我們想像的那麼簡單。