在設計VR設備或體驗時，當然要有一個標準使其盡可能有效地成為幻覺。但我認為，劃定虛幻的邊界會讓VR的效果有所改善。
因此，我們提出了一種有趣而根本的張力。VR的目標之一就是，幻想必須盡可能地讓人信服，不然我們在做什麼？但最高層次的VR享受並不完全令人信服，就像你去看魔術表演時的感受一樣。
微軟Kinect的推出就是這種張力的一個例子。我對Kinect感到十分興奮！
20世紀90年代末，由我牽頭的一個研究聯盟，即美國遠程浸入項目，創建了首個帶有深度地圖的交互體驗。[7]這就意味著，人和環境都是通過容積法以全3D形式實時感知的。在早期的3D交互中，比如西雅圖上空的數據手套，你的身體是以點狀的形式斷斷續續地被感應到的。但在這種實時感知的情況下，你的整個形狀都是以3D的形式連續掃瞄的。這個軟件將你呈現為一個動態的雕塑，而不是只有幾個關節的木偶。
有一個消費類設備將會在我這個實驗室新鮮玩意兒問世後十多年，就把這種類型的互動帶給大眾，這個想法令人振奮。
Kinect的引入也為虛擬理想主義和虛擬現實主義之間的張力提供了一個非常明確的例子。微軟公司推出了“舞蹈中心”這一頗受歡迎的舞蹈學習體驗，但他們沒有公開原始數據、內部結構以及設備運作的實際情況。
這些隱藏的秘密讓人著迷，讓人興奮。這時，出現了一種叫作“Kinect黑客”的文化現象——業餘程序員為Kinect編寫自己的軟件，並在YouTube上發佈視頻。
這些視頻沒有精修過，並不是由一個長鏡頭構成。這些人都是書獃子和粗人。他們大多數只是暴露了原始數據。你可以在T恤衫上看到居家普通人的低畫質3D動態數字模型。
圖13–1 來自Kinect黑客視頻的圖片
這種對原始數據的暴露是否破壞了這一宏大的幻想？並沒有！當Kinect的內在本質被揭露出來時，很多人為此瘋狂。看到原始的內部結構讓這個設備更加迷人！
Kinect黑客的數量可能總共也就幾千個，而這個產品在市面上的銷量達到數千萬，成為歷史上最暢銷的消費電子設備。Kinect黑客是真的如此重要，還是只是消費者市場這一巨大海域上的泡沫？
我認為他們很重要。雖然這些黑客數量很少，他們的文化知名度卻很高。黑客對這個設備進行了解釋，並在一定程度上定下了數百萬人欣賞這一設備的基調。
第一代Kinect的原始數據是存在噪音和毛病的，[8]它以一種特殊的、高度當代化的方式讓人沉醉。人們終於看到了計算機可以看到的東西，而這又反過來闡釋了人們在數字世界所處的層次。
如果Kinect黑客運動被包裝成一個發聲實體，它會說：“這些設備看到什麼，你就可以看到什麼。在進入技術人員正在向我們展示的新世界之前，你的眼睛比以前明亮了一點點。”
Kinect黑客以及小部分觀看視頻的人，進入了引導我們文明的對話中：人們將如何修改我們認識並影響這個世界的感覺運動循環？數字文化就是為了修改這個循環，而Kinect黑客視頻大多表現出了某種奇特的扭曲。[9]
使自己成為一個自我膨脹的版本，使自己透明。黑客把自己變成了怪物，或者用手中的波浪控制著聖誕燈的浪潮。
這是我們的時代中典型的文化事件：與現實相關的因果關係被扭曲，並用數字設備演示現實。VR演示就像幽默一樣，稍稍打開了人們的思路。
第29個VR定義：一場文化運動，其中，黑客利用小裝置改變了演示中的因果和感知規則。
HoloLens並不像Kinect那樣隱藏原始數據。直到今天，當我戴上HoloLens的時候，仍會沉醉於目睹世界數字化這樣一個最簡單的經歷，所有東西都包裹在模擬的獵人的大網裡。
幾十年來，我已經目睹這個過程數千次，但它仍然吸引著我。這是實現我們的算法世界轉折的齒輪。它並不是轉折的意象，而是實際的轉折本身。它是具體的，是自由的。這個計算是驚人的，但並不是完美的。它是偶然的碰撞，存在著缺口，而且粗糙。
一個優秀的編劇從來不會試圖塑造完美的英雄，但我們的技術人員經常犯菜鳥級的錯誤，試圖展現出我們技術的原始狀態。
這是一本有關VR的書，但我必須說，熱鬧的柏拉圖式的技術思維方式遠遠超越了VR。當公司設計大數據算法向你推薦約會對像或電影的時候，他們默認你屬於沒有主見、容易輕信別人的人類群體。人們願意合作，但不希望看到合作的真實數據或算法的實際運作方式。
我最喜歡VR文化的一個方面就是，很多表面上準備接受其他備受吹捧和炒作的數字服務的用戶，都對VR幕後的技術很好奇，甚至要求看到幕後的東西。
這就說得通了。VR數據是個人觀點體驗的衍生物，它是直接而明智的。當你看到VR數據時，它自有一種風情，你能理解它。VR讓人們感到好奇，而對一項技術來說，這項功能是再重要不過的了。
第30個VR定義：它是這樣一種技術，其內部數據和算法就像實時的人類視角經驗的轉換一樣容易理解，因而能激發人們對幕後的好奇心。
是時候看看我生活的秘密了。
[1] 在日常生活中，一個令人十分驚訝的例子就是盲點。你的每一隻眼睛在離視野中心不遠的相當大的一個區域內都是看不見的，因為在這一區域內，視神經附著在視網膜上，阻斷了視覺功能。但你並不知道，你的大腦正在填補這個漏洞。
[2] “頭戴式顯示器”（HMD）是VR頭戴設備早期的一個術語。
[3] 這個例子說明了一個重要的原理：便宜的芯片可以提高其他零件的性能。
隨著機器視覺的發展，芯片可以通過慣性感應運動，並且會越來越好，越來越便宜。今天，每個便攜式設備都有一個加速計。把來自加速計的數據與來自相機的數據相結合，就能創建更快、更精確的跟蹤器。摩爾定律似乎解決了一切問題。
除此之外，快速芯片使預測未來值得一試。一般情況下，其中涉及的數學原理被稱為卡爾曼濾波器。就像你的大腦（或許是小腦）可以預測你的手需要去哪個位置捕捉運動中的棒球一樣，卡爾曼濾波器也可以預測頭部將要定位的位置。更專業的算法可以利用身體和頸部的特殊解剖學，你的頭只能以特定的方式移動，因此也就沒有必要考慮不可能的頭部運動。
並且，等到你能渲染一個3D場景時，這可能就有點過時了，因為即便是對今天的廉價芯片來說，3D圖形仍然意味著大量的工作。因此，高性能的VR設置將在更簡單的基礎上進行最後一微秒的調整，使圖像更加流暢。（例如，整個圖像可能會被移動、傾斜和扭曲。）
[4] 當某些感知延遲下降到七八毫秒時，VR就開始運轉良好。
[5] 亞里士多德·奧納西斯是已故的希臘船王，曾經的世界首富。——編者注
[6] https://www.scientificamerican.com/article/virtually-there/.
[7] 第二代Kinect能生成更流暢、更精細的數據。
[8] https://www.youtube.com/watch?v=ho8KVOe_y08.
[9] 跟蹤具有不同的類型。由於眼睛基本是球形的，並且大致圍繞其中心旋轉，因此，我們通常所知道的是眼睛的位置，而不是眼睛在看哪裡。只要你能夠在眼睛周圍呈現一個足夠寬的虛擬全景，它們就能環顧四周，正確地看到虛擬的東西。這就是所謂的眼動跟蹤。事實上，在轉動時，眼睛在頭部的位置是相當固定的，因此，你有時可以通過單純的頭部跟蹤來實現眼動跟蹤。而在某些VR顯示器中，你必須知道眼睛看東西的方向，而不僅僅是它們的位置。這就是所謂的視線跟蹤。（跟蹤是沒有盡頭的，就像測量沒有盡頭一樣。跟蹤每隻眼睛的焦距或虹膜的擴張有時是至關重要的。）