讀古今文學網 > 虛擬現實:萬象的新開端 > AudioSphere >

AudioSphere

斯科特·福斯特(Scott Foster)設計了VPL的3D聲音技術。當時VPL坐落在碼頭上,工程師經常在船上生活,偶爾乘船上下班。斯科特是我記得的唯一一個坐小飛機上下班的人。他會從約塞米蒂的簡易機場出發,在碼頭旁邊降落。

斯科特設計了定制的PC板來計算立體聲。人們可以通過眼機內置的音頻耳機聽到聲音。

什麼是立體聲?這很複雜!我們能聽到這個世界上空間內的聲音,部分原因在於我們有兩隻耳朵,大腦可以比較聽到的內容。例如,如果聲音到達每隻耳朵的時間稍微有所不同,大腦就可以利用這一差異監測聲音來源的左右軸方向,但這只是感知的第一步。

我們的大腦也善於破譯回聲。雖然不如蝙蝠那麼厲害,但比我們通常意識到的要好。我們聽到的回聲的模式可以傳遞出很多信息,比如所在空間的形狀、空間表面構成、空氣潮濕度以及我們在空間中的位置等。

所以VR的聲音子系統有兩個明確的任務:它必須使聲音到達每隻耳朵的時間不一致,同時必須模擬在真實空間迴盪的回聲。

耳郭,也就是耳朵從頭部伸出的那個奇怪的部分,是我們聽到聲音的另一個原因。為什麼耳郭是不規則的、螺旋狀的一塊?這個奇怪的設計會使你從前面收集的聲音比從其他方向收集到的聲音稍微清晰一點,但這也使來自不同方向的聲音呈現出不同的音色,略有差異。

斯科特的計算機板利用卷積來模擬耳郭的功能。卷積可以被看作一種數學方法。如果我們檢測到早期信號發生了變化,新的信號也會通過卷積算法發生類似的變化。我們在VR中一直使用卷積。

在這種情況下,一些倒霉的研究生不得不待在一個完全無回音的安靜房間(消聲室)裡,耳朵裡塞著讓人討厭的微型麥克風,接著我們會四處移動一個發出測試音的揚聲器,卷積算法會分析之前來自特定方向的記錄在耳內的聲音,並將相同的變化應用於虛擬世界內可能發出的任何新聲音。

結果出人意料地令人滿意。實際上,相比於真實世界,VR盲人用戶可以通過聲音更好地遊覽虛擬世界。模擬的空間聲音也比現實的空間聲音更加清脆。

現在,芯片的質量非常好,價格也很低,VR系統中都預置了立體聲,但很多新系統似乎都沒有正確校準立體聲。我們對待便宜的事物就會變得態度隨意。

如果不提及與此相關的戲劇性詐騙史,關於空間聲音的介紹就不算完整。有個方法可以很容易地獲得非交互的空間聲音,而且這種方法在音頻錄製初期就已經存在。將兩個麥克風放在仿真人頭類似於耳膜的位置,就可以收集到通過仿真耳郭接收到的聲音。

我們每10年就會重新發現那幾個經典的仿真人頭錄音演示。最常見的是關於理發的演示。我不太記得真正的理發是什麼感覺,或聽起來如何了,但那些記得的人告訴我,剪刀在頭部周圍剪髮的聲音(來自理髮師靠近仿真人頭剪東西的錄音)逼真到讓你起雞皮疙瘩。(如果喜歡惡作劇,你甚至可以得到剪刀似乎移動到頭顱內的聲音,你要做的就是撕開一個足夠大的洞,方便剪刀進入仿真人頭。)

這個戲劇性的演示在過去幾十年來被反覆使用,從天真的投資者那裡獲得了空前的巨額資金,這些投資者從來沒有意識到這是個多麼簡單的伎倆。

[1] 實際的方案比在文字上描述拍出全景視頻要更複雜,但它是個合理的方案。