在數(shù)個月前,我將一款Pathfinder演示應(yīng)用程序移植到WebVR。那是一次有趣的經(jīng)歷,而我感覺自己在將WebGL應(yīng)用移植到WebVR的過程中學(xué)到了一推事情。我認(rèn)為這些經(jīng)驗(yàn)教訓(xùn)應(yīng)該會對大家有所幫助,尤其是缺乏Web編程經(jīng)驗(yàn)的WebVR新人。
Pathfinder是一款用Rust語言編寫的基于GPU的字體光柵化器,它包含一個在服務(wù)器端運(yùn)行Rust代碼的演示應(yīng)用程序,但都在TypeScript網(wǎng)站的WebGL中完成所有的GPU工作。
我們有一個展示Mozilla Monument的3D演示作品,將其作為演示3D文本光柵化的一種方式。我希望做的事情是將其轉(zhuǎn)換為WebVR應(yīng)用程序,支持你通過移動頭部來瀏覽紀(jì)念碑,而非使用鍵盤的方向鍵。
我在著手研究這個問題的時候相當(dāng)熟悉OpenGL和WebGL,但對VR或WebVR幾乎沒有任何知識背景。三年前我編寫了一個Android Cardboard應(yīng)用程序,但也就僅此而已。
我希望這篇文章能夠?yàn)轭愃频拈_發(fā)者提供幫助。
1。 什么是WebVR
WebVR是一組用于在Web上編寫VR應(yīng)用程序的API。它允許我們請求跳轉(zhuǎn)到VR模式,這時我們就可以直接將影像渲染到VR顯示器,而不是渲染到平面瀏覽器。當(dāng)用戶使用Cardboard或Daydream等設(shè)備時,用戶需要將智能手機(jī)塞進(jìn)頭顯之中。
WebVR API有助于切換至或離開VR模式,獲取姿態(tài)信息,在VR中渲染,以及處理設(shè)備輸入。新的WebXR Device API規(guī)范正在對一系列的事項進(jìn)行優(yōu)化。
2。 我需要什么設(shè)備來支持WebVR嗎?
理想情況下,一款優(yōu)秀的VR設(shè)備可以更容易地測試你的工作,但根據(jù)你需要的分辨率,Daydream或Cardboard已經(jīng)足夠。你甚至可以在沒有頭顯的情況下進(jìn)行測試,不過畫面看起來會很怪異和出現(xiàn)扭曲。
對于本地測試,Chrome提供了一個非常有用的WebVR API模擬擴(kuò)展。你可以使用其中的開發(fā)者工具面板來調(diào)整姿態(tài),而且你可以獲得無扭曲的顯示。
火狐支持WebVR,而在啟動一定的flag情況下,Chrome Canary同樣予以支持。這個polyfill應(yīng)該能兼容更多的瀏覽器。
3。 工作原理
我認(rèn)為在我開始的時候,不理解這部分內(nèi)容是我產(chǎn)生許多困惑和錯誤的根源。API的核心基本上是“將某些內(nèi)容渲染到畫布,然后再變出魔術(shù)”,而我當(dāng)時無法確定魔法是如何產(chǎn)生。
基本上,有一些我們應(yīng)該做的事情,然后瀏覽器(或polyfill)同樣有一些額外的工作需要完成。
一旦我們進(jìn)入VR模式,只要設(shè)備請求幀,就會觸發(fā)回調(diào)。在這個回調(diào)中,我們可以訪問姿態(tài)信息。利用姿態(tài)信息,我們可以確定每只眼睛應(yīng)該看到的內(nèi)容,并以某種形式將其提供給WebVR API。
WebVR API期望的事情是,我們將每個眼睛的視圖渲染至畫布,水平分割(當(dāng)我們初始化它時,這個畫布將傳遞給API)。這是我們這一邊要做的事情,然后瀏覽器(或polyfill)完成剩下的工作。它將使用我們渲染的畫布作為紋理,并且對于每只眼睛,它會扭曲渲染的一半以適當(dāng)?shù)厥褂迷O(shè)備中的透鏡。例如,Daydream和Cardboard的扭曲遵循這個polyfill中的代碼。
值得注意的是,作為應(yīng)用程序開發(fā)者,我們不必?fù)?dān)心這一點(diǎn),因?yàn)閃ebVR API將會為我們處理它。我們只需要將每只眼睛的未扭曲視圖渲染至畫布,左邊視圖到左半邊,右邊視圖到右半邊,而瀏覽器將處理其余的視圖。
4。 移植WebGL應(yīng)用
webvr.info和MDN提供了一些很好的資源。webvr.info有一堆簡潔的樣本,如果你像我一樣,搗鼓它們能夠幫助你更好地學(xué)習(xí)。
4.1 進(jìn)入VR模式
首先,我們需要訪問VR顯示器并進(jìn)入VR模式:
進(jìn)入VR本身:
現(xiàn)在我們已經(jīng)進(jìn)入VR,下一步是什么?在上面的代碼片段中,我們有一個render()調(diào)用,它正在完成大部分的艱苦工作。由于我們從一個現(xiàn)有的WebGL應(yīng)用程序開始,我們已經(jīng)有了這樣的功能:
這看起來很好,但請注意我們是為雙眼渲染相同的影像,而且根本沒有處理頭部運(yùn)動。為了實(shí)現(xiàn)這一點(diǎn),我們需要使用WebVR從VRFrameData對象提供的透視圖和視圖矩陣。
VRFrameData對象包含一個姿態(tài)構(gòu)件,其中包含所有頭部姿態(tài)信息(位置,方向,甚至是速度和加速度)。但為了在渲染時正確定位camera,VRFrameData提供了我們可以直接使用的投影和視圖矩陣。我們可以這樣做:
在圖形中,我們經(jīng)常發(fā)現(xiàn)我們需要處理模型,視圖和投影矩陣。模型矩陣定義了我們希望在空間坐標(biāo)中渲染的對象位置,視圖矩陣定義了camera空間和世界空間之間的變換,而投影矩陣則處理剪輯空間和camera空間之間的變換。有時候我們會處理其中一些組合,比如“模型-視圖”矩陣。
你可以在webvr.info的立體渲染示例中看到立方體群代碼使用這些矩陣。
我們的應(yīng)用程序很可能已經(jīng)具備模型/視圖/投影矩陣的概念。如果沒有,我們可以在頂點(diǎn)著色器中使用視圖矩陣預(yù)乘我們的位置。我們的代碼看起來將是這樣:
這應(yīng)該能解決問題。現(xiàn)在移動頭部應(yīng)該能觸發(fā)場景中的移動。你可以通過這個演示應(yīng)用程序看到代碼的應(yīng)用,它是利用本文提及的技術(shù)來將一個旋轉(zhuǎn)三角形WebGL應(yīng)用程序轉(zhuǎn)換為WebVR兼容的三角形瀏覽應(yīng)用程序。
如果我們有進(jìn)一步的輸入,我們可能需要使用Gamepad API來設(shè)計一個適用于典型VR控制器的VR界面,但這超出了本文的范圍。
來源:87870