去年7月28日HYPEREAL Pano發(fā)布會(huì)上，HYPEREAL發(fā)布了自主研發(fā)的產(chǎn)品、游戲內(nèi)容。在此前，HYPEREAL一直是一家默默無(wú)聞的技術(shù)公司，而CJ前兩天過(guò)后，經(jīng)過(guò)一些媒體的報(bào)道，HYPEREAL儼然被視為“VR界的黑馬”，在受到大量贊賞的同時(shí)，關(guān)于產(chǎn)品的外觀和技術(shù)HYPEREAL也面對(duì)了一些質(zhì)疑，甚至有人專門來(lái)體驗(yàn)區(qū)拍攝HYPEREAL頭顯和手柄的sensor點(diǎn)布局。

很多人說(shuō)HYPEREAL的定位像Vive，但事實(shí)上HYPEREAL與Vive有很多不同：Vive采用的是光同步，HYPEREAL采用的是無(wú)線同步，其次sensor點(diǎn)的布局完全不同，結(jié)構(gòu)和算法也完全不同。HYPEREAL的技術(shù)總監(jiān)陳祿在去年7月28日的CGDC上發(fā)表了主題演講《虛擬現(xiàn)實(shí)交互的圣杯——燈塔跟蹤技術(shù)》，分享了HYPEREAL空間定位——HyTrack的技術(shù)細(xì)節(jié)。

陳祿，HYPEREAL圖形技術(shù)總監(jiān)，圖形學(xué)博士

畢業(yè)于浙江大學(xué)竺可楨學(xué)院和CAD&CG國(guó)家重點(diǎn)實(shí)驗(yàn)室；

博士期間研究方向?yàn)樘摂M現(xiàn)實(shí)和幾何建模，發(fā)表過(guò)多篇頂級(jí)期刊和會(huì)議論文；

曾就職于寶馬中國(guó)技術(shù)中心，擔(dān)任虛擬現(xiàn)實(shí)和人工智能兩個(gè)方向的研發(fā)團(tuán)隊(duì)負(fù)責(zé)人；

根本目標(biāo)：用跟蹤技術(shù)為用戶帶來(lái)沉浸感

陳：VR的終極目的是為了完全接管人體所有的感知器官，然后通過(guò)計(jì)算機(jī)模擬的方式去提供反饋，讓用戶形成一種很強(qiáng)烈的沉浸和臨場(chǎng)感。除了視覺(jué)顯示，還要用到跟蹤技術(shù)。跟蹤技術(shù)的意義是能夠把真實(shí)世界的東西帶到虛擬世界當(dāng)中去。畢竟人的身體，包括一些周圍的環(huán)境都還是在真實(shí)世界當(dāng)中，所以必須要用跟蹤技術(shù)來(lái)使得真實(shí)世界的東西在虛擬場(chǎng)景中有一個(gè)對(duì)應(yīng)，以及和虛擬場(chǎng)景發(fā)生交互。

跟蹤技術(shù)

跟蹤技術(shù)是分階段的。最初級(jí)階段，便是實(shí)現(xiàn)頭盔旋轉(zhuǎn)的跟蹤?，F(xiàn)在移動(dòng)端大部分產(chǎn)品，基本上都能實(shí)現(xiàn)這一點(diǎn)，通過(guò)追蹤頭部旋轉(zhuǎn)，已經(jīng)可以達(dá)到一定的沉浸感。但問(wèn)題是，當(dāng)用戶看到VR場(chǎng)景之后，接下來(lái)的需求就是希望與這個(gè)虛擬場(chǎng)景進(jìn)行交互。這其中，交互的方式有很多種，包括用手，或者用身體，這就是為什么現(xiàn)在所有的PC的方案基本上都會(huì)有頭部的平移以及手柄的跟蹤，這會(huì)給用戶提供更好的沉浸感，因?yàn)樗梢愿械剿眢w的一部分——頭部和兩只手，可以和虛擬當(dāng)中的物體發(fā)生交互。

誠(chéng)然，為了達(dá)到完美的沉浸感和逼真的效果，還有很多東西需要做，比如說(shuō)手指、全身、眼球的跟蹤，以及對(duì)周圍環(huán)境的感知。這些也都是大家能看得到的VR的發(fā)展方向，我們也在同時(shí)研究和關(guān)注這些技術(shù)。

我們今天介紹的HyTrack跟蹤系統(tǒng)主要是側(cè)重于解決PC方案中頭盔和手柄的運(yùn)動(dòng)跟蹤問(wèn)題。

HyTrack——最精確的毫米級(jí)定位系統(tǒng)

在講解了跟蹤技術(shù)之后，陳祿介紹了HYPEREAL自主研發(fā)的燈塔技術(shù)原理。

燈塔跟蹤技術(shù)的前世今生

燈塔定位技術(shù)的最早原型是在1989年被提出的Minnesota Scanner，其原理就是利用掃描激光面對(duì)于空間進(jìn)行編碼進(jìn)而對(duì)物體做跟蹤。而后有很多人基于相似原理做了改進(jìn)用于不同領(lǐng)域的應(yīng)用中。Valve之前首先把它成功的帶到了VR消費(fèi)電子領(lǐng)域。

陳：這是我們公司自己研發(fā)的比較早期的原型，做得比較裸。左邊是燈塔，有兩個(gè)電機(jī)，電機(jī)上面有透鏡，這里有一個(gè)小動(dòng)畫演示燈塔的結(jié)構(gòu)，可以看到通過(guò)透鏡把一束激光變?yōu)橐粋€(gè)扇面，再利用電機(jī)使得激光面勻速掃描。中間的部分是我們頭顯的早期原型，上面有很多小的線路板就是我們自己制作的傳感器模塊，每一個(gè)中心有一個(gè)光電二極管。傳感器把光信號(hào)轉(zhuǎn)成電信號(hào)再到數(shù)字信號(hào)，然后傳到計(jì)算機(jī)里?；驹砣缟蠄D，左邊這一塊是激光掃描扇面的頂視圖，激光會(huì)從一個(gè)基準(zhǔn)位置開始向下掃。在掃過(guò)基準(zhǔn)位置時(shí)刻，我們會(huì)發(fā)射一個(gè)無(wú)線同步信號(hào)。藍(lán)線是掃到每個(gè)光電二極管的激光面。右邊的圖是傳感器上面的時(shí)序圖，從收到無(wú)線同步信號(hào)的時(shí)候開始計(jì)時(shí)，當(dāng)被光掃過(guò)的時(shí)候，會(huì)留下一個(gè)很小的間距的光脈沖，測(cè)量脈沖中點(diǎn)時(shí)刻，結(jié)合電機(jī)轉(zhuǎn)速，我們可以計(jì)算得到該掃描面相對(duì)基準(zhǔn)平面的夾角。這樣我們就知道這個(gè)點(diǎn)處在空間當(dāng)中哪一個(gè)平面上。通過(guò)兩個(gè)方向的掃描，被照到的傳感器點(diǎn)我們可以確定其在空間當(dāng)中的某條直線上。在這里我們和VIVE采用了不同的技術(shù)方案，他們使用的光同步，燈塔會(huì)有LED燈。無(wú)線同步的好處是，燈塔之間不用同步線連接了，或者燈塔不用互相對(duì)著擺放。兩種方案在工程實(shí)現(xiàn)上的區(qū)別很大，測(cè)量手段也會(huì)不一樣，但是本質(zhì)上都是為了獲得同步信號(hào)時(shí)間。

HyTrack早期原型、基本原理

而后是算法邏輯，這主要基于一個(gè)數(shù)學(xué)模型。

數(shù)學(xué)模型

我們通過(guò)光學(xué)系統(tǒng)所得到的其實(shí)是兩個(gè)角度，這樣就可以知道，這個(gè)物體的某些點(diǎn)在投影平面上的坐標(biāo)。這里等同于一個(gè)小孔成像的相機(jī)模型，也可以很好地表達(dá)成一個(gè)線性的約束。在靜止?fàn)顟B(tài)下我們已知傳感器點(diǎn)的相對(duì)位置，當(dāng)物體運(yùn)動(dòng)過(guò)之后，可以得到某些點(diǎn)的掃描觀測(cè)值，因?yàn)樗徽盏?，它?huì)處在這個(gè)空間當(dāng)中某兩個(gè)面的交線上，這個(gè)可以很好的寫成一個(gè)線性約束表達(dá)式，可以把它們聯(lián)立起來(lái)，相當(dāng)于做一個(gè)最優(yōu)化的問(wèn)題，我需要求解在滿足這些約束情況下最優(yōu)的旋轉(zhuǎn)和平移。這個(gè)問(wèn)題其實(shí)是一個(gè)比較標(biāo)準(zhǔn)的問(wèn)題，求解的方法也非常多，其實(shí)在視覺(jué)領(lǐng)域，對(duì)這類問(wèn)題有很多人做過(guò)不同的方法，比如說(shuō)你怎么樣參數(shù)化你的旋轉(zhuǎn)，就會(huì)有不同的方法，基本上這個(gè)應(yīng)該算是一個(gè)比較成熟的問(wèn)題。

HyTrack算法流程圖

這就是我們的算法流程圖。以上我們提到的是激光系統(tǒng)的原理，但不要忘了，在頭盔和手柄上還可以利用IMU。其實(shí)在有陀螺儀、加速器和磁力器的情況下，IMU本身也可以做定位工作，但是它有個(gè)很大的問(wèn)題——會(huì)漂移。其實(shí)我們對(duì)這個(gè)物體姿態(tài)有兩個(gè)數(shù)據(jù)來(lái)源，一個(gè)是IMU，一個(gè)是激光系統(tǒng)，這兩套系統(tǒng)理論上都可以獨(dú)立對(duì)這個(gè)姿態(tài)進(jìn)行估計(jì)，IMU的好處是采樣頻率高在短時(shí)間內(nèi)相對(duì)來(lái)說(shuō)比較精確，壞處是稍微長(zhǎng)一點(diǎn)時(shí)間就會(huì)有較大漂移。而激光系統(tǒng)則是在大尺度下相對(duì)比較精確，但是它可能被遮擋和有誤差。我們要做的工作之一就是怎么把這兩個(gè)信號(hào)融合在一起。

這就是我們HyTrack定位系統(tǒng)的基本原理。

如果你對(duì)于燈塔技術(shù)比較關(guān)注的話，會(huì)知道有這樣一個(gè)人，他叫艾倫，是Valve的燈塔技術(shù)負(fù)責(zé)人。他說(shuō)過(guò)一句話——“其實(shí)任何人都可以在非常短的時(shí)間內(nèi)構(gòu)建一套自己的激光定位或者燈塔追蹤系統(tǒng)。但是當(dāng)你搭出你的第一個(gè)原形，并且對(duì)它的性能做過(guò)實(shí)際測(cè)試之后，你就會(huì)知道你面前的路有多長(zhǎng)。”因?yàn)槲覀僅YPEREAL實(shí)際走過(guò)這一條路，我對(duì)他的這句話非常認(rèn)同。定位系統(tǒng)的原理就像我剛剛說(shuō)的，并非難于登天的壁壘，而且基本理論和方法在學(xué)術(shù)界已經(jīng)被研究了很久，但是，我們所面臨的是很多很多工程的問(wèn)題，包括機(jī)械系統(tǒng)、光學(xué)系統(tǒng)、模擬電路、數(shù)值精度的問(wèn)題，每一塊都可能會(huì)引入相當(dāng)誤差，怎么樣去減少誤差的存在，對(duì)誤差進(jìn)行建模，減少各個(gè)系統(tǒng)之間的耦合性，其實(shí)需要做非常多的工作。

舉個(gè)例子，傳感器的分布。什么樣的傳感器的分布是好的？比如說(shuō)我們?cè)谠O(shè)計(jì)頭盔時(shí)，在規(guī)劃頭盔上面?zhèn)鞲衅鞣植嫉臅r(shí)候，需要考慮在每個(gè)角度上可照射的傳感器點(diǎn)的數(shù)量，因?yàn)閺睦碚撋蟻?lái)講，一個(gè)燈塔要至少照射到4個(gè)點(diǎn)以上才能比較穩(wěn)定的求解姿態(tài)。還有可見(jiàn)張角問(wèn)題，一般從設(shè)計(jì)來(lái)講，上面要覆蓋一個(gè)膜，或者透光的介質(zhì)，相對(duì)的傳感器點(diǎn)比表面要凹下去，這樣可見(jiàn)張角可能就不是180度，或者是120-140，考慮的時(shí)候每個(gè)點(diǎn)覆蓋范圍沒(méi)有那么大。還有數(shù)值穩(wěn)定性，比如說(shuō)我可能看到4個(gè)點(diǎn)，或者5個(gè)點(diǎn)，這4個(gè)點(diǎn)或者5個(gè)點(diǎn)如果是共面，就可能對(duì)數(shù)值穩(wěn)定性造成很大問(wèn)題。這張圖片是我們開發(fā)的一個(gè)內(nèi)部工具的截圖，這個(gè)工具可根據(jù)設(shè)計(jì)師提供的幾何模型，對(duì)傳感器點(diǎn)的分布進(jìn)行自動(dòng)評(píng)估和調(diào)整，借助于這樣的工具我們可以更加有效的設(shè)計(jì)傳感器點(diǎn)的位置和支持更加自由的設(shè)計(jì)。

關(guān)于燈塔技術(shù)的拓展

陳：原理上來(lái)說(shuō)，一個(gè)燈塔已經(jīng)足以定位頭盔和手柄，兩個(gè)燈塔的作用主要是解決遮擋。當(dāng)你在360度任意旋轉(zhuǎn)你的身體時(shí)，如果燈塔只放在一邊，你轉(zhuǎn)過(guò)身，你的身體就會(huì)對(duì)光造成自遮擋。現(xiàn)在一個(gè)燈塔覆蓋范圍是5米，能不能更大呢？由于激光的特性，單燈塔的輻射范圍是有限的。如果你想支持大空間，我們可以通過(guò)鋪設(shè)多個(gè)燈塔來(lái)銜接。

第二點(diǎn)是可以處理非剛性物體。根據(jù)我之前介紹的原理每個(gè)sensor點(diǎn)被一個(gè)燈塔照到之后，可以確定空間當(dāng)中的一條線，它如果被兩個(gè)燈塔同時(shí)照到，就能夠確定在空間當(dāng)中的一個(gè)點(diǎn)，基于這一點(diǎn)，這個(gè)跟蹤技術(shù)其實(shí)也可以用于非剛性物體，比如說(shuō)手指，或者人的身體上，每個(gè)關(guān)節(jié)上放一個(gè)傳感器點(diǎn)，只要這個(gè)點(diǎn)同時(shí)保證被兩個(gè)燈塔照到，就可以對(duì)它的位置進(jìn)行解算。后面還有多傳感器融合方面的拓展。比如說(shuō)無(wú)人駕駛車或者機(jī)器人這個(gè)領(lǐng)域它會(huì)同時(shí)用多個(gè)傳感器，激光，攝像頭，雷達(dá)，GPS等等因?yàn)槊總€(gè)傳感器可能在不同的環(huán)境下，有它獨(dú)特的優(yōu)勢(shì)，如果你想使整個(gè)系統(tǒng)做得非常穩(wěn)定，其實(shí)利用多個(gè)傳感器是一個(gè)比較好的策略，也可能實(shí)現(xiàn)一些新的功能和效果。

從內(nèi)容層面談交互

陳：我們公司的愿景，是希望能夠給所有人提供一個(gè)在VR中創(chuàng)造夢(mèng)想中的世界和表達(dá)自己的途徑。為此，我們不僅提供硬件，而且基于這套硬件的特性提供了一整套的工具和軟件，來(lái)使大家可以很容易地在VR空間當(dāng)中進(jìn)行創(chuàng)造。這些創(chuàng)造的工具都是基于我們對(duì)于這套定位系統(tǒng)，或者說(shuō)對(duì)VR交互的理解。

《Zombies Never Die》武器交互設(shè)計(jì)

就拿這款《Zombies Never Die》來(lái)說(shuō)好了，這是我們自己的團(tuán)隊(duì)做的游戲。玩家可以在場(chǎng)景內(nèi)選擇不同的武器，其實(shí)這些武器的選擇都考慮了很多，你可以拿槍、劍、弓，這些都適合于在站立情況下大尺度的VR交互的，其中弓箭的交互效果比較突出，因?yàn)槟阈枰獌墒滞瑫r(shí)使用，而且我們添加了手柄上的對(duì)應(yīng)振動(dòng)和聲音，給用戶造成反饋，交互的效果非常好。在選擇菜單的時(shí)候，我們也采用了比較直觀的方案，讓用戶自己去拿手去抓相應(yīng)的武器來(lái)完成交互。至于槍，我們實(shí)現(xiàn)了三點(diǎn)一線的瞄準(zhǔn)射擊方法，一些玩慣了FPS的人不太習(xí)慣因?yàn)闆](méi)有準(zhǔn)星，但是他們忘記了，槍在現(xiàn)實(shí)世界中原本就應(yīng)該這樣去用。根據(jù)我們測(cè)試的經(jīng)驗(yàn)和體驗(yàn)區(qū)的反響，這個(gè)游戲，大部分人都可以很快上手，各種武器都非常符合大家的使用預(yù)期，這才是VR真正有力量所在，它與傳統(tǒng)的游戲不同，不需要把操作映射到手柄上，VR中應(yīng)當(dāng)基于用戶對(duì)該武器原有的一些知識(shí)和經(jīng)驗(yàn)來(lái)完成交互的過(guò)程。

下面一個(gè)是我們叫HyBuilder，展現(xiàn)的是用戶在虛擬空間中創(chuàng)造一個(gè)世界的過(guò)程。目前的內(nèi)容是創(chuàng)造一個(gè)街區(qū)，可以看到在這個(gè)過(guò)程當(dāng)中，用戶充分使用最自然的方式進(jìn)行和虛擬世界進(jìn)行交互。比如說(shuō)如果你想在空間當(dāng)中創(chuàng)造一個(gè)立方體你會(huì)怎么做，如果你想改變這個(gè)立方體的大小，你應(yīng)該會(huì)做什么樣的操作，我們的設(shè)計(jì)采用最直接的動(dòng)作方式，完全符合用戶的經(jīng)驗(yàn)和想象。實(shí)際體驗(yàn)中我們發(fā)現(xiàn)即使是兒童也可以順利的熟悉并完成我們的交互，用戶可以充分地享受造物主的樂(lè)趣。

《HyBuilder》交互過(guò)程

以上是HYPEREAL技術(shù)總監(jiān)陳祿在VR交互方面所做的一些工作的分享。

公司從最初的十多人，迅速發(fā)展壯大，現(xiàn)在已經(jīng)是一個(gè)110多人的大團(tuán)隊(duì)，在這半年里完成了整套設(shè)備的研發(fā)，雖然時(shí)間并不算多長(zhǎng)，但這依然耗費(fèi)了HYPEREAL大量的人力物力，陳祿所分享的HyTrack，在研發(fā)過(guò)程中，除了研究算法，硬件配置上也有不小的消耗。

至于部分媒體報(bào)道的“5人1個(gè)月”、“10人3個(gè)月”的開發(fā)過(guò)程，這著實(shí)太夸張了，硬件、軟件底層、Track、游戲，任何一個(gè)開發(fā)部門的人數(shù)都不止這個(gè)數(shù)字。我們的研發(fā)效率確實(shí)非常高，但是媒體報(bào)道的數(shù)字偏差還是太大了。

陳：我們是一家年輕但是有理想的公司。VR還處在相對(duì)早期的階段，我們希望和在座的各位同行一起來(lái)努力，推動(dòng)這個(gè)產(chǎn)業(yè)的發(fā)展，實(shí)現(xiàn)我們的愿景。這也是我們?yōu)槭裁丛敢庠谶@里和大家分享很多我們的工作和技術(shù)細(xì)節(jié)的原因。我們之后也會(huì)在自己的網(wǎng)站或者其他方分享更多的技術(shù)內(nèi)容，供大家一起交流學(xué)習(xí)。謝謝大家！