元宇宙，其核心是虛實(shí)融合，相互使能。從詞源來(lái)說(shuō)，元宇宙的英文一詞MATEVERSE，是超越現(xiàn)實(shí)之意，未來(lái)的MATEVERSE，一個(gè)是我們既有的認(rèn)知空間、情感空間，另一個(gè)是如何用現(xiàn)代的媒體的手段達(dá)到虛擬和真實(shí)世界空間的互動(dòng)。這些互動(dòng)包括信息檢索、教育、娛樂(lè)以及助老助殘等等。要實(shí)現(xiàn)這些虛實(shí)相融的互動(dòng)，德國(guó)工程院院士張建偉先生認(rèn)為，必須要有多模態(tài)的人機(jī)互動(dòng)作為支撐。在近日在昆山舉行的元宇宙產(chǎn)業(yè)大會(huì)2023春季會(huì)的院士論壇上，張建偉院士向與會(huì)者分享了題為《賦能工業(yè)4.0的多模態(tài)元宇宙》的演講。

張建偉院士首先指出：目前人機(jī)的交互，只是包括信息、視覺(jué)和聲音以及圖像的交互，未來(lái)要把觸覺(jué)、味覺(jué)，包括腦信號(hào)都融合在一起。這是元宇宙的重要內(nèi)容。最早的人機(jī)交互，只是一行行的這種單一頻率和屏幕的編程場(chǎng)景，其后是圖形界面，前些年的iPad，呈現(xiàn)自然的交互界面。但是未來(lái)的元宇宙，將要以多模態(tài)交互的方法，實(shí)現(xiàn)人機(jī)的交互。

張建偉院士進(jìn)而比喻說(shuō)，元宇宙有點(diǎn)類似愛(ài)麗絲進(jìn)入魔幻世界，希望通過(guò)編程的方法創(chuàng)造和實(shí)現(xiàn)的一個(gè)魔幻世界，就像愛(ài)麗絲走進(jìn)的一個(gè)場(chǎng)景。20年前，虛擬現(xiàn)實(shí)被提出來(lái)，在未來(lái)的15年中，人類能不能創(chuàng)造出這個(gè)新的元宇宙以及新的元宇宙產(chǎn)業(yè)奇跡，很大程度上取決于人機(jī)多模態(tài)交互的進(jìn)步和成果。這也是在德國(guó)工程院提出工業(yè)4.0中的重要內(nèi)容：要通過(guò)元宇宙創(chuàng)造一個(gè)learning space一個(gè)復(fù)合空間的概念。

張建偉院士認(rèn)為，元宇宙包括人工智能、互聯(lián)網(wǎng)、機(jī)器人、AR\VR\5G通訊以及腦科學(xué)、材料新和新能源，元宇宙也將給充分賦能未來(lái)的出行，未來(lái)的醫(yī)療、農(nóng)業(yè)、基礎(chǔ)設(shè)施檢修、娛樂(lè)、教育等等領(lǐng)域。那么，在元宇宙中為什么要強(qiáng)調(diào)多模態(tài)的人機(jī)交互？張建偉院士指出：因?yàn)樵钪娌恢皇且泻?jiǎn)單的螞蟻的四肢，要有靈魂，要有創(chuàng)意。

在闡釋了上述觀點(diǎn)后外，張建偉院士分享了多款已經(jīng)在應(yīng)用以及處于研發(fā)中的機(jī)器人：病毒實(shí)驗(yàn)室機(jī)器人，在無(wú)人值守的情況下，自動(dòng)在病毒的實(shí)驗(yàn)室中進(jìn)行病毒試管的臨床操作；農(nóng)業(yè)機(jī)器人，農(nóng)業(yè)缺少人工是一個(gè)巨大的痛點(diǎn)，農(nóng)業(yè)機(jī)器人和元宇宙融合起來(lái)，可以進(jìn)行農(nóng)業(yè)數(shù)字化的建設(shè)；護(hù)理機(jī)器人，該機(jī)器人通過(guò)知識(shí)表達(dá)和虛擬的一些學(xué)習(xí)和真實(shí)的交互，實(shí)現(xiàn)真正的護(hù)理的服務(wù)；編程機(jī)器人，通過(guò)學(xué)習(xí)算法，它可以在這種空間里頭自動(dòng)編出和查找各種各樣非常逼真的程序。五打乒乓球的機(jī)器人?？梢暂^靈活地的揮拍打球等。張建偉院士強(qiáng)調(diào)，上述這些機(jī)器人，已經(jīng)具有原宇宙的一些雛形。

張建偉院士強(qiáng)調(diào)，機(jī)器人的跨模態(tài)學(xué)習(xí)，研究人機(jī)交互中的自適應(yīng)性和預(yù)測(cè)性，這是元宇宙核心技術(shù)。他進(jìn)而分享說(shuō)：在這些既有機(jī)器人的基礎(chǔ)上，現(xiàn)在，已經(jīng)開(kāi)始讓機(jī)器人來(lái)學(xué)習(xí)人類的手勢(shì)，可以運(yùn)用到未來(lái)的精密裝配，同時(shí)還把我們的視覺(jué)、聽(tīng)覺(jué)和觸覺(jué)，同時(shí)各種各樣的知識(shí)，全部融入到機(jī)器人的空間里。張建偉院士展示了一款敬老機(jī)器人，不只是給老人看一些視覺(jué)和聽(tīng)覺(jué)的游戲，同時(shí)也要包括一些觸覺(jué)的游戲，幫助老人的全方位的康復(fù)。

張建偉院士在演講的最后總結(jié)說(shuō)，在元宇宙的概念下，就是要讓這些多模態(tài)的機(jī)器人，不只是在我們正常的生活的空間中，而且還要在我們不能到達(dá)的空間，為我們的生活與生產(chǎn)助力。這也是元宇宙產(chǎn)業(yè)的作用之所在。