?據(jù)外媒報道，近日，日本三菱電機(Mitsubishi Electric Corporation)公司宣布其研發(fā)了全球首款能夠與人類進行高度自然其直觀互動的技術，該技術基于場景感知能力，能夠將多模態(tài)感知信息翻譯成自然語言。該款新技術名為場景感知交互(Scene-AwareInteraction)，整合了三菱電機的專有MAIsart緊湊型AI技術，可以分析多模態(tài)感知信息，通過依賴于上下文情境生成的自然語言與人類實現(xiàn)高度自然且直觀的交互。

　　該技術基于多模態(tài)感知信息，如攝像頭捕捉的圖像和視頻、麥克風錄下的音頻信息以及激光雷達測量的定位信息，以識別情境中的物體。為了對這些不同類別的信息進行優(yōu)先排序，三菱電機研發(fā)了注意力多模態(tài)融合技術(AttentionalMultimodalFusion)，能夠自動加權突出的單模態(tài)信息，為準確描述場景而選擇適當詞匯。在采用通用測試集的基準測試中，注意力多模態(tài)融合技術采用音頻和視覺信息來取得基于共識的圖像描述評價(CIDEr)得分，發(fā)現(xiàn)比僅使用視覺信息的得分高出29%。三菱電機將注意力多模態(tài)融合與場景理解技術和基于情境的自然語言生成技術相結合，實現(xiàn)了強大的端到端場景感知交互系統(tǒng)，在不同場景下，都可以與用戶實現(xiàn)高度直觀的交互。

　　場景感知交互技術可用于汽車導航應用，為駕駛員提供直觀的路線導航。例如，系統(tǒng)不再指示駕駛員“在50米內右轉”，而是提供場景感知型指導，如“在郵箱前右轉”或“跟著灰色的車向右轉”。此外，該系統(tǒng)還會在預測到附近有物體的行進路徑與車輛的行進路徑相交時，生成語音警報，如“有行人正在過馬路”。為了實現(xiàn)這一功能，該系統(tǒng)會分析場景，識別出場景中隱藏的視覺路標以及動態(tài)元素，然后利用此類東西識別物體和事件，為導航生成直觀的句子指導。

　　利用深度神經網絡進行物體識別、視頻描述、自然語言生成和口語對話等技術最近取得了很多進展，可以讓機器能夠更好地理解周圍的環(huán)境，并更自然、更直觀地與人類互動。場景感知交互技術預計具有廣泛的適用性，包括用于車載信息娛樂系統(tǒng)的人機接口、在建筑物中與機器人交互以及工廠自動化系統(tǒng)、監(jiān)控人類健康狀況的系統(tǒng)、為人類解釋復雜場景的監(jiān)測系統(tǒng)、鼓勵保持社交距離的系統(tǒng)、在公共場所支持無觸摸操作設備的系統(tǒng)等等。