在剛剛過(guò)去的CVPR上，isee聯(lián)合北京大學(xué)、加州大學(xué)洛杉磯分校、麻省理工學(xué)院共同發(fā)布了一項(xiàng)研究成果，稱為多智能體張量融合（Multi－Agent Tensor Fusion，MATF）。該模型將多個(gè)代理的過(guò)去軌跡和場(chǎng)景編碼為一個(gè)多代理張量，然后應(yīng)用卷積融合捕獲多代理之間的交互，同時(shí)保留代理的空間結(jié)構(gòu)和場(chǎng)景。該模型使用對(duì)抗性損失來(lái)學(xué)習(xí)隨機(jī)預(yù)測(cè)。通過(guò)在高速公路場(chǎng)景和行人擁擠場(chǎng)景的數(shù)據(jù)集的實(shí)驗(yàn)表明，該模型達(dá)到了最先進(jìn)的預(yù)測(cè)精度。

開(kāi)車(chē)是一種社交活動(dòng)?？紤]一下這個(gè)場(chǎng)景中令人印象深刻的多主體社會(huì)交互（讓人頭疼的環(huán)島路）：

司機(jī)們?cè)谝粋€(gè)復(fù)雜的場(chǎng)景中駕駛，且同時(shí)基本保持安全。在于同一環(huán)境下的其他道路參與者近距離行駛或交互的情況下，在無(wú)法掌握其他車(chē)輛的全部行駛意圖的情況下，人類駕駛員可以保證大概率的交通安全，是非常了不起的。那么人類駕駛員又是如何完整這一壯舉的呢？

社會(huì)預(yù)測(cè)（Social prediction）是駕駛必不可少的一環(huán)

人類駕駛員利用他們的社交智能來(lái)預(yù)測(cè)其他交通參與者未來(lái)的動(dòng)作將如何依賴于與自己以及場(chǎng)景的交互。通過(guò)預(yù)測(cè)附近的交通參與者的軌跡，駕駛員可以主動(dòng)規(guī)劃安全的交互，盡可能減少當(dāng)意外發(fā)生即將發(fā)生時(shí)候做出諸如急剎車(chē)等其他應(yīng)急反應(yīng)。

然而，人類駕駛員永遠(yuǎn)無(wú)法完全肯定地預(yù)測(cè)另一輛車(chē)將會(huì)執(zhí)行怎樣的軌跡。人類駕駛員通常處于一種思考“他會(huì)讓行么？”“他不會(huì)突然加速吧？”“他會(huì)開(kāi)多慢呢？”的情況中。

學(xué)會(huì)預(yù)測(cè)

研究人員開(kāi)發(fā)了一種神經(jīng)網(wǎng)絡(luò)架構(gòu)，它可以從大規(guī)模數(shù)據(jù)中學(xué)習(xí)對(duì)其他軌跡進(jìn)行概率預(yù)測(cè)。研究人員的方法只考慮在駕駛過(guò)程中收集的訓(xùn)練數(shù)據(jù)，盡可能實(shí)現(xiàn)在環(huán)境、場(chǎng)景、車(chē)輛和代理的類型（卡車(chē)、轎車(chē)、公共汽車(chē)、摩托車(chē)、自行車(chē)、行人等）之間的泛化。

iess聯(lián)合北京大學(xué)、南加州大學(xué)、麻省理工共同開(kāi)發(fā)的新方法，稱為多智能體張量融合（Multi－Agent Tensor Fusion，MATF）。通過(guò)在一個(gè)多智能體張量（MAT）表示中對(duì)齊場(chǎng)景特征和智能體軌跡特征，結(jié)合了空間和以智能體為中心表示的優(yōu)勢(shì)，如下所示。MAT編碼通過(guò)卷積運(yùn)算自然處理場(chǎng)景與不同數(shù)量的代理，并預(yù)測(cè)場(chǎng)景中所有代理的軌跡的計(jì)算復(fù)雜度是線性的。GAN訓(xùn)練允許MATF學(xué)會(huì)預(yù)測(cè)的分布軌跡捕獲局勢(shì)將如何發(fā)展的不確定性。MATF學(xué)會(huì)了預(yù)測(cè)關(guān)節(jié)軌跡，這可以解釋車(chē)輛之間諸如減速和避讓等互動(dòng)行為。

這是MATF體系結(jié)構(gòu)的詳細(xì)說(shuō)明。MATF體系結(jié)構(gòu)首先對(duì)場(chǎng)景的所有相關(guān)信息進(jìn)行編碼，然后用一個(gè)遞歸神經(jīng)網(wǎng)絡(luò)對(duì)每個(gè)代理的過(guò)去軌跡進(jìn)行處理，對(duì)每個(gè)代理的所有相關(guān)信息進(jìn)行編碼。然后，網(wǎng)絡(luò)將場(chǎng)景和代理特征在空間上對(duì)齊成一個(gè)多代理張量，在場(chǎng)景中保留所有的局部和非局部空間關(guān)系。然后，利用學(xué)習(xí)的全卷積映射進(jìn)行多智能體張量融合，得到融合后的多智能體張量作為多智能體驅(qū)動(dòng)場(chǎng)景的最終編碼。卷積映射對(duì)于每個(gè)代理都是一樣的，它捕捉所有代理之間的空間關(guān)系和交互，同時(shí)適用于場(chǎng)景中的所有代理。然后，MATF方法從融合的多智能體張量中學(xué)習(xí)概率解碼信息，生成對(duì)場(chǎng)景特征和周?chē)悄荏w軌跡敏感的預(yù)測(cè)軌跡。

我們使用條件生成反求網(wǎng)絡(luò)（GAN）訓(xùn)練技術(shù)，在給定MATF編碼的情況下，學(xué)習(xí)軌跡上的概率分布。GANs允許學(xué)習(xí)高保真度的生成模型來(lái)捕獲觀測(cè)數(shù)據(jù)的分布。在駕駛環(huán)境中，分布的模式對(duì)應(yīng)于車(chē)輛或行人可能執(zhí)行的不同機(jī)動(dòng)，例如跟隨車(chē)道／路徑和改變車(chē)道／路徑。每個(gè)模式周?chē)姆植紝?duì)應(yīng)于機(jī)動(dòng)執(zhí)行的方式，如快、慢、主動(dòng)、謹(jǐn)慎等。甘斯很自然地捕捉到了這兩種變化。重要的是，我們的GAN算法訓(xùn)練模型生成關(guān)節(jié)軌跡，該軌跡考慮了車(chē)輛之間的相互作用，如屈服和避碰。

結(jié)論

研究人員首先應(yīng)用他們的模型來(lái)學(xué)習(xí)預(yù)測(cè)車(chē)輛軌跡（其中，大規(guī)模駕駛數(shù)據(jù)由isee收集）。下圖顯示了五種場(chǎng)景，每種車(chē)輛過(guò)去的軌跡以不同的顏色顯示，后面是100條采樣的未來(lái)軌跡。地面實(shí)際發(fā)生的軌跡用黑色表示，車(chē)道中心用灰色表示。（a）顯示了涉及五輛車(chē)的復(fù)雜情況；MATF精確地預(yù)測(cè)了所有車(chē)輛的軌跡和速度剖面。在（b）中，MATF正確地預(yù)測(cè)出紅色車(chē)輛將完成換道。在（c）中，MATF捕捉到紅色車(chē)輛是否會(huì)從高速公路出口駛出的不確定性。在（d）中，一旦紫色的車(chē)輛通過(guò)高速公路出口，MATF預(yù)測(cè)它不會(huì)從高速公路出口通過(guò)。（e）中，MATF未能準(zhǔn)確預(yù)測(cè)紅色車(chē)輛的地面真實(shí)軌跡；但是，預(yù)測(cè)車(chē)輛將在少量的采樣軌跡中啟動(dòng)變道機(jī)動(dòng)，這反映了從數(shù)據(jù)集中學(xué)習(xí)到的自發(fā)變道的低先驗(yàn)概率。

接下來(lái)，研究人員將他們的模型應(yīng)用到學(xué)習(xí)中，從斯坦福無(wú)人機(jī)數(shù)據(jù)集中預(yù)測(cè)行人和其他多種類型的代理的軌跡。斯坦福無(wú)人機(jī)數(shù)據(jù)集是一個(gè)大型且先進(jìn)的數(shù)據(jù)集，其中包含行人、騎自行車(chē)的人、滑板者、手推車(chē)、小汽車(chē)和在大學(xué)校園中行駛的公共汽車(chē)的軌跡。下圖中，藍(lán)線表示過(guò)去的軌跡，紅線表示地面真實(shí)軌跡，綠線表示預(yù)測(cè)軌跡。圖中所示的所有代理的軌跡都是通過(guò)一個(gè)前向遍歷網(wǎng)絡(luò)來(lái)聯(lián)合預(yù)測(cè)的。該模型預(yù)測(cè)：（1）兩個(gè)從頂部進(jìn)入環(huán)形交叉口的代理將從左側(cè)退出；（2）在環(huán)形交叉口上方的通路上，左側(cè)來(lái)的一個(gè)代理向左轉(zhuǎn)彎，向圖像頂部移動(dòng)；（3）一個(gè)減速機(jī)在上述建筑物的門(mén)口和回旋處的右側(cè)減速。另一個(gè)雖然失敗但卻很有趣的案例（4）中，一個(gè)位于環(huán)形交叉口右上角的代理正在右轉(zhuǎn)，以移動(dòng)到圖像的頂部；該模型可以預(yù)測(cè)轉(zhuǎn)彎，但未能準(zhǔn)確預(yù)測(cè)轉(zhuǎn)彎角度。