嘿，AI，你覺得你在看什么？為什么有著學(xué)習(xí)算法的機(jī)器還會被騙認(rèn)知出本不存在的東西？隨著無人駕駛汽車這樣的產(chǎn)品出現(xiàn)，這一點(diǎn)變得越來越重要?，F(xiàn)在，我們可以通過一項(xiàng)測試來窺見機(jī)器的大腦，這一測試可以使人們知道人工智能正在看一幅圖像的哪些部分。

人工智能和人類完全不同。羅德島布朗大學(xué)的克里斯·格里姆說，即使是最好的圖像識別算法，也會被騙，比如會將白噪圖像識別成知更鳥或是獵豹，這是一個(gè)大問題。他說，如果我們不理解為什么這些系統(tǒng)會犯愚蠢的錯誤，那么我們把性命交付給人工智能時(shí)，就應(yīng)當(dāng)三思而后行，比如審慎考慮是否發(fā)展無人駕駛汽車。

因此，格里姆和他的同事們創(chuàng)建了一個(gè)系統(tǒng)，分析一個(gè)人工智能在識別圖像過程中，實(shí)時(shí)監(jiān)測它在關(guān)注圖像的哪一部分。類似地，對于一種文檔分類算法來說，該系統(tǒng)顯示了算法使用哪些單詞來決定一種特定文檔應(yīng)該屬于哪個(gè)類別。

窺探內(nèi)在

谷歌的研究人員杜密魯特·埃爾汗說，這是一種非常有用的方法，可以進(jìn)一步了解人工智能并研究它是如何學(xué)習(xí)的。格里姆的工具為人們提供了一種方便的方式，讓人可以檢查出一種算法是否正確地給出了正確的答案，他這樣說道。

為了創(chuàng)建他的注意力跟蹤工具，格里姆在他想要測試的人工智能上安裝了第二個(gè)人工智能。這個(gè)“外包AI”替換了一張帶有白噪的圖像，來看看這是否對原始軟件的判斷產(chǎn)生了影響。

如果替換部分圖像改變了結(jié)果，那么這個(gè)圖像的區(qū)域很可能是識別過程中的一個(gè)重要區(qū)域。這種方法同樣適用于語言。如果在文檔中改變一個(gè)詞使人工智能對文檔進(jìn)行了不同的分類，那么它就表明這個(gè)詞對人工智能的決定至關(guān)重要。

格里姆在人工智能上測試了他的技術(shù)，該人工智能經(jīng)學(xué)習(xí)可將圖像分類為10個(gè)類別，包括飛機(jī)、鳥類、鹿和馬等。他的系統(tǒng)映射出了人工智能在進(jìn)行分類時(shí)的視線路徑。結(jié)果顯示，人工智能已經(jīng)學(xué)會了把物體分解成不同的元素，然后在圖像中搜索每一個(gè)元素，以確認(rèn)其識別結(jié)果。

識別馬頭

例如，當(dāng)看到馬的圖像時(shí)，格里姆的分析顯示，人工智能首先對腿進(jìn)行了密切關(guān)注，然后在圖像中搜索了它認(rèn)為可能是頭的地方——它預(yù)先并不能知道這匹馬的頭出現(xiàn)的地方。對于包含了鹿的圖像，人工智能也采取了類似的方法，但在這些情況下，它專門搜索了鹿角。人工智能幾乎完全忽略了一個(gè)圖像中的許多部分，這些部分并不包含有助于分類的信息。

格林和他的同事們也分析了一個(gè)訓(xùn)練后可以玩“Pong”(某電子游戲）的人工智能。他們發(fā)現(xiàn)，它幾乎忽略了屏幕上所有的東西，只是密切關(guān)注著兩根纖細(xì)的移動小柱。人工智能對一些區(qū)域幾乎沒有關(guān)注，以至于把小柱從它預(yù)期的地方移開后，它就誤以為它是在看球而不是小柱。

格里姆認(rèn)為，他的工具可以幫助人們判斷出人工智能是如何做出決定的。例如，它可以用來檢查在肺部掃描中檢測癌細(xì)胞的算法，確保它們不會通過觀察圖像錯誤的部分，卻恰好找到正確的答案?！澳憧梢钥纯此欠駴]有注意到正確的東西，”他說，但首先，格里姆想用他的工具來幫助人工智能學(xué)習(xí)。

如果人工智能沒有注意到時(shí)，它就會讓人工智能培訓(xùn)師把他們的軟件直接引導(dǎo)到到相關(guān)的信息上去。（馬特·雷諾茲報(bào)道，參考:arXiv）