Facebook AI新研究：可解釋神經(jīng)元或許會阻礙DNN的學習

Facebook AI 近期更新博客介紹了一篇新論文，即研究人員通過實驗發(fā)現(xiàn)「易于解釋的神經(jīng)元可能會阻礙深層神經(jīng)網(wǎng)絡(luò)的學習」。為了解決這些問題，他們提出了一種策略，通過可偽造的可解釋性研究框架的形式來探討出現(xiàn)的問題。

　　人工智能模型到底「理解」了什么內(nèi)容，又是如何「理解」的呢？

　　回答這個問題對于改進人工智能系統(tǒng)來說至關(guān)重要。而不幸的是，計算機科學家解釋深層神經(jīng)網(wǎng)絡(luò)(DNN)的能力遠遠落后于我們用它們實現(xiàn)有用結(jié)果的能力。

　　一種常見的理解DNN的方法集中在單個神經(jīng)元的屬性上，例如，尋找出一個單獨的神經(jīng)元，這個神經(jīng)元可以激活貓的圖像，但不能激活其他類型的圖像。

　　　　Facebook研究人員將這種對特定圖像類型的偏好稱為「類選擇性」（class selectivity）。

　　「類選擇性」之所以被廣泛使用，一部分原因是因為它是直觀的、易于理解的人類術(shù)語(也就是說，這些神經(jīng)元是網(wǎng)絡(luò)的「貓」部分)。

　　事實上，這些可解釋的神經(jīng)元，會自然而然地出現(xiàn)在經(jīng)過各種不同訓(xùn)練的神經(jīng)網(wǎng)絡(luò)中。

　　例如，經(jīng)過訓(xùn)練可以對許多不同類型的圖像進行分類的DNN含有的某些神經(jīng)元，這些神經(jīng)元對拉布拉多尋回犬的激勵最為強烈，也就是說，神經(jīng)元是有選擇性的。

　　研究人員發(fā)現(xiàn)強有力的證據(jù)表明「即使神經(jīng)元在很大程度上不具有類選擇性，DNN 也能很好地發(fā)揮作用」。事實上，易于解釋的神經(jīng)元會損害 DNN 功能，甚至使網(wǎng)絡(luò)更容易受到隨機畸變輸入的影響。

　　Facebook 發(fā)現(xiàn)可以通過開發(fā)一種新技術(shù)，直接控制 DNN 的神經(jīng)元的類選擇性。如果這些方法沒有經(jīng)過嚴格的測試和驗證，那么過分依賴于基于直覺的方法來理解DNN可能會產(chǎn)生誤導(dǎo)性。為了完全理解人工智能系統(tǒng)，我們必須努力尋找不僅是直觀的而且是經(jīng)驗性的方法。

　　「類選擇性」：深度神經(jīng)網(wǎng)絡(luò)可解釋性的工具

　　研究人員最近開始研究是否易于解釋的神經(jīng)元對 DNN 功能實際上是重要的，但不同的研究報告的結(jié)果有時是相互矛盾的。

　　為了解決這個問題，我們采用了一種新的方法來操縱類的選擇性: 當訓(xùn)練一個網(wǎng)絡(luò)來分類圖像時，我們不僅指示該網(wǎng)絡(luò)提高其分類圖像的能力，我們還增加了一個動機來減少(或增加)其神經(jīng)元的類選擇性。

　　上圖展示了操縱 DNN 中神經(jīng)元的類選擇性會如何影響 DNN 正確分類圖像的能力(在 Tiny ImageNet 上訓(xùn)練的 ResNet18)。

　　每個點代表一個 DNN。點的顏色代表了 DNN 神經(jīng)元中「類選擇性」被使用或禁止的程度。X 軸顯示 DNN 神經(jīng)元之間的平均類選擇性，Y 軸顯示 DNN 對圖像分類的準確程度。

　　灰點是中性的，既不使用也不禁止類選擇性，代表了這種類型 DNN 中自然出現(xiàn)的類別選擇性水平，用它作為比較分類準確性的基準。

　　通過阻止類別選擇(藍點) ，可以提高測試的準確性超過2% 。相比之下，鼓勵類選擇性(紅點)對 DNN 的圖像分類能力造成迅速的負面影響。通過放大數(shù)據(jù)的一個子集，以更好地說明減少和增加類選擇性的影響。

　　通過在損失函數(shù)中添加一個類選擇性來做到這一點。研究人員用一個參數(shù)來控制類選擇性對網(wǎng)絡(luò)的重要性。改變這個參數(shù)會改變我們是使用還是阻止易于解釋的神經(jīng)元，以及改變到什么程度。

　　通過調(diào)節(jié)參數(shù)，可以實現(xiàn)「類選擇性」跨越所有網(wǎng)絡(luò)層。實驗結(jié)果如下:

　　1.當降低DNN的類選擇性時，我們發(fā)現(xiàn)它對性能幾乎沒有影響，在某些情況下甚至提高了性能。這些結(jié)果表明，盡管 DNN 在任務(wù)和模型中普遍存在，但類選擇性并不是 DNN 功能的一部分，有時甚至會對 DNN 功能產(chǎn)生負面影響。

　　2.當提高DNN的類選擇性時，我們發(fā)現(xiàn)對網(wǎng)絡(luò)性能有顯著的負面影響。第二個結(jié)果表明，類選擇性的存在并不能保證 DNN 正常工作。

　　走出實驗室，生產(chǎn)環(huán)境中數(shù)據(jù)更復(fù)雜

　　與研究環(huán)境相比，部署在工業(yè)環(huán)境中的DNN通常需要處理更為嘈雜和更為扭曲的數(shù)據(jù)。

　　例如，一個研究用DNN可以從維基百科上看到非常清晰的貓的圖像，而在工業(yè)中，DNN 需要處理一個黑暗的、模糊的貓?zhí)优艿膱D像。

　　研究人員實驗發(fā)現(xiàn)，類選擇性的降低使DNN對模糊和噪聲等自然失真更具有魯棒性。而有趣的是，類別選擇性的降低也使 DNN 更容易受到有針對性的攻擊，在這種攻擊中，圖像被有意操縱以欺騙 DNN。

　　這個結(jié)果出人意料有兩個原因: 第一，因為類選擇性已經(jīng)被廣泛用于理解 DNN 函數(shù); 第二，因為類選擇性在大多數(shù) DNN 中自然存在。

　　研究結(jié)果還表明，在缺乏類選擇性的情況下，DNN自然地學習盡可能多的類選擇性，而不會對性能產(chǎn)生負面影響。

　　所有這些工作都是 Facebook 進一步解釋人工智能的一部分，包括為機器學習開發(fā)人員提供開源解釋工具，以及與平臺建立伙伴關(guān)系。

　　最終，這項工作將幫助研究人員更好地理解復(fù)雜的人工智能系統(tǒng)是如何工作的，并研發(fā)出更健壯、可靠和有用的模型。