直覺有害！Facbook最新研究：易于解釋的神經(jīng)元會(huì)誤導(dǎo)DNN的學(xué)習(xí)

　　編譯|蔣寶尚

　　關(guān)于AI是什么，學(xué)界和業(yè)界已經(jīng)給出了非常多的定義，但是對于AI理解，探討尚不足。換句話說，計(jì)算機(jī)科學(xué)家解釋深度神經(jīng)網(wǎng)絡(luò)（DNNs）的能力大大落后于我們利用其取得有用結(jié)果的能力。

　　當(dāng)前理解深度神經(jīng)網(wǎng)絡(luò)的常見做法是在單個(gè)神經(jīng)元特性上“折騰”。例如，激活識別貓圖像的神經(jīng)元，而關(guān)閉其他神經(jīng)元的“控制變量法”。這種方法的學(xué)術(shù)術(shù)語叫做“類選擇性”。

　　由于直觀和易理解，“類選擇性”在學(xué)界廣泛應(yīng)用。誠然，在訓(xùn)練過程中，這類可解釋的神經(jīng)元確實(shí)會(huì)“選擇性地”出現(xiàn)在各種不同任務(wù)網(wǎng)絡(luò)中。例如，預(yù)測產(chǎn)品評論的神經(jīng)網(wǎng)絡(luò)，選擇性地含有識別積極或消極情緒的神經(jīng)元。

　　那么，問題來了！這些易于解釋的神經(jīng)元是深度神經(jīng)網(wǎng)絡(luò)發(fā)揮作用所必須的么？

　　答案是：否。

　　這就像研究汽車尾氣和理解汽車速度推動(dòng)力一樣，畢竟汽車尾氣和速度有關(guān)，但并不是汽車的動(dòng)力。顯然，在此例子中，“類選擇”應(yīng)該是發(fā)動(dòng)機(jī)還是尾氣？這是個(gè)疑問句。

　　因此，在最新一篇論文中“SELECTIVITY CONSIDERED HARMFUL:EVALUATING THE CAUSAL IMPACT OF CLASS SELECTIVITY IN DNNS”，F(xiàn)acebook AI的研究人員經(jīng)過研究，用證據(jù)斷言：即使神經(jīng)元沒有“類選擇性”，深度神經(jīng)網(wǎng)絡(luò)也能發(fā)揮作用。事實(shí)上，易于解釋的神經(jīng)元會(huì)損害深度神經(jīng)網(wǎng)絡(luò)的功能，甚至使網(wǎng)絡(luò)更容易受到隨機(jī)失真輸入的影響。

　　FB AI論文：類選擇性的因果影響。地址：https://arxiv.org/pdf/2003.01262.pdf

　　具體而言，研究人員開發(fā)了一種新的技術(shù)，在能夠直接控制DNN神經(jīng)元的類別選擇性的情況下，得出了上述結(jié)論。

　　這個(gè)結(jié)論有助于證明，如果這些方法沒有經(jīng)過嚴(yán)格的測試和驗(yàn)證的話，用過度依賴基于直覺的方法來理解深度神經(jīng)網(wǎng)絡(luò)會(huì)被誤導(dǎo)。

　　因此，為了充分理解人工智能系統(tǒng)，必須努力尋找不僅是直觀的，而且是以經(jīng)驗(yàn)為基礎(chǔ)的方法。

　　發(fā)現(xiàn)了什么？

　　類選擇雖然作為一種工具已經(jīng)廣泛應(yīng)用于深度神經(jīng)網(wǎng)絡(luò)的可解釋性，但是易于解釋的神經(jīng)元對于深度神經(jīng)網(wǎng)絡(luò)的重要性的研究尚少。近期，雖然也有相關(guān)研究，但不同的研究報(bào)告得出了相互矛盾的結(jié)果，例如上述論文。

　　Facebook AI的研究員用一種操縱“類選擇性”的新方法解決了這個(gè)問題：當(dāng)訓(xùn)練網(wǎng)絡(luò)對圖像進(jìn)行分類時(shí)，我們不僅指示網(wǎng)絡(luò)提高其分類圖像的能力，還增加了減少(或增加)其神經(jīng)元中類選擇性數(shù)量的約束。

　　如上圖所示，研究員展示了在深度神經(jīng)網(wǎng)絡(luò)中操縱神經(jīng)元的類選擇性如何影響DNN正確分類圖像的能力（特別是對于在小規(guī)模ImageNet上訓(xùn)練的ResNet18）。上圖中的每個(gè)點(diǎn)代表一個(gè)DNN。圓點(diǎn)的顏色代表了阻止或者鼓勵(lì)DNN神經(jīng)元中類選擇性的程度。X軸表示DNN中神經(jīng)元的平均類別選擇性，y軸表示DNN對圖像分類的精確度。

　　灰色點(diǎn)意味著中性，代表此類型中DNN中自然出現(xiàn)的類選擇性水平，將其用作比較分類精度的基線。

　　研究發(fā)現(xiàn)，通過不鼓勵(lì)類選擇性(藍(lán)點(diǎn))，可以將測試準(zhǔn)確率提高2%以上。相反，鼓勵(lì)類選擇性(紅點(diǎn))會(huì)對DNN的圖像分類能力產(chǎn)生迅速的負(fù)面影響。此外，研究員還放大了數(shù)據(jù)的一個(gè)子集，更好地說明了減少和增加類選擇性的效果。

　　綜上，研究員使用一個(gè)單一參數(shù)控制研究類選擇性對網(wǎng)絡(luò)的重要性。改變這個(gè)參數(shù)可以改變鼓勵(lì)激活還是阻止激活容易解釋的神經(jīng)元，以及改變到什么程度。這提供了一個(gè)單一的旋鈕（single knob），可以用它來操縱網(wǎng)絡(luò)中所有神經(jīng)元的類選擇性。用這個(gè)旋鈕做了實(shí)驗(yàn)，發(fā)現(xiàn)：

　　1、當(dāng)阻止激活DNNs的類選擇性時(shí)，對性能的影響很小，在某些情況下甚至提高了性能。這些結(jié)果表明，盡管DNN在任務(wù)和模型中無處不在，但類選擇性并不是DNN功能的重要組成部分，有時(shí)甚至?xí)NN功能產(chǎn)生負(fù)面影響。

　　2、當(dāng)我們增加DNNs中的類選擇性時(shí)，我們發(fā)現(xiàn)對網(wǎng)絡(luò)性能有顯著的負(fù)面影響。這表明，類選擇性的存在并不能保證DNN將正常工作。

　　3、與研究環(huán)境相比，部署在現(xiàn)實(shí)世界中的DNN通常處理更多噪聲和更多失真的數(shù)據(jù)。例如，DNN在訓(xùn)練過程中，可能會(huì)從維基百科上看到非常清晰的貓的圖像，而在現(xiàn)實(shí)世界中，DNN需要處理一張黑暗的、模糊的貓?zhí)优艿膱D像。此外，類選擇性的降低使得DNN對諸如模糊和噪聲之類的自然扭曲具有更強(qiáng)的魯棒性。有趣的是，降低類選擇性也使DNN更容易受到有針對性的攻擊，在這些攻擊中，圖像被有目的地篡改從而欺騙DNN。

　　這些結(jié)論之所以出人意料，有兩個(gè)原因：一是類選擇性已被廣泛用于理解DNN的功能，二是類選擇性在大多數(shù)DNN中是自然存在的。

　　研究人員的發(fā)現(xiàn)還表明，在沒有類選擇性操作的情況下，DNN自然會(huì)學(xué)習(xí)盡可能多的類選擇性，而不會(huì)對性能產(chǎn)生負(fù)面影響。

　　這引出了一個(gè)更深層次的問題，研究人員希望在未來的工作中回答這個(gè)問題：如果對于良好的性能不是必需的，為什么網(wǎng)絡(luò)要學(xué)習(xí)類選擇性？