何以為貓？可解釋AI從語義層面理解CNN的識(shí)別機(jī)制

來自北京大學(xué)、東方理工、南方科技大學(xué)和鵬城實(shí)驗(yàn)室等機(jī)構(gòu)的研究團(tuán)隊(duì)提出了一種語義可解釋人工智能(semantic explainable AI, S-XAI）的研究框架，該框架從語義層面解釋了 CNN 的學(xué)習(xí)機(jī)制。

近年來，CNN 因其優(yōu)異的性能，在計(jì)算機(jī)視覺、自然語言處理等各個(gè)領(lǐng)域受到了研究者們的青睞。但是，CNN 是一個(gè) 「黑盒」 模型，即模型的學(xué)習(xí)內(nèi)容和決策過程很難用人類能夠理解的方式提取和表達(dá)，這限制了它的預(yù)測可信度和實(shí)際應(yīng)用。因此，CNN 的可解釋性受到了越來越多的關(guān)注，研究者們試圖采用特征可視化，網(wǎng)絡(luò)診斷和網(wǎng)絡(luò)架構(gòu)調(diào)整等方式輔助解釋 CNN 的學(xué)習(xí)機(jī)制，從而將這一 「黑盒」 透明化，使人類更容易理解、檢測和改進(jìn)其決策過程。

近日，北京大學(xué)，東方理工，南方科技大學(xué)和鵬城實(shí)驗(yàn)室等機(jī)構(gòu)的研究團(tuán)隊(duì)提出了一種語義可解釋人工智能(semantic explainable AI, S-XAI）的研究框架，從語義層面解釋了 CNN 的學(xué)習(xí)機(jī)制，并以貓狗二分類問題為例，形象地揭示了模型是如何學(xué)習(xí)類別意義上的貓的概念，即「何以為貓」。

該研究聚焦于 CNN 從同一類別的樣本中學(xué)習(xí)到的共性特征，并提取出人類可理解的語義概念，為 CNN 提供了語義層面的解釋?；诖?，研究首次提出了 「語義概率(semantic probability)」 的概念來表征語義要素在樣本中的出現(xiàn)概率。實(shí)驗(yàn)表明，S-XAI 在二分類和多分類任務(wù)中均能成功地提取共性特征并抽象出超現(xiàn)實(shí)但可辨認(rèn)的語義概念，在可信度評估和語義樣本搜索等層面有著廣泛的應(yīng)用前景。

該研究以《Semantic interpretation for convolutional neural networks: What makes a cat a cat?》為題，于 2022 年 10 月 10 日發(fā)表于《Advanced Science》上。

論文鏈接：https://onlinelibrary.wiley.com/doi/10.1002/advs.202204723

代碼鏈接：https://github.com/woshixuhao/semantic-explainable-AI

模型效果

不同于以往的單樣本可視化研究，S-XAI能夠提取并可視化群體樣本的共性特征，從而獲得全局可解釋性。在進(jìn)一步抽象出的語義空間與計(jì)算出的語義概率的基礎(chǔ)上，S-XAI 可以為 CNN 的決策邏輯自動(dòng)生成人類可理解的語義解釋，并且從語義層面上評估決策的可信度。

如圖 1 所示，在貓狗二分類問題中，對于同一只貓的三個(gè)角度的圖片，S-XAI 自動(dòng)生成了相應(yīng)的語義概率雷達(dá)圖和解釋語句。雖然神經(jīng)網(wǎng)絡(luò)都以 90% 以上的概率將這些圖片識(shí)別為貓，但是 S-XAI 從語義概率上提供了更多的解釋信息，體現(xiàn)出這些圖片之間的差異。例如，對于正面的圖像，S-XAI 的解釋是 「我確信它是一只貓，主要是因?yàn)樗兄鷦?dòng)的眼睛和鼻子，顯然是貓的眼睛和鼻子。同時(shí)，它有著栩栩如生的腿，有點(diǎn)像貓的腿?！?這個(gè)解釋顯示出很高的可信度。對于側(cè)面角度的圖像，S-XAI 的解釋是 「它可能是一只貓，主要是因?yàn)樗醒劬?，也許是貓的眼睛，但是它的腿是有點(diǎn)令人困惑?！?對于貓背面的圖像，所有的語義概率均不明顯，S-XAI 的解釋是 「它可能是一只貓，但我不確定?！?同時(shí)，對于一張狗的圖片，S-XAI 的解釋為：「我確信它是一只狗，主要是因?yàn)樗猩鷦?dòng)的眼睛和鼻子，這顯然是狗的眼睛和鼻子。雖然它的腿有點(diǎn)令人困惑?！?/span>

事實(shí)上，如果將這只狗的上半身遮蓋住，只看腿部，即使是人類也很難判斷這是貓還是狗?？梢钥闯觯琒-XAI 提供的語義解釋較為準(zhǔn)確，且與人類的認(rèn)知相一致，從語義層面讓人類更好地理解神經(jīng)網(wǎng)絡(luò)的類別識(shí)別邏輯。

圖 1. S-XAI 自動(dòng)生成的語義概率雷達(dá)圖和解釋語句

同時(shí)，S-XAI 在語義樣本搜尋中也有廣闊的應(yīng)用前景。如圖 2 所示，當(dāng)人們需要從大量圖片中篩選出具有某些語義特征的圖片時(shí)，S-XAI 提供了一種快捷且準(zhǔn)確的方式，即通過語義概率進(jìn)行篩選?？紤]到計(jì)算語義概率只涉及神經(jīng)網(wǎng)絡(luò)的前向操作（即預(yù)測），該流程十分迅速。

圖 2. 語義樣本搜尋示例

在研究中，研究人員也證明了 S-XAI 在多分類任務(wù)上有著良好的拓展性。如圖 3 所示，以 Mini-ImageNet 數(shù)據(jù)集（包含 100 種動(dòng)物類別）為例，S-XAI 仍然能夠從不同類別數(shù)據(jù)（如鳥，蛇，螃蟹，魚等）中分別提取出清晰可辨認(rèn)的共性特征和語義空間，并產(chǎn)生相應(yīng)的語義解釋。

圖 3. S-XAI 在多分類任務(wù)中的表現(xiàn)。

原理方法

目前常見的提高模型解釋性的思路主要分為可視化和模型干預(yù)兩大類。可視化方法將 CNN 內(nèi)部的特征圖，過濾器或熱力圖進(jìn)行可視化，從而理解網(wǎng)絡(luò)在面對給定樣本時(shí)關(guān)注到的特征。該方法的局限性在于它只能從單個(gè)樣本中提取個(gè)體特征以獲得局部可解釋性，無法幫助人們理解模型面對同一類數(shù)據(jù)時(shí)的整體決策邏輯。模型干預(yù)方法則將已有的一些解釋性強(qiáng)的模型（如樹模型等）融入到神經(jīng)網(wǎng)絡(luò)的架構(gòu)中，以提升模型的可解釋性能力。雖然此類方法具有全局可解釋性的優(yōu)勢，但往往需要重新訓(xùn)練模型，解釋成本較大，不利于推廣和應(yīng)用。

受人類認(rèn)知模式的啟發(fā)，在 S-XAI 中，研究人員采用了一種新的解釋策略，從語義層面來解釋 CNN 的類別學(xué)習(xí)機(jī)制（圖 4）。在自然界中，相同種類的物體往往具有某些相似的共性特征，這些共性特征構(gòu)成了類別認(rèn)知的重要基礎(chǔ)。例如，盡管貓的形態(tài)各異，但它們都具有一些共性特征（如胡須，鼻子和眼睛的相關(guān)特征），這使得人類能夠快速地將它們判斷為貓。在實(shí)驗(yàn)中，研究人員發(fā)現(xiàn)，CNN 的類別學(xué)習(xí)機(jī)制與人類有異曲同工之處。

圖 4. 語義可解釋人工智能研究框架

研究中采用了一種名為行中心樣本壓縮（row-centered sample compression）的技術(shù)，從 CNN 中提取出了從同一類別樣本中學(xué)習(xí)到的共性特征。不同于傳統(tǒng)的主成分分析，行中心樣本壓縮將大量樣本在 CNN 中得出的特征圖在樣本空間上進(jìn)行降維，從而提取出少量主成分作為 CNN 學(xué)習(xí)到的共性特征。為了使提取出的共性特征更清晰，樣本通過超像素分割和遺傳算法找出了最優(yōu)的超像素組合以降低干擾。提取出的共性特征則通過可視化的方式展現(xiàn)出來（圖 5）。

圖 5. 共性特征的提取路徑

以 VGG-19 網(wǎng)絡(luò)架構(gòu)上的貓狗二分類問題為例，對貓和狗的類別數(shù)據(jù)分別提取出的不同主成分如圖 6 所示。圖中可以清晰地看出不同主成分展現(xiàn)出了可辨認(rèn)的，不同層次的特征。很明顯，第一主成分顯示出完整的臉部特征，第二主成分顯示出零散的語義概念，如胡須、眼睛和鼻子等，第三主成分則主要呈現(xiàn)出毛皮的特質(zhì)。值得一提的是，這些主成分展現(xiàn)出的特征是超自然的，即不屬于任何樣本，而是體現(xiàn)出了所有同類別樣本的共同特征。

圖 6. 對貓和狗的類別數(shù)據(jù)分別提取出的不同主成分的可視化結(jié)果

基于提取出的共性特征，研究人員通過對樣本中的語義信息進(jìn)行掩碼 (mask) 處理，對比主成分的變化，進(jìn)一步地將其中雜糅在一起的語義概念分離開來，從而提取出各語義概念對應(yīng)的語義向量，抽象出語義空間。在這里，研究人員使用了眼睛，鼻子等人類理解的語義概念，并將抽象出的語義空間可視化。在成功提取語義空間后，研究人員定義了 「語義概率」 的概念以表征語義要素在樣本中的出現(xiàn)概率，從而為 CNN 的語義層面的解釋提供了定量分析的手段。

如圖 7 所示，語義空間中出現(xiàn)了清晰可辨認(rèn)的語義概念（明亮的眼睛，小巧的鼻子），這表明語義空間被成功地從 CNN 中提取出來，展示了 CNN 從類別數(shù)據(jù)中學(xué)習(xí)到的語義信息。同時(shí)，研究者發(fā)現(xiàn) CNN 對語義的認(rèn)知與人類存在一定的差異，它所學(xué)習(xí)到的 “語義” 并不一定是人類共識(shí)的“語義”，甚至可能神經(jīng)網(wǎng)絡(luò)的語義更加高效。例如，研究者發(fā)現(xiàn)，對于貓而言，CNN 經(jīng)常會(huì)將貓的鼻子和胡須作為一個(gè)整體的語義，這或許是更有效的。同時(shí)，CNN 學(xué)習(xí)到了語義之間的一些聯(lián)系，例如貓的眼睛和鼻子往往是同時(shí)出現(xiàn)的，這一方面值得后續(xù)深入的研究。

圖 7. 從 CNN 中提取出的語義向量與可視化的語義空間（上：貓眼睛空間；下：貓鼻子空間）

總結(jié)展望

綜上所述，研究中提出的語義可解釋人工智能（S-XAI）通過提取共性特征和語義空間，從語義層面上為 CNN 的類別識(shí)別機(jī)制提供了解釋。該研究框架無需改變 CNN 的架構(gòu)即可獲取一定的全局解釋能力，由于不涉及網(wǎng)絡(luò)的重新訓(xùn)練，S-XAI 具有響應(yīng)速度較快的優(yōu)勢，在可信度評估和語義樣本搜尋方面有著可觀的應(yīng)用潛力。

本質(zhì)上而言，S-XAI 與知識(shí)發(fā)現(xiàn)有著異曲同工之處。知識(shí)發(fā)現(xiàn)意圖從神經(jīng)網(wǎng)絡(luò)找出反映共性物理規(guī)律的函數(shù)項(xiàng)，S-XAI 則是從 CNN 中找出反映樣本共性特征的語義空間，二者的核心思想均為尋找共性并將其表示出來，盡可能的讓人類可以理解。