為什么深度學(xué)習(xí)如此容易被愚弄?AI研究員正努力修復(fù)神經(jīng)網(wǎng)絡(luò)缺陷
來源:nature
本文引用地址:http://www.ex-cimer.com/article/202207/435916.htm編譯:張大筆茹、小七
假設(shè)一輛自動(dòng)駕駛汽車看到停車標(biāo)志時(shí)并沒有減速,而是加速駛?cè)肓朔泵Φ氖致房?,從而?dǎo)致了交通事故。事故報(bào)告顯示,停車標(biāo)志的表面粘了四個(gè)小的矩形標(biāo)志。這說明一些微小擾動(dòng)就能愚弄車載人工智能(AI),使其將“停止”一詞誤讀為“限速45”。
目前,此類事件還未發(fā)生,但是人為擾動(dòng)可能影響AI是非?,F(xiàn)實(shí)的。研究人員已經(jīng)展示了如何通過粘貼紙來欺騙AI系統(tǒng)誤讀停車標(biāo)志,或者通過在眼鏡或帽子上粘貼印刷圖案來欺騙人臉識(shí)別系統(tǒng),又或者通過在音頻中插入白噪聲使語音識(shí)別系統(tǒng)產(chǎn)生錯(cuò)誤判斷。
這只是一些攻擊AI中領(lǐng)先的模式識(shí)別技術(shù)——深度神經(jīng)網(wǎng)絡(luò)(DNN)的小示例。事實(shí)證明,這些方法在正確分類各種輸入方面(包括圖像、語音和有關(guān)消費(fèi)者偏好的數(shù)據(jù))非常成功。從自動(dòng)電話系統(tǒng)到流媒體服務(wù)Netflix上的用戶推薦,這都是日常生活中的一部分。對(duì)輸入進(jìn)行人類難以察覺的微小更改,就能使周圍最好的神經(jīng)網(wǎng)絡(luò)發(fā)生混淆。
加利福尼亞大學(xué)伯克利分校計(jì)算機(jī)科學(xué)博士生Dan Hendrycks表示,在這種不完美的技術(shù)中,這些問題比特殊的怪癖更麻煩。像許多科學(xué)家一樣,他一開始也認(rèn)為其是DNN的內(nèi)在缺陷:在訓(xùn)練領(lǐng)域能出色地完成任務(wù),但是一旦進(jìn)入陌生領(lǐng)域,就會(huì)因?yàn)楦鞣N原因而失效。
這可能會(huì)導(dǎo)致嚴(yán)重的問題。越來越多的深度學(xué)習(xí)系統(tǒng)從實(shí)驗(yàn)室走向現(xiàn)實(shí)世界,從自動(dòng)駕駛汽車到犯罪測(cè)量和診斷疾病。但是,今年一項(xiàng)研究報(bào)告稱,惡意添加到醫(yī)學(xué)掃描中的圖像可能會(huì)使DNN誤檢測(cè)癌癥。另一方面,黑客可以利用這些弱點(diǎn)黑掉一個(gè)在線AI系統(tǒng),從而運(yùn)行自己的代碼。
努力尋找問題根源的過程中,研究人員發(fā)現(xiàn)了許多DNN失敗的原因。位于加利福尼亞山景城的Google的AI工程師Franois Chollet認(rèn)為,“DNN的內(nèi)在缺陷是沒有解決辦法的。要克服這些缺陷,研究人員需要開發(fā)額外的功能來增強(qiáng)模式匹配DNN,例如,使AI能夠自己探索世界,自己寫代碼并保留記憶?!耙恍<艺J(rèn)為,這將是未來十年AI的研究方向。
現(xiàn)實(shí)檢驗(yàn)
2011年,谷歌開發(fā)了一個(gè)可以識(shí)別YouTube視頻中的貓的系統(tǒng),隨后不久便出現(xiàn)了一波基于DNN的分類系統(tǒng)。加州舊金山Uber AI Labs的高級(jí)研究經(jīng)理,懷俄明大學(xué)拉拉米分校的杰夫·克勞恩(Jeff Clune)表示,不明就里的人都在說,“哇,這太神奇了,計(jì)算機(jī)終于可以理解世界了”。
但只有AI研究人員知道DNN實(shí)際上并不了解世界。它們只是由許多數(shù)字神經(jīng)元組成的,分布在許多上下相互連接的各層網(wǎng)絡(luò)中的,類似大腦結(jié)構(gòu)的松散模型。
其思想是,原始輸入進(jìn)入底層的特征(例如圖像中的像素)會(huì)觸發(fā)其中一些神經(jīng)元,然后根據(jù)簡單的數(shù)學(xué)規(guī)則將信號(hào)傳遞到上一層的神經(jīng)元,每次調(diào)整神經(jīng)元的連接方式,訓(xùn)練DNN網(wǎng)絡(luò)涉及到將其暴露于大量示例中,以便最終頂層可以提供所需的答案。例如,即使DNN之前從未看到過該圖片,也能始終將獅子的圖片輸出為獅子。
2013年,Google研究員Christian Szegedy和他的同事發(fā)布了一份名為“神經(jīng)網(wǎng)絡(luò)的有趣特性”的預(yù)印本,這是對(duì)神經(jīng)網(wǎng)絡(luò)在現(xiàn)實(shí)應(yīng)用的第一次檢驗(yàn)。以獅子的圖像為例,即使改變一些像素,例如在圖像里添加圖書館背景,DNN能確認(rèn)它看到了不同的內(nèi)容,但是依然能識(shí)別圖中的獅子。小組稱篡改的圖像為“對(duì)抗樣本”。
評(píng)論