對(duì)抗性數(shù)據(jù)需警惕 科學(xué)家已經(jīng)測試“欺騙”了一輛無人車

近年來，人工智能已經(jīng)取得了長足的進(jìn)步，但正如許多人工智能使用者所表明的那樣，人工智能仍然容易出現(xiàn)一些人類并不會(huì)犯的驚人錯(cuò)誤。雖然這些錯(cuò)誤有時(shí)可能是人工智能進(jìn)行學(xué)習(xí)時(shí)不可避免的后果，但越來越明顯的是，一個(gè)比我們意想中嚴(yán)重得多的問題正帶來越來越大的風(fēng)險(xiǎn)：對(duì)抗性數(shù)據(jù)。

對(duì)抗性數(shù)據(jù)描述了這樣一種情況，人類用戶故意向算法提供已損壞的信息，損壞的數(shù)據(jù)打亂了機(jī)器學(xué)習(xí)過程，從而欺騙算法得出虛假的結(jié)論或不正確的預(yù)測。

作為一名生物醫(yī)學(xué)工程師，筆者認(rèn)為對(duì)抗數(shù)據(jù)是一個(gè)值得關(guān)注的重要話題。最近，加州大學(xué)伯克利分校(UC Berkeley)教授唐恩·宋(Dawn Song)“欺騙”了一輛自動(dòng)駕駛汽車，讓它以為停車標(biāo)志上的限速是每小時(shí)45英里。

這種性質(zhì)的惡意攻擊很容易導(dǎo)致致命的事故。同樣地，受損的算法數(shù)據(jù)可能導(dǎo)致錯(cuò)誤的生物醫(yī)學(xué)研究，重則危及生命或影響醫(yī)學(xué)事業(yè)的創(chuàng)新發(fā)展。

直到最近，人們才意識(shí)到對(duì)抗性數(shù)據(jù)的威脅，我們不能再忽視它了。

對(duì)抗性數(shù)據(jù)是如何產(chǎn)生的呢？

有趣的是，即使不帶任何惡意，也可能產(chǎn)生對(duì)抗性數(shù)據(jù)的輸出。這在很大程度上是因?yàn)樗惴軌颉坝^察”到我們?nèi)祟悷o法識(shí)別的數(shù)據(jù)中的東西。由于這種可見性，麻省理工學(xué)院最近的一個(gè)案例研究將對(duì)抗性描述為一種特性，而不是故障。

在這項(xiàng)研究中，研究人員將人工智能學(xué)習(xí)過程中的“魯棒性”和“非魯棒性”特征進(jìn)行了分離。魯棒特征通?？梢员蝗祟惛兄剑囚敯籼卣髦荒鼙蝗斯ぶ悄軝z測到。研究人員嘗試用一種算法讓人工智能識(shí)別貓的圖片，結(jié)果顯示，系統(tǒng)通過觀察圖像中的真實(shí)模式，卻得出錯(cuò)誤的結(jié)論。

錯(cuò)誤識(shí)別發(fā)生的原因是，人工智能看到的是一組無法明顯感知的像素，使得它無法正確識(shí)別照片。這導(dǎo)致在識(shí)別算法的過程中，系統(tǒng)在無意中被訓(xùn)練成使用誤導(dǎo)模式。

這些非魯棒性特征作為一種“干擾噪聲”，導(dǎo)致算法的結(jié)果存在缺陷。因此，黑客要想干擾人工智能，往往只需要引入一些非魯棒特性，這些特性不容易被人眼識(shí)別，但可以明顯地改變?nèi)斯ぶ悄艿妮敵鼋Y(jié)果。

對(duì)抗性數(shù)據(jù)和黑暗人工智能的潛在后果

正如安全情報(bào)局的穆阿扎姆·汗所指出的，依賴于對(duì)抗性數(shù)據(jù)的攻擊主要有兩種類型：“中毒攻擊”和“閃躲攻擊”。在中毒攻擊中，攻擊者提供了一些輸入示例，這些輸入示例使得決策邊界轉(zhuǎn)移向?qū)粽哂欣姆较?；在閃躲攻擊中，攻擊者會(huì)使得程序模型對(duì)樣本進(jìn)行錯(cuò)誤分類。

例如，在筆者所熟悉的生物醫(yī)學(xué)環(huán)境中，對(duì)抗性數(shù)據(jù)的攻擊可能會(huì)導(dǎo)致算法錯(cuò)誤地將有害或受污染的樣本標(biāo)記為良性且清潔，這就可能導(dǎo)致錯(cuò)誤的研究結(jié)果或不正確的醫(yī)療診斷。

讓人工智能學(xué)習(xí)算法也可以被用來驅(qū)動(dòng)專門為幫助黑客而設(shè)計(jì)的惡意人工智能程序。正如《惡意人工智能報(bào)告》所指出的，黑客可以利用人工智能為他們的各項(xiàng)破壞活動(dòng)提供便利，從而實(shí)現(xiàn)更廣泛的網(wǎng)絡(luò)攻擊。尤其，機(jī)器學(xué)習(xí)能夠繞過不安全的物聯(lián)網(wǎng)設(shè)備，讓黑客更容易竊取機(jī)密數(shù)據(jù)、違法操縱公司數(shù)據(jù)庫等等。本質(zhì)上，一個(gè)黑暗的人工智能工具可以通過對(duì)抗性數(shù)據(jù)來“感染”或操縱其他人工智能程序。中小型企業(yè)往往面臨更高的風(fēng)險(xiǎn)，因?yàn)樗麄儧]有先進(jìn)的網(wǎng)絡(luò)安全指標(biāo)。

保護(hù)措施

盡管存在這些問題，對(duì)抗性數(shù)據(jù)也可以被用于積極的方面。事實(shí)上，許多開發(fā)人員已經(jīng)開始使用對(duì)抗性數(shù)據(jù)來檢測自己的系統(tǒng)漏洞，從而使他們能夠在黑客利用漏洞之前實(shí)現(xiàn)安全升級(jí)。其他開發(fā)人員正在使用機(jī)器學(xué)習(xí)來創(chuàng)建另一種人工智能系統(tǒng)，確保其能更擅長識(shí)別和消除潛在的數(shù)據(jù)威脅。

正如喬·代沙爾特在一篇發(fā)表于“基因工程及生物技術(shù)新聞”的文章中所解釋的那樣，許多這些人工智能工具已經(jīng)能夠在計(jì)算機(jī)網(wǎng)絡(luò)上尋找可疑的活動(dòng)，分析時(shí)間通常為幾毫秒，并能夠在其造成任何損害之前消除禍端，這些罪魁禍?zhǔn)淄ǔ碜粤髅ノ募虺绦颉?/p>

他補(bǔ)充說，這種方法與傳統(tǒng)的信息技術(shù)安全不同，傳統(tǒng)的信息技術(shù)安全更關(guān)注于識(shí)別已知威脅的特定文件和程序，而不是研究這些文件和程序的行為。

當(dāng)然，機(jī)器學(xué)習(xí)算法本身的改進(jìn)也可以減少對(duì)抗性數(shù)據(jù)帶來的一些風(fēng)險(xiǎn)。然而，最重要的是，這些系統(tǒng)并不是完全獨(dú)立的。人工輸入和人工監(jiān)督仍然是識(shí)別魯棒特征和非魯棒特征之間差異的關(guān)鍵，以確保錯(cuò)誤的識(shí)別不會(huì)導(dǎo)致錯(cuò)誤的結(jié)果。利用真實(shí)相關(guān)性的額外訓(xùn)練可以進(jìn)一步降低人工智能的易受攻擊特性。

顯然，在不久的將來，對(duì)抗性數(shù)據(jù)將繼續(xù)對(duì)人類世界構(gòu)成挑戰(zhàn)。但在這樣一個(gè)時(shí)代，人工智能可以被用來幫助我們更好地理解人類大腦、解決各種世界問題。我們不能低估這種數(shù)據(jù)驅(qū)動(dòng)威脅的緊迫性。處理對(duì)抗性數(shù)據(jù)并采取措施對(duì)抗黑暗人工智能應(yīng)該成為科技界的首要任務(wù)之一。