深度學(xué)習(xí)成人工智能安全軟肋 潛在風(fēng)險不容忽視
雖然人工智能正給人類生活帶來翻天覆地的變化,但是,很多人并未考慮到人工智能也存在諸多安全隱患,尤其是其核心的深度學(xué)習(xí)技術(shù)更是面臨著眾多潛在威脅。隨著深度學(xué)習(xí)應(yīng)用越來越廣泛,越來越多的安全問題也開始暴露出來。
本文引用地址:http://www.ex-cimer.com/article/201802/375868.htm日前,360安全研究院結(jié)合過去一年對深度學(xué)習(xí)系統(tǒng)安全性的詳細(xì)研究,出具了《AI安全風(fēng)險白皮書》,白皮書指出:深度學(xué)習(xí)框架中的軟件實現(xiàn)漏洞、對抗機(jī)器學(xué)習(xí)的惡意樣本生成、訓(xùn)練數(shù)據(jù)的污染等可能導(dǎo)致人工智能所驅(qū)動的識別系統(tǒng)出現(xiàn)混亂,形成漏判或者誤判,甚至導(dǎo)致系統(tǒng)崩潰或被劫持,并可以使智能設(shè)備變成僵尸攻擊工具。
圖1:谷歌AlphaGo圍棋功力驚艷全球
近年來,以谷歌AlphaGo為代表的人工智能技術(shù)驚艷了世人眼球。大家都為人工智能高超的運(yùn)算能力和縝密的邏輯判斷所驚呆。不過,一個事實卻是:AlphaGo的深度學(xué)習(xí)技術(shù)只是在封閉的環(huán)境下工作,并不與外界直接交互,因此它面臨的安全威脅相對較小。此外,其他受到關(guān)注的應(yīng)用往往假定處于善意的或封閉的場景,例如高準(zhǔn)確率的語音識別中的輸入都是自然采集而成,圖片識別中的輸入也都來自正常拍攝的照片,這些討論沒有考慮認(rèn)為惡意構(gòu)造或合成的場景。
以人工智能中最典型的手寫數(shù)字識別為例:基于MNIST數(shù)據(jù)集的手寫數(shù)字識別應(yīng)用是深度學(xué)習(xí)的一個非常典型例子,其算法層所討論的分類結(jié)果只關(guān)心特定類別的近似度和置信概率區(qū)間,沒有考慮輸入會導(dǎo)致程序崩潰甚至被攻擊者劫持控制流。這其中被忽略掉的輸出結(jié)果反映出算法和實現(xiàn)上考慮問題的差距,也就是所謂的人工智能安全盲點。
圖2:深度學(xué)習(xí)算法與安全所考慮的不同輸出場景
目前,已開發(fā)的深度學(xué)習(xí)軟件基本都實現(xiàn)在深度學(xué)習(xí)框架上。應(yīng)用開發(fā)人員可直接在框架上構(gòu)建自己的神經(jīng)元網(wǎng)絡(luò)模型,并利用框架提供的接口對模型進(jìn)行訓(xùn)練。但是,這種框架雖然簡化了深度學(xué)習(xí)應(yīng)用的設(shè)計和開發(fā)難度,但是也因為系統(tǒng)的復(fù)雜程度而暗藏風(fēng)險。
一個頗為尷尬的事實就是,只要深度學(xué)習(xí)框架以及它所依賴的任一組件存在漏洞,建立在框架上的應(yīng)用系統(tǒng)也會隨之遭到威脅。另外模塊往往來自不同的開發(fā)者,對模塊間的接口經(jīng)常有不同的理解。當(dāng)這種不一致導(dǎo)致安全問題時,模塊開發(fā)者甚至?xí)J(rèn)為是其他模塊調(diào)用不合規(guī)范而不是自己的問題。
圖3:深度學(xué)習(xí)框架以及框架組件依賴
為了掌握深度學(xué)習(xí)軟件存在的安全隱患,360 Team Seri0us 團(tuán)隊在一個月內(nèi)發(fā)現(xiàn)了數(shù)十個深度學(xué)習(xí)框架及其依賴庫中的軟件漏洞,包含了幾乎所有常見的漏洞類型,例如內(nèi)存訪問越界,空指針引用,整數(shù)溢出,除零異常等。這些漏洞一旦被不法分子利用,就可能導(dǎo)致深度學(xué)習(xí)應(yīng)用面臨拒絕服務(wù)、控制流挾持、分類逃逸以及潛在的數(shù)據(jù)污染攻擊等風(fēng)險。
因此,在推進(jìn)人工智能技術(shù)應(yīng)用的同時,我們更要著眼于解決其中存在的安全隱患,使技術(shù)更好地為人類的服務(wù)。作為國內(nèi)最大的互聯(lián)網(wǎng)安全公司,未來360將致力于幫助行業(yè)及廠商解決人工智能的安全問題,提升整個人工智能行業(yè)的安全系數(shù)。
評論