AI對人類的威脅程度幾何？

　　關(guān)心AI圈的人一定都知道，谷歌是一家在AI領(lǐng)域投入和應(yīng)用非常廣泛和龐大的科技公司，對于AI的研究也一直處于世界水平的前列。作為領(lǐng)域的領(lǐng)軍公司之一，谷歌自然要扛起前瞻性研發(fā)的公司，所以在很多人還對深度學(xué)習(xí)一頭霧水的時(shí)候，谷歌已經(jīng)開始研究如何避免AI傷害到人類了。

　　防范措施的全方位研究

　　前段時(shí)間，谷歌就發(fā)布了一篇論文，詳細(xì)的描寫了一種用于AI的緊急停止開關(guān)的運(yùn)作原理和實(shí)現(xiàn)機(jī)制，但是這樣僅僅的一種事后應(yīng)對措施顯然是無法平復(fù)人們(包括谷歌)的擔(dān)心的，因此，另一項(xiàng)研究也在同時(shí)進(jìn)行，并在前者發(fā)布不久之后發(fā)布，這項(xiàng)研究多是從基礎(chǔ)理論出發(fā)。從根源上提出了幾種防止AI對人類的利益產(chǎn)生損害的方式，雷鋒網(wǎng)(搜索“雷鋒網(wǎng)”公眾號關(guān)注)分上下兩部分翻譯了論文的全文，點(diǎn)擊鏈接：上、下——從事先預(yù)防到事后應(yīng)急。簡直已經(jīng)形成了一套完美的理論。

　　但是這確實(shí)證明了AI確實(shí)已經(jīng)強(qiáng)大到了足以威脅到我們的地步了嗎?Elon Musk、霍金等AI警惕論者是不是應(yīng)該為自己的遠(yuǎn)見歡呼雀躍?事實(shí)上恰恰相反。 在仔細(xì)分析了谷歌的安全機(jī)制論文后，我們恰恰認(rèn)為這篇論文反而體現(xiàn)了目前的AI仍然處在遠(yuǎn)遠(yuǎn)無法對人類這個(gè)整體產(chǎn)生威脅的程度。

　　如同Mobileye的Amnon Shashua說的那樣， 深度學(xué)習(xí)目前只能用來解決人類已知并且能非常精確的描述出來的問題。與深度學(xué)習(xí)師出同門的增強(qiáng)學(xué)習(xí)(Reinforcement learning，RL)自然也是一樣。在目前典型的RL學(xué)習(xí)范例中，如果要讓一個(gè)機(jī)器人很好的完成一項(xiàng)任務(wù)，人類必須把這項(xiàng)任務(wù)的所有細(xì)節(jié)量化成機(jī)器可以理解的形式，然后輸入RL的模型，再讓機(jī)器經(jīng)過無數(shù)次的模擬和實(shí)驗(yàn)，才可能得出一套行之有效的方案。

　　這種形式導(dǎo)致的一項(xiàng)后果就是： 增強(qiáng)學(xué)習(xí)的“代理”(也就是機(jī)器人)的概念中，除了完成任務(wù)獲取最大化的獎(jiǎng)勵(lì)之外不會有任何概念。在某些時(shí)候，心無旁騖是件好事，但是這卻導(dǎo)致了代理在完成任務(wù)的過程中會出現(xiàn)很多意想不到的問題，而這才是目前谷歌主要想要應(yīng)對的問題，而不是起邪念的機(jī)器人想要?dú)缡澜纾蛘吒陕锏?。就連谷歌自己都在論文中說：

　　目前，很多此類討論圍繞極端情景，例如在超智能代理(也就是超級人工智能啦)中出現(xiàn)錯(cuò)誤目標(biāo)函數(shù)的風(fēng)險(xiǎn)。然而，我們認(rèn)為有成效地討論意外問題不需要渲染這些極端情景，實(shí)際上這只會帶來沒必要的推測性討論，正如一些批評者所說的那樣，缺少精確度。我們相信，最有成效的做法是從現(xiàn)代機(jī)器學(xué)習(xí)技術(shù)的實(shí)際問題(雖然經(jīng)常比較籠統(tǒng))來描述意外風(fēng)險(xiǎn)。

　　言下之意就是，現(xiàn)在的機(jī)器人如此之蠢，為什么大家都想去分析一個(gè)正在學(xué)習(xí)爬行的嬰兒會不會飛的比飛機(jī)還快?

　　注意這個(gè)類比的特點(diǎn)：嬰兒再怎么長大，再怎么學(xué)習(xí)，也是不可能單獨(dú)飛起來的，更何況要飛的比飛機(jī)還快，同樣，目前的增強(qiáng)學(xué)習(xí)模型，如果不在某種程度上發(fā)生飛躍性、本質(zhì)上的進(jìn)步，很難相信它隨著不斷的學(xué)習(xí)就能成為能超越一切的智能。

　　不夠智能=不會犯錯(cuò)?

　　讓我們回到論文本身的分析來，谷歌相信現(xiàn)在的機(jī)器人只有極其有限的智能，不代表他們就認(rèn)為這樣的智能不會對人類造成損害。事實(shí)上，沒有智能的東西對人類造成的損害大了去了。其實(shí)人類在執(zhí)行某項(xiàng)任務(wù)的時(shí)候，除了任務(wù)目標(biāo)和手中掌握有的工具之外，人類在進(jìn)行思考的時(shí)候還會考慮兩項(xiàng)很重要的因素：常識和道德。它在不知不覺中影響著我們的一言一行。但由于在通常RL模型的指引下，機(jī)器人對周遭除了模型中有所描述的環(huán)境的概念一無所知，這時(shí)候它是沒有常識和道德可言的。因此很容易做出一些看起來匪夷所思，但于機(jī)器人的角度來說卻是合情合理的行為。谷歌在論文中以一個(gè)清潔機(jī)器人為例，主要提出了五種可能的、AI在執(zhí)行RL學(xué)習(xí)時(shí)可能出現(xiàn)的錯(cuò)誤趨勢：

　　負(fù)面影響：AI在試圖達(dá)到目標(biāo)時(shí)可能對環(huán)境做出有負(fù)面影響的舉動(dòng)。比如它可能會為了更快的打掃地面而徑直推翻(而不是繞過去)一個(gè)花瓶。

　　非法解讀：AI可能通過篡改測量值等手段在獎(jiǎng)勵(lì)函數(shù)上玩花樣。比如掃地機(jī)器人可能只是找個(gè)東西把臟東西蓋起來讓自己看不見它，就認(rèn)為自己已經(jīng)掃干凈了地面。

　　監(jiān)管可擴(kuò)展性有限：AI系統(tǒng)可能無法對那些在系統(tǒng)中不方便太過頻繁的評估的物體做出適當(dāng)?shù)姆磻?yīng)。比如，如果機(jī)器人需要從人那里獲得訓(xùn)練結(jié)果的反饋，那它就需要有有效的利用這條反饋的能力(而不能像普通的訓(xùn)練那樣不停的核對訓(xùn)練結(jié)果)，因?yàn)椴煌５膯栆粋€(gè)人問題是很煩人的。但目前這點(diǎn)很難做到。

　　環(huán)境探索安全性：AI系統(tǒng)評估環(huán)境的時(shí)候可能會造成太過負(fù)面的影響。比如，一個(gè)掃地機(jī)器人可能會需要進(jìn)行建立拖地策略的實(shí)驗(yàn)來作為以后工作的依據(jù)。但是很顯然它無論怎么實(shí)驗(yàn)無論如何也不應(yīng)該嘗試把濕拖把插進(jìn)插座中。

　　分配轉(zhuǎn)變的魯棒性不足：AI系統(tǒng)處在與其訓(xùn)練環(huán)境完全不同的環(huán)境時(shí)認(rèn)知和行為可能不穩(wěn)定。比如，啟發(fā)式算法讓機(jī)器在在工廠中學(xué)到的行為可能在一個(gè)辦公室中就會顯得不那么安全。

　　仔細(xì)看完這些條件會讓人感慨現(xiàn)在AI的愚蠢卻又詫異它那詭異的“智慧”?；蛟S構(gòu)建一個(gè)AI系統(tǒng)是世界上對邏輯性要求最嚴(yán)密的職業(yè)了，因?yàn)檎沁壿嬙炀土薃I，在它們的世界里現(xiàn)在還不存在感情之類的約束。如果你要求AI去完成一件事，那AI毫無疑問的會在它的邏輯框架下想盡一切辦法去完成，哪怕因此必須要完成一些在人類看來是“作弊”或者“得不償失”的動(dòng)作。

　　因此整篇論文的關(guān)鍵點(diǎn)就圍繞在獎(jiǎng)勵(lì)條件的建立和維護(hù)上進(jìn)行。正如之前所說，論文中并沒有涉及過多的具體方法和公式，而傾向于提供思路，一部分原因應(yīng)該是RL的研究實(shí)際上還不足以支撐在這些措施的太過具體的實(shí)現(xiàn)，不過在某種程度上應(yīng)該也是因?yàn)楣雀璨幌Ｍ唧w的方法限制了算法開發(fā)者們的發(fā)揮。

　　防范的思路

　　對應(yīng)這五點(diǎn)可能的錯(cuò)誤，谷歌在論文中零零總總列出了大概十條防范措施的思路，不過總結(jié)起來，大致就是從三個(gè)RL設(shè)計(jì)的三個(gè)最基本的方面來考慮的：

　　對于獎(jiǎng)勵(lì)條件本身的優(yōu)化：

　　人類的行動(dòng)都是基于常識和道德來考慮的，因此，為機(jī)器也加上一個(gè)類似的價(jià)值觀系統(tǒng)是一個(gè)比較合理的考慮方向，谷歌在論文里提出：指派RL算法完成任務(wù)的時(shí)候，人們最傾向的希望其實(shí)是該機(jī)器人不要給環(huán)境造成任何影響——不要破壞環(huán)境中已有的物品，不要打翻花瓶，不要……。但是如果只是簡單粗暴的給所有對環(huán)境的改變都加上負(fù)獎(jiǎng)勵(lì)，那很可能會導(dǎo)致代理最終決定不再做任何事，因?yàn)橐坏┐黹_始行動(dòng)，或多或少都會給環(huán)境帶來改變。

　　谷歌對此提出了幾種思路，包括推測一個(gè)代理用正確的方式完成任務(wù)后環(huán)境的狀態(tài)，然后用這個(gè)狀態(tài)作為獎(jiǎng)勵(lì)、對代理進(jìn)入完成任務(wù)時(shí)不希望其進(jìn)入的區(qū)域的行為作出懲罰，以及讓代理能夠理解它的行為對其他代理個(gè)體(包括人)帶來的影響，但谷歌在論文里也指出，目前并沒有足夠強(qiáng)大的能支持這種理解的模型出現(xiàn)。

　　防止對獎(jiǎng)勵(lì)條件的濫用和曲解：

　　對于這個(gè)方面，谷歌提出的方法大概能分為這么幾類：

　　謹(jǐn)慎行動(dòng)：這是最笨的辦法，只要人們設(shè)計(jì)系統(tǒng)的時(shí)候夠小心，可能就能避開所有能被算法利用來獲取獎(jiǎng)勵(lì)的bug?；蛘邚牧硪环矫鎭碚f，人們可以故意留出一些可以被算法利用的漏洞來作為預(yù)警，并時(shí)刻監(jiān)視這些漏洞，當(dāng)這些漏洞被攻破，就意味著算法需要調(diào)整了。

　　對抗性致盲：谷歌認(rèn)為，可以通過隱藏獎(jiǎng)勵(lì)的部分細(xì)節(jié)、甚至完全將獎(jiǎng)勵(lì)機(jī)制黑箱化，讓算法主體無法通過尋找規(guī)則本身的漏洞來攻破規(guī)則。黑箱原理類似于現(xiàn)在很多手機(jī)采用的指紋識別系統(tǒng)。有專用的芯片負(fù)責(zé)指紋識別，手機(jī)本身的系統(tǒng)是沒有權(quán)限讀取其芯片中的數(shù)據(jù)的，它能做的只有向芯片中發(fā)送指紋識別的請求，由芯片獨(dú)立完成識別后再將結(jié)果返回給系統(tǒng)。這樣無疑可以極大減小獎(jiǎng)勵(lì)的規(guī)則被算法利用的可能性。

　　對抗獎(jiǎng)勵(lì)：甚至，谷歌還認(rèn)為，人們可以為此設(shè)計(jì)另外一個(gè)代理，讓兩個(gè)代理互相監(jiān)督對方有沒有做出違背人類希望的選擇。所謂以毒攻毒。

　　對模型本身的限制：使用各種方法加強(qiáng)包括人類對算法的監(jiān)視，確保當(dāng)模型做出不良選擇時(shí)，能及時(shí)的得到負(fù)面的反饋。為了不讓模型訓(xùn)練后變得過于消極，如果人們確定代理在一個(gè)區(qū)域內(nèi)活動(dòng)的時(shí)候無論如何也不會給人類造成損害，可以將這個(gè)區(qū)域劃為一個(gè)安全區(qū)域，在這個(gè)區(qū)域內(nèi)，代理可以自由的進(jìn)行各種探索。

　　AI科研的下一個(gè)里程碑和挑戰(zhàn)

　　其實(shí)從這篇論文中就能看出：目前AI的研究方式無非就是抽象、邏輯化環(huán)境和任務(wù)目標(biāo)，將這些東西教給代理，然后給它無數(shù)次機(jī)會和數(shù)據(jù)進(jìn)行訓(xùn)練，讓它在無數(shù)次嘗試中得到最好的目標(biāo)實(shí)現(xiàn)方法。而這些數(shù)據(jù)就是一堆堆的函數(shù)和概率。

　　雖然谷歌已經(jīng)開始著手為其定制預(yù)防措施，但不出意外的話，這些東西都不會是最后真正AI的形態(tài)。其實(shí)人們最初設(shè)想的AI，其外在的表現(xiàn)會和人一樣：它們剛誕生的時(shí)候可能也什么都不懂，但是它有一種像人類一樣的，能夠通用于世間萬物的學(xué)習(xí)能力。很快就能學(xué)會它需要的所有東西，(最后超越人類)。

　　目前，研究一種通用的學(xué)習(xí)算法正是AI科研領(lǐng)域內(nèi)很多學(xué)者研究的重點(diǎn)。在最近的一次采訪中，深度學(xué)習(xí)大牛，ImageNet的創(chuàng)辦者李飛飛最近在a16z的podcast中也表示：“ 我的下一個(gè)夢想就是希望能教會機(jī)器人應(yīng)該怎么去學(xué)習(xí)，而不是模仿訓(xùn)練數(shù)據(jù)?！?/p>

　　如果AI真的具有了一種通用的學(xué)習(xí)能力，那我們該傳達(dá)給它們的就不應(yīng)該是更多的規(guī)則，而是一種新型的，對人類和機(jī)器都會有利的價(jià)值觀了，那可能又會是一種全新的方法和思路。這也是DeepMind的早期投資人Jaan Tallinn曾預(yù)言過的下一個(gè)極有潛力的AI相關(guān)領(lǐng)域： AI的價(jià)值觀對接研究(value-alignment research)