代碼之外，我們能在多大程度上信任人工智能呢

　　關(guān)于人工智能(AI)這個(gè)相當(dāng)過(guò)時(shí)的概念，最近引起了大量的討論。人工智能充斥著我們的生活，涉及了無(wú)數(shù)的應(yīng)用程序，從谷歌搜索，到Uber或Lyft打車軟件，到機(jī)票價(jià)格，到智能助手Alexa或Siri。對(duì)一些人來(lái)說(shuō)，人工智能是一種拯救，它會(huì)提高生活質(zhì)量，同時(shí)在眾多成熟的行業(yè)中注入創(chuàng)新元素。然而，另一些人則發(fā)出了可怕的警告：我們很快就會(huì)完全被高超的機(jī)器智能所征服。人工智能是典型的軟件主導(dǎo)，而軟件是容易出現(xiàn)漏洞的?？紤]到這一點(diǎn)，我們?nèi)绾沃廊斯ぶ悄鼙旧硎亲銐蚩煽咳ネ瓿晒ぷ鞯?或者更確切地說(shuō)，我們對(duì)于人工智能的成果能夠信任到什么程度?

　　盲目信任的風(fēng)險(xiǎn)

　　我們來(lái)討論一下自動(dòng)駕駛汽車。汽車自動(dòng)駕駛系統(tǒng)的發(fā)展中，人工智能的元素發(fā)揮了很大的作用。現(xiàn)在制造出了大部分時(shí)間都遵守道路規(guī)則的車輛。這里有一個(gè)案例，一輛自動(dòng)駕駛汽車在佛羅里達(dá)州側(cè)面撞上一輛轉(zhuǎn)彎的卡車，導(dǎo)致“司機(jī)”死亡。這起事故最終被歸咎于“司機(jī)”的失誤，因?yàn)樽詣?dòng)控制裝置被認(rèn)為是在他們的設(shè)計(jì)范圍內(nèi)運(yùn)行的。當(dāng)時(shí)的躲避系統(tǒng)設(shè)計(jì)要求雷達(dá)和視覺(jué)系統(tǒng)的結(jié)果達(dá)成一致后做出閃避的動(dòng)作。

　　然而，有證據(jù)表明，白色卡車在明亮的陽(yáng)光下轉(zhuǎn)彎時(shí)造成眩光晃到了這輛車的視覺(jué)系統(tǒng)。于是這個(gè)系統(tǒng)既沒(méi)有察覺(jué)到，也沒(méi)有對(duì)即將到來(lái)的危險(xiǎn)做出反應(yīng)。并且，在這次事故中，還有其他證據(jù)表明，當(dāng)時(shí)“司機(jī)”正在看《哈利波特》電影。這名“司機(jī)”顯然對(duì)自動(dòng)駕駛系統(tǒng)過(guò)于自信，并沒(méi)有對(duì)其行為進(jìn)行積極的監(jiān)控，也沒(méi)能發(fā)現(xiàn)它的漏洞，盡管估計(jì)有7秒鐘的可以讓他預(yù)見(jiàn)到風(fēng)險(xiǎn)的時(shí)間。

　　設(shè)計(jì)的保護(hù)等級(jí)已經(jīng)確定，但司機(jī)沒(méi)有意識(shí)到他的自動(dòng)駕駛儀仍然需要他全神貫注的注意力。在這種罕見(jiàn)的情況下，對(duì)于人工智能系統(tǒng)的錯(cuò)誤信任引發(fā)了致命的結(jié)果。

　　建立信任的門檻

　　人工智能的發(fā)展確實(shí)令人印象深刻。美國(guó)國(guó)防部高級(jí)研究計(jì)劃局(DARPA)在2016年年底完成了“網(wǎng)絡(luò)大挑戰(zhàn)”(CGC)競(jìng)賽。CGC上，機(jī)器可以獨(dú)立地玩一種被稱為“奪旗必死”的實(shí)時(shí)黑客游戲。在這里，“旗幟”隱藏在代碼中，黑客的工作就是利用漏洞攻擊對(duì)手的“旗幟”。CGC為最成功的球隊(duì)提供了200萬(wàn)美元的獎(jiǎng)金。CGC最后一輪在一個(gè)普通的封閉網(wǎng)絡(luò)上，在沒(méi)有人為干預(yù)的情況下，七臺(tái)機(jī)器相互競(jìng)爭(zhēng)。這些機(jī)器必須識(shí)別對(duì)手系統(tǒng)中的漏洞，在自己的系統(tǒng)上進(jìn)行修復(fù)，并在對(duì)手的系統(tǒng)中利用這些漏洞來(lái)奪旗。卡內(nèi)基梅隆大學(xué)的Mayhem團(tuán)隊(duì)獲得勝利。

　　美國(guó)國(guó)防部高級(jí)研究規(guī)劃局信息創(chuàng)新辦公室主任John Launchbury將與CGC有關(guān)的人工智能的特征描述為手工制造的知識(shí)。這項(xiàng)技術(shù)從早期的專業(yè)系統(tǒng)中脫穎而出，對(duì)于現(xiàn)代人工智能的發(fā)展至關(guān)重要。在手工制造的知識(shí)中，系統(tǒng)根據(jù)復(fù)雜的、手動(dòng)定義的規(guī)則集進(jìn)行推理。這種人工智能具有推理能力，但在感知方面是有限的，它沒(méi)有學(xué)習(xí)和進(jìn)行抽象的能力。

　　在對(duì)于未來(lái)的推理型人工智能可以快速診斷和修復(fù)軟件漏洞這方面建立信心的同時(shí)，需要指出CGC是有范圍限制的。出于競(jìng)賽的目的，開源操作系統(tǒng)的擴(kuò)展被簡(jiǎn)化了，被植入的惡意軟件版本，相對(duì)于真實(shí)生活中的惡意軟件來(lái)說(shuō)，是大打折扣的。這就有意地減輕了開發(fā)負(fù)擔(dān)，為競(jìng)爭(zhēng)評(píng)估建立了統(tǒng)一的基礎(chǔ)，并降低了將競(jìng)爭(zhēng)對(duì)手的軟件不經(jīng)重大修改就發(fā)布到更大的聯(lián)網(wǎng)世界的風(fēng)險(xiǎn)。

　　在游戲中使用“卑鄙的手段”來(lái)?yè)魯?duì)手，是一個(gè)更黑暗的維度。盡管重新設(shè)計(jì)代碼以快速隔離和修復(fù)漏洞是好的，但將這些漏洞轉(zhuǎn)化為有效利用其他代碼的機(jī)會(huì)是另一回事。一些人擔(dān)心，如果這種能力得到釋放并失去控制，它可能會(huì)變成一種“超級(jí)代碼”——既規(guī)避了常見(jiàn)的漏洞，也能利用同樣的漏洞來(lái)控制他人的網(wǎng)絡(luò)，包括日益增長(zhǎng)和可能還很脆弱的物聯(lián)網(wǎng)。這種擔(dān)憂促使電子前沿基金會(huì)呼吁人工智能開發(fā)者“道德規(guī)范”，以限制推理系統(tǒng)在可信賴的狀態(tài)下執(zhí)行。

機(jī)器學(xué)習(xí)增加了信任的賭注

　　Launchbury把統(tǒng)計(jì)學(xué)習(xí)這個(gè)詞歸于他認(rèn)為的第二次浪潮。在這里，感知和學(xué)習(xí)能力很強(qiáng)，但這項(xiàng)技術(shù)缺乏執(zhí)行推理和抽象的能力。雖然統(tǒng)計(jì)數(shù)據(jù)令人印象深刻，但機(jī)器學(xué)習(xí)會(huì)周期性地產(chǎn)生不可靠的結(jié)果，通常表現(xiàn)為奇怪的異常值。隨著時(shí)間的推移，機(jī)器學(xué)習(xí)也會(huì)因受到污染的訓(xùn)練數(shù)據(jù)而出現(xiàn)偏差?？紤]到并非所有的人工智能學(xué)習(xí)都能產(chǎn)生可預(yù)測(cè)的結(jié)果，這導(dǎo)致了人工智能系統(tǒng)可能會(huì)以意想不到的方式出錯(cuò)。那么，有效地定義人工智能工具的信任等級(jí)就是個(gè)很大的障礙。

　　從本質(zhì)上講，人工智能是一種高階結(jié)構(gòu)。在實(shí)踐中，大量松散聯(lián)合的實(shí)踐和算法似乎構(gòu)成了大多數(shù)人工智能的組成部分——通?？缭皆S多局部領(lǐng)域。事實(shí)上，人工智能已經(jīng)遠(yuǎn)遠(yuǎn)超出了計(jì)算機(jī)科學(xué)的范疇，涵蓋了神經(jīng)科學(xué)、語(yǔ)言學(xué)、數(shù)學(xué)、統(tǒng)計(jì)學(xué)、物理學(xué)、心理學(xué)、生理學(xué)、網(wǎng)絡(luò)科學(xué)、倫理學(xué)等領(lǐng)域。

　　為了實(shí)現(xiàn)機(jī)器學(xué)習(xí)的某種狀態(tài)，有大量的潛在算法和方法存在，這就帶來(lái)了一些嚴(yán)重的信任問(wèn)題，特別是對(duì)于那些為了確保信任等級(jí)而參與軟件測(cè)試的人來(lái)說(shuō)。當(dāng)人工智能與任務(wù)臨界狀態(tài)相關(guān)時(shí)，就像越來(lái)越多的情況一樣，測(cè)試人員必須為多個(gè)因素建立基礎(chǔ)，例如程序一致性、可重復(fù)性、穿透性、應(yīng)用路徑跟蹤，或可識(shí)別的系統(tǒng)故障模式。

　　關(guān)于什么是最合適的人工智能算法這個(gè)關(guān)鍵問(wèn)題的歷史，可以追溯到1976年。人工智能從業(yè)者都面臨著一個(gè)復(fù)雜的問(wèn)題，那就是如何使用合適的算法來(lái)適應(yīng)所需的人工智能設(shè)計(jì)。給定一個(gè)預(yù)期結(jié)果，那么，哪種算法最準(zhǔn)確?哪一種效率最高?在預(yù)期的環(huán)境中，哪一種最容易實(shí)現(xiàn)?哪一種隨時(shí)間擁有最大的潛力?哪些是最熟悉、最有可能讓用戶參與其中的?設(shè)計(jì)是基于某種集中式還是分布式代理、或者是集群軟件代理?這一切要怎么進(jìn)行測(cè)試呢?

　　這些問(wèn)題表明，在各種與人工智能相關(guān)的算法和技術(shù)之間存在必要的設(shè)計(jì)權(quán)衡。這么多人工智能可替代方法的存在表明，大多數(shù)人工智能架構(gòu)都遠(yuǎn)非那么一致或有凝聚力。更糟糕的是，對(duì)于推理和學(xué)習(xí)系統(tǒng)來(lái)說(shuō)哦，它們都需要高度的基于上下文的個(gè)性化。當(dāng)然，這也是在說(shuō)人工智能測(cè)試，因?yàn)槊恳环N算法和它的個(gè)性化實(shí)現(xiàn)都會(huì)帶來(lái)獨(dú)特的深度測(cè)試的挑戰(zhàn)，即使是在單元級(jí)別。

　　一個(gè)高級(jí)人工智能測(cè)試評(píng)估了正確識(shí)別和分類圖像的能力。在某些情況下，這項(xiàng)測(cè)試已經(jīng)超越了人類做出此類評(píng)估的能力。例如，在人面數(shù)據(jù)庫(kù)(LFW)中的數(shù)據(jù)集用13000張圖片支持人臉識(shí)別技術(shù)的訓(xùn)練，并使用用神經(jīng)網(wǎng)絡(luò)或深度學(xué)習(xí)來(lái)校準(zhǔn)面部識(shí)別機(jī)器學(xué)習(xí)工具。新的自動(dòng)化人工智能圖像識(shí)別工具可以使用這個(gè)數(shù)據(jù)表在統(tǒng)計(jì)學(xué)上超越人類的面部識(shí)別能力。然而，眼前的任務(wù)本質(zhì)上是感性的。這些任務(wù)通過(guò)數(shù)學(xué)上相關(guān)的幾何圖形來(lái)區(qū)分，但沒(méi)有任何形式的高階認(rèn)知推理。此外，盡管它將選擇性識(shí)別的準(zhǔn)確率與人類能力進(jìn)行了比較，但在這個(gè)測(cè)試中，底層代碼基礎(chǔ)的其他關(guān)鍵任務(wù)方面仍未得到檢測(cè)。

　　代碼之外

　　機(jī)器學(xué)習(xí)的測(cè)試變得更加復(fù)雜，因?yàn)樵趯W(xué)習(xí)環(huán)境中需要大量的數(shù)據(jù)集來(lái)“訓(xùn)練”人工智能。不僅人工智能應(yīng)該被證明是無(wú)懈可擊的，在訓(xùn)練中使用的數(shù)據(jù)理論上也應(yīng)該具有最高的質(zhì)量。然而，在現(xiàn)實(shí)世界中，數(shù)據(jù)集往往是不平衡的、稀少的、不連貫的，而且往往是不準(zhǔn)確的。下面的圖片表明，信息經(jīng)常是由解決歧義得到的。即使在受控條件下，使用單個(gè)或多個(gè)經(jīng)過(guò)驗(yàn)證的數(shù)據(jù)集來(lái)訓(xùn)練和測(cè)試分類器也會(huì)產(chǎn)生顯著的差異。因此，即使是對(duì)分類器的受控測(cè)試也會(huì)變得非常復(fù)雜，必須仔細(xì)研究。

　　其他與信任相關(guān)的因素遠(yuǎn)遠(yuǎn)超出了代碼的范圍。因?yàn)榫幊碳仁且环N創(chuàng)造性行為，又是一種句法科學(xué)，因此它需要一定程度的翻譯解釋。程序員可以將有意的或無(wú)意的文化或個(gè)人偏見(jiàn)注入到產(chǎn)生的人工智能代碼中。考慮一下程序員的情況，他們創(chuàng)造了一種非常精確的面部識(shí)別程序，但忽略了皮膚色素沉著是識(shí)別標(biāo)準(zhǔn)中的一個(gè)決定性因素。這一動(dòng)作會(huì)使結(jié)果偏離原本由皮膚顏色強(qiáng)化的功能。相反，罪犯的再犯率扭曲了一些以美國(guó)為基地的監(jiān)獄釋放決定。這意味著，一些在押人員比其他人更有機(jī)會(huì)得到提前釋放的數(shù)據(jù)——而無(wú)視了普遍的情況。語(yǔ)義上的不一致性可能會(huì)進(jìn)一步危害人工智能代碼的中立性，尤其是在涉及自然語(yǔ)言處理或慣用語(yǔ)音識(shí)別的情況下。

　　一些人認(rèn)為，所有的IT從業(yè)者都是網(wǎng)絡(luò)安全從業(yè)者。這也對(duì)人工智能的發(fā)展和實(shí)施產(chǎn)生了巨大的影響。從網(wǎng)絡(luò)安全的角度來(lái)看，“誰(shuí)知道機(jī)器知道什么、機(jī)器是什么時(shí)候知道的?”的問(wèn)題就變得尤為重要。機(jī)器學(xué)習(xí)的東西往往不是很容易被觀察到的，而是被深度編碼的。這不僅會(huì)影響新入網(wǎng)的數(shù)據(jù)，而且——在物聯(lián)網(wǎng)中——這些數(shù)據(jù)會(huì)讓執(zhí)行器觸發(fā)激活器，從而將“學(xué)習(xí)”轉(zhuǎn)化為某種行為。由于缺乏具體的刺激身份和出身，整個(gè)人工智能引發(fā)的物聯(lián)網(wǎng)刺激反應(yīng)機(jī)制也變得同樣不確定。在任務(wù)關(guān)鍵型系統(tǒng)中產(chǎn)生的行為需要嚴(yán)格的驗(yàn)證。

　　第三次浪潮

　　Launchbury預(yù)言了一個(gè)尚未完善的人工智能第三次浪潮，他將其命名為“語(yǔ)境適應(yīng)”。這項(xiàng)技術(shù)需要更多的工作，將感知、學(xué)習(xí)和推理的優(yōu)勢(shì)集中在一起，并支持跨領(lǐng)域抽象的更高水平。

　　2017年5月，年度本體峰會(huì)被命名為“人工智能、學(xué)習(xí)、推理和本體”。印證了Launchbury的觀察，峰會(huì)公報(bào)草案得出結(jié)論說(shuō)，到目前為止，大多數(shù)人工智能方法，包括機(jī)器學(xué)習(xí)工具和使用的計(jì)算技術(shù)都是在運(yùn)用計(jì)算技術(shù)的亞符號(hào)水平上運(yùn)行，是不接近人類思維的。盡管在許多形式的人工智能中已經(jīng)取得了巨大的進(jìn)步，但在象征層面上對(duì)知識(shí)表現(xiàn)的全面處理還有待于成熟。相應(yīng)地，本體作為正式的語(yǔ)義組織工具的實(shí)用性，對(duì)人工智能及其最終測(cè)試環(huán)境的優(yōu)勢(shì)有限。

　　語(yǔ)義網(wǎng)絡(luò)涉及到以節(jié)點(diǎn)和弧的圖形形式來(lái)表現(xiàn)知識(shí)。它提供了一種理解和視覺(jué)化符號(hào)之間關(guān)系的方式，通常用積極的詞語(yǔ)來(lái)表示。在不同的上下文語(yǔ)境中，這些詞表達(dá)不同的意思。人工智能在很大程度上是象征性的，它需要以一種更加正式的方式來(lái)處理應(yīng)用語(yǔ)義，以實(shí)現(xiàn)第三浪潮的狀態(tài)。在這種情況下，人工智能就變成了非線性的，因果關(guān)系通過(guò)多個(gè)執(zhí)行線程逐漸解耦。這就導(dǎo)致了復(fù)雜的自適應(yīng)系統(tǒng)(CAS)的建立，這種系統(tǒng)往往會(huì)受到非線性網(wǎng)絡(luò)行為的影響。

　　在CAS中，隨著時(shí)間的推移，新的行為會(huì)基于環(huán)境的情況出現(xiàn)。在這里，可以有多個(gè)自組織的路徑通向成功或失敗，所有這些路徑都是由高度多樣化的節(jié)點(diǎn)和弧線所觸發(fā)的，這些節(jié)點(diǎn)和弧線可以隨著時(shí)間的推移而變化、增長(zhǎng)、收縮和消失。這種網(wǎng)絡(luò)在使用嵌入式軟件時(shí)，違背了傳統(tǒng)的遞歸單元測(cè)試，而這與數(shù)據(jù)是相關(guān)聯(lián)的。這是因?yàn)?，在CAS中，整體往往不僅僅是各部分的總和。相反，從應(yīng)用網(wǎng)絡(luò)科學(xué)出現(xiàn)的新方法，提供了一種更好的方法來(lái)評(píng)估隨時(shí)間推移而出現(xiàn)的動(dòng)態(tài)人工智能行為。與圖論相關(guān)的時(shí)間指標(biāo)逐漸被更好地理解為一種描述動(dòng)態(tài)行為的方法，這些動(dòng)態(tài)行為是一些未能遵循線性路徑來(lái)達(dá)到預(yù)期效果的行為。

　　除非采用可靠的方法來(lái)評(píng)估人工智能的信任程度，不然喊口號(hào)就必須謹(jǐn)慎。對(duì)于尚不那么可靠的技術(shù)，如果盲目信任則有可能會(huì)造成誤導(dǎo)，有時(shí)甚至?xí)?dǎo)致危險(xiǎn)的結(jié)果。