人臉識別出錯導致無辜路人被捕，但被AI冤枉過的可能不只他一個

　　美國一名男子被 AI 列為一起盜竊案的嫌疑人。盡管調(diào)查報告明確指出，人臉識別匹配只能作為調(diào)查線索，不是明確證據(jù)，當?shù)鼐饺匀粚⑺?。這是已知的第一宗在美國發(fā)生的同類案件，但他可能未必是第一個被冤枉的人。

圖片來源：Sarah Grillo / Axios

　　對于威廉姆斯（Robert Julian-Borchak Williams）來說，今年 1 月糟糕的部分不只有新冠疫情的出現(xiàn)，還有一通來自警察局的電話。

　　那通電話的到來，讓這位非裔美國人成為目前被公開的第一位被機器錯誤定罪的無辜者。

一通意外的電話

　　威廉姆斯是密歇根州底特律的一名上班族。2020 年 1 月某個周四下午，正在公司上班的他接到了底特律警察局的電話，并被要求投案自首。

　　剛開始他對電話的內(nèi)容不以為然，直到接到電話的一小時后，他在住宅區(qū)的車道上被一輛警車截停。在妻子和兩個年幼的女兒面前，兩名警察對他戴上手銬，沒有說明為什么逮捕他，只是出示了一張有他照片的并寫有“盜竊罪”的“重罪逮捕令”。

威廉姆斯（Robert Julian-Borchak Williams），本文主人公 圖片出處：美國民權自由聯(lián)盟，ACLU

　　隨后，威廉姆斯經(jīng)歷的便是對待“盜竊犯”的例行流程：在拘留中心拍了嫌疑犯照片，被提取了指紋和 DNA，并拘留一晚。

　　在審訊室，兩名警探向他詢問起 Shinola 商店被盜的事情，威廉姆斯才知道發(fā)生了什么。

　　Shinola 是當?shù)氐囊患腋邫n精品店，銷售手表、自行車和皮革制品。2018 年 10 月，該店 5 只價值 3800 美元的手表被盜。

　　審訊中，警探拿出一張監(jiān)控視頻的截圖，顯示一名身材魁梧的男子站在一塊手表前，身穿黑色衣服，頭戴圣路易斯紅雀隊的紅色帽子。警察懷疑，威廉姆斯就是照片中的犯罪嫌疑人。

　　“這是你嗎？”警察問。

　　“這不是我。你以為所有的黑人都長得一樣嗎？”威廉姆斯說。

　　威廉姆斯承認，2014 年這家店剛開張時，他和妻子去過此地，但威廉姆斯知道自己沒有盜竊?？傻滋芈删炀值?a class="contentlabel" href="http://www.ex-cimer.com/news/listbylabel/label/人臉識別">人臉識別算法并不這么認為。在威廉姆斯這起案子中，正是人臉識別算法將他與 Shinola 的盜竊案聯(lián)系到了一起。

“西海岸頭號人臉識別  供應商”浮出水面

　　公開報道顯示，底特律的警察部門已有數(shù)十年的人臉管理系統(tǒng)使用歷史。

　　而且，不止底特律警察局，整個密歇根州警方都在使用人臉識別技術，由一家名為 DataWorks Plus 的公司提供。

　　這家公司成立于 2000 年，本身并不直接開發(fā)面部識別軟件，而是為執(zhí)法機構開發(fā)自定義工具和系統(tǒng)，例如可用于分析警方數(shù)據(jù)（比如面部識別和指紋匹配）的工具。罪犯面部數(shù)據(jù)庫“加州面部識別互聯(lián)”（California Facial Recognition Interconnect）是這家公司的標志性產(chǎn)品之一。

　　2005 年，DataWorks Plus 開始擴展產(chǎn)品，增加了外部供應商開發(fā)的面部識別組件，主要來自于 NEC、Rank One 和 Cognitec 三家公司（前兩家是密歇根州使用的人臉識別算法技術供應商），其在美國執(zhí)法系統(tǒng)中的市場份額進一步擴大，業(yè)內(nèi)還稱其為“西海岸頭號人臉識別供應商”。

　　當外部供應商開發(fā)出一種識別人臉的算法時，DataWorks Plus 會嘗試通過識別系統(tǒng)已知的低質(zhì)量人物圖像來判斷其有效性。然而，他們并不會系統(tǒng)地衡量其中的準確性或偏差。

　　更糟糕的是，這些供應商的人臉識別算法也并不穩(wěn)定。2019年，NEC、Rank One 的算法曾被納入一項針對 100 多個面部識別系統(tǒng)的聯(lián)邦研究中，結果發(fā)現(xiàn)其存在一定程度的算法偏見——識別非裔美國人和亞洲人面部的錯誤率是白種人的 10 倍至 100 倍。隨后，Rank One 的首席執(zhí)行官 Brendan Klare 表示，公司又開發(fā)了一種新算法， “縮小了不同人群之間的準確性差異?！?/p>

　　但在威廉姆斯這起案件中，效果并非如此。

　　首先來看犯罪者的人臉數(shù)據(jù)是怎么來的：Shinola 商店被盜事件發(fā)生后，防損公司 Mackinac Partners 的調(diào)查員 Katherine Johnston 調(diào)取了商店的監(jiān)控錄像，并向底特律警方發(fā)送了副本。五個月后，即 2019 年 3 月，密歇根州警察局的數(shù)字圖像檢查員 Jennifer Coulson 將錄像視頻中截取的靜止圖像上傳至 DataWorks Plus 人臉識別數(shù)據(jù)庫。

　　Coulson 對圖像進行搜索之后，系統(tǒng)給出了一組生成的圖像和一組匹配度最高的圖像以及匹配度得分。這些圖像中就有威廉姆斯的駕照照片。她將其作為“調(diào)查線索報告”發(fā)送給了底特律警察。

　　重點是，該文件頂部用明確寫道：“該文件不是明確證據(jù)，僅是調(diào)查線索，不能因此逮捕人員?！?/p>

“該文件不是明確證據(jù)，僅是調(diào)查線索，不能因此逮捕人員?！?nbsp;圖片出處：美國民權自由聯(lián)盟，ACLU

　　這也是技術供應商和執(zhí)法人員在捍衛(wèi)人臉識別算法時始終強調(diào)的一點：這僅是該案的一個線索，而不是強力證據(jù)。警察在逮捕威廉姆斯之前，調(diào)查人員需要找到其他證據(jù)證明他犯了盜竊罪，例如目擊者的證詞，手機中的位置數(shù)據(jù)或證明他擁有犯罪嫌疑人衣物的證據(jù)。

　　令人遺憾的是，根據(jù)底特律警方的報告，調(diào)查人員并沒有這么做。

　　他們只是將威廉姆斯的照片和其他 6 張生成的照片交給 Johnston 指認。Johnston 指認了威廉姆斯。

　　據(jù)威廉姆斯回憶，當他在審訊室把監(jiān)控錄像拿穩(wěn)放在臉旁后，兩名警探還彼此對視了一下，其中一名警探似乎很懊惱，對搭檔說：“我想是機器搞錯了?！倍髢扇擞址_ Shinola 商店里出現(xiàn)的男子照片，這張照片就擺在威廉姆斯駕照的旁邊。威廉姆斯再次指出，他們不是同一個人。

　　威廉姆斯一直被拘留到周五晚上，被捕后 30 小時，他以 1，000 美元的個人保證金獲釋。

　　隨后，威廉姆斯一家聯(lián)系了辯護律師，然而，大多數(shù)辯護律師都認為威廉姆斯犯了罪行，并報價約 7，000 美元才肯為其辯護。威廉姆斯的妻子在密歇根州的美國公民自由聯(lián)盟發(fā)了推文，才引起了大范圍的關注。

　　美國公民自由聯(lián)盟律師 Phil Mayor 表示：“我們一直在努力敲響人臉識別的警鐘，它如果能夠正常工作也會威脅隱私，而一旦犯了錯誤則涉及種族歧視。這些事情總在發(fā)生，只是我們沒有獲知，因為人們通常不會意識到，自己是糟糕的人臉識別技術的受害者?！?/p>

　　該聯(lián)盟指出，威廉姆斯是第一宗已知道的在美國發(fā)生的同類案件，但威廉斯可能未必是第一個被冤枉的人。許多人都不知道執(zhí)法人員利用這種技術查案，會無端把他們列作偵查目標。

圖片來源：Alex Castro / The Verge

誰應該為算法偏見負責？

　　最終，威廉姆斯被證明清白，因為底特律警方核實了他的不在場證明。

　　但案件的影響仍在持續(xù)。這起案件演示了，技術之缺陷和不合格的執(zhí)法工作帶來的糟糕后果。

　　正如威廉姆斯在《華盛頓郵報》撰文講述自己的經(jīng)歷時所寫：“我從未想過要向女兒解釋為何她們的爸爸會被警察拘捕。我怎樣向她們說，這是因為電腦出錯，但警方仍然只是相信電腦？”

　　在美國，民眾關于執(zhí)法中存在種族主義的爭論本來就長期存在：抗議者不僅在抗議個人官員的行為，還在抗議用來監(jiān)視社區(qū)和識別犯罪嫌疑人的人臉識別系統(tǒng)存在的種族偏見。

　　MIT 和美國國家標準技術研究院（NIST）的研究已證實，現(xiàn)有的人臉識別算法在識別白人上表現(xiàn)相對較好，但對于其他種族人群而言準確性較差，部分原因是其缺乏多樣性數(shù)據(jù)庫。

　　或許是因為考慮到這一點，去年年底以來，包括亞馬遜、微軟和 IBM 在內(nèi)的不少硅谷巨頭紛紛宣布，將停止或暫停為執(zhí)法部門提供面部識別服務。

　　然而，這些舉動真的能扭潮水的方向嗎？

　　一方面在于，人臉識別其實并不是這幾家公司的主營業(yè)務，另一方面，這些聲明很大程度上也只是象征性的。事實上，美國執(zhí)法部門使用的人臉識別技術往往是由一些不那么家喻戶曉的公司提供的，比如 Vigilant Solutions、Cognitec、NEC、Rank One Computing 和 Clearview AI 等。只要有需求，總有人會做這筆生意。

　　喬治敦大學隱私與技術中心的律師 Clare Garvie 曾發(fā)表過一篇有關政府使用人臉識別系統(tǒng)的文章，她在文章中強調(diào)，應禁止使用低質(zhì)量的圖像搜索系統(tǒng)（例如顆粒感強的低精度監(jiān)控視頻中截取的靜止圖像），并且應對當前投入使用的系統(tǒng)進行嚴格的準確性和偏差測試。她說：“人臉識別算法有好有壞，執(zhí)法部門必須盡可能使用更好的算法。”

　　還有一個技術以外的疑問或許更難回答，那就是：當算法難以避免會出錯，應該向誰問責？

　　如果算法只是幫助我們更好的娛樂、工作，這個問題似乎不那么緊迫，可當算法被用到刑偵、醫(yī)療中時，AI 被用于給出錯誤的犯罪者線索、疾病診斷結果時，這是一個必須回答的問題。

　　關于這個問題，全球范圍內(nèi)的從業(yè)者仍在積極地討論之中，目前也形成了一些共識：首先是認識到 AI 的不可解釋性或?qū)㈤L期存在，通過解釋某個結果如何得出而實現(xiàn)算法的透明化，在技術上幾乎不具有實操性，也會極大地限制 AI 的應用；基于這一點，可以操作的空間是，在 AI 的行為和決策上盡可能有效透明，例如成立專門的第三方監(jiān)管機構、針對不同的場景分層次設置監(jiān)管等。

　　當然，這些大部分還是初步的討論，對于我們每一個個人來說，在這個關鍵決策愈發(fā)走向算法驅(qū)動的世界中，可以做到的就是保持學習和警惕。