谷歌 Transformer 八子全部「出逃」，他們創(chuàng)作了 ChatGPT 中的「T」

谷歌人工智能領(lǐng)域最有影響力的論文之一《Attention Is All You Need》的共同作者之一的人工智能研究員 Llion Jones 證實(shí)，他將于本月晚些時(shí)候離開谷歌日本公司并計(jì)劃在休假后創(chuàng)辦一家公司。

Llion Jones 對(duì)媒體表示："離開谷歌并不是一個(gè)容易的決定，與谷歌一起度過了美妙的十年，但現(xiàn)在是時(shí)候嘗試一些不同的東西了。考慮到人工智能的發(fā)展勢(shì)頭和進(jìn)展，我覺得現(xiàn)在也是建立新公司的好時(shí)機(jī)"。

自 2017 年出版以來，《Attention Is All You Need》轟動(dòng)硅谷。該論文介紹了 Transformer 的概念，這種系統(tǒng)可以幫助人工智能模型將其正在分析的數(shù)據(jù)中最重要的信息歸零。Transformer 現(xiàn)在是大型語言模型的關(guān)鍵構(gòu)建塊，該技術(shù)是 OpenAI 的 ChatGPT 等流行人工智能產(chǎn)品的基礎(chǔ)。

隨著 Llion Jones 的離開，這篇論文所有八位作者都已離開谷歌。

人們也許不認(rèn)識(shí)他們的臉，或者沒聽過他的名字，但只需要 5 秒鐘，就可以介紹他們的身份——「他們創(chuàng)作了 ChatGPT 中的「T」。

谷歌為何失去「Transformer 八子」

Transfomer 是谷歌最重要的發(fā)明之一，它最初是在午餐時(shí)設(shè)計(jì)出來的。2017 年，Alphabet 公司加利福尼亞山景城總部的研究人員在中午用餐時(shí)談?wù)撊绾巫層?jì)算機(jī)更高效地生成文本。在接下來的 5 個(gè)月里，他們進(jìn)行了實(shí)驗(yàn)，并在沒有意識(shí)到他們所發(fā)現(xiàn)的問題的重要性的情況下，將他們的發(fā)現(xiàn)寫成了一篇名為《Attention is All You Need》的研究論文。

隨后，他們帶來了人工智能的飛躍。

這篇論文的八位作者創(chuàng)建了 Transformer 系統(tǒng)，使機(jī)器能夠比以往任何時(shí)候都更高效地生成類似人類的文本、圖像、DNA 序列和許多其他類型的數(shù)據(jù)。他們的論文最終被其他研究人員引用了 8 萬多次，他們?cè)O(shè)計(jì)的人工智能架構(gòu)為 OpenAI 的 ChatGPT（"T "代表 Transformer）、Midjourney 等圖像生成工具提供了基礎(chǔ)。

谷歌與全世界分享了這一發(fā)現(xiàn)，科技公司經(jīng)常開源新技術(shù)，以獲得反饋、吸引人才和建立支持者社區(qū)。

但谷歌本身并沒有立即使用這項(xiàng)新技術(shù)。在谷歌努力將其尖端研究成果轉(zhuǎn)化為可用服務(wù)的過程中，該系統(tǒng)處于相對(duì)休眠狀態(tài)長達(dá)數(shù)年之久。但另一家公司 OpenAI，它利用了谷歌的發(fā)明，對(duì)這家搜索巨頭發(fā)起了多年來最嚴(yán)重的威脅。

谷歌哪里出了問題？

一個(gè)明顯的問題是規(guī)模。根據(jù)人工智能公司 Glass.ai 的估計(jì)，谷歌擁有一支由 7,133 名員工組成的隊(duì)伍，而其員工總數(shù)約為 140,000 人。Glass.ai 今年早些時(shí)候掃描了 LinkedIn 的個(gè)人資料，以識(shí)別大型科技公司的人工智能員工。相比之下，OpenAI 引發(fā)了一場 AI 軍備競賽，其員工規(guī)模要小得多——到 2023 年，大約 375 名員工中約有 150 名 AI 研究人員。

谷歌的龐大規(guī)模意味著科學(xué)家和工程師在創(chuàng)建 Transformer 時(shí)必須經(jīng)過多層管理才能批準(zhǔn)想法。谷歌智庫（該公司主要人工智能部門之一）的研究人員也缺乏明確的戰(zhàn)略方向，導(dǎo)致許多人沉迷于職業(yè)發(fā)展和研究論文的知名度。

另一個(gè)問題在于，將創(chuàng)意轉(zhuǎn)化為新產(chǎn)品的門檻也非常高。25 歲的伊利亞·波洛蘇欣 (Illia Polosukhin) 第一次與研究員同事阿什什·瓦斯瓦尼 (Ashish Vaswani) 和雅各布·烏茲科雷特 (Jakob Uszkoreit) 在谷歌食堂坐下來時(shí)說道，「除非（一個(gè)想法）能成為一項(xiàng)價(jià)值十億美元的業(yè)務(wù)，否則谷歌不會(huì)采取行動(dòng)?！?但建立一個(gè)價(jià)值十億美元的業(yè)務(wù)需要不斷的迭代和面對(duì)大量問題，這是谷歌并不總是容忍的。

谷歌的一位女發(fā)言人表示，該公司 "為我們?cè)?Transformer 的行業(yè)定義性、突破性工作感到自豪，并為它所創(chuàng)造的人工智能生態(tài)系統(tǒng)而感到振奮，包括讓我們的研究員在谷歌公司外推進(jìn)他們的研究與其他人合作并且發(fā)現(xiàn)新機(jī)會(huì)。"

德語流利的 Uszkoreit 注意到，這項(xiàng)新技術(shù)可以比谷歌翻譯更準(zhǔn)確地將英語翻譯成德語。但谷歌本身花了很長時(shí)間才將該技術(shù)應(yīng)用到其免費(fèi)翻譯工具或其語言模型 BERT 中，而且該公司從未將其部署在任何人都可以測(cè)試的聊天機(jī)器人中。也就是說，直到 2022 年底 ChatGPT 的推出才迫使谷歌在 2023 年 3 月迅速發(fā)布了 Bard。

多年來，這些研究員們見證了他們的想法被其他人應(yīng)用到一系列任務(wù)中，從 OpenAI 的 ChatGPT 早期迭代到 DALL-E，從 Midjourney 的圖像工具到 DeepMind 的蛋白質(zhì)折疊系統(tǒng) AlphaFold。很難不注意到最令人興奮的創(chuàng)新發(fā)生在山景城之外。

在某種程度上，谷歌成為了自身成功的受害者。它的隊(duì)伍中有像 Geoffrey Hinton 這樣的傳奇人工智能科學(xué)家，并且在 2017 年就已經(jīng)在使用尖端的人工智能技術(shù)來處理文本。許多研究人員的心態(tài)是「如果它沒有壞，就不要修理它?！?/p>

價(jià)值 40 億美元的 AI 巨星們

共同撰寫 2017 年論文的研究人員離開谷歌后，他們繼續(xù)創(chuàng)辦創(chuàng)業(yè)公司，包括生產(chǎn)企業(yè)軟件的 Cohere，以及由 Noam Shazeer 創(chuàng)辦的 Character.ai，Noam Shazeer 是該小組中在谷歌任職時(shí)間最長的人，曾被視為公司的人工智能傳奇人物。

根據(jù)研究公司 Pitchbook 和價(jià)格追蹤網(wǎng)站 CoinMarketCap 的估值統(tǒng)計(jì)，他們的企業(yè)總價(jià)值約為 41 億美元。可以說，他們是硅谷的人工智能的「貴族」。

八位作者在谷歌的工作時(shí)長

Polosukhin 此后創(chuàng)辦了一家區(qū)塊鏈公司。Vaswani 和 Niki Parmar 創(chuàng)辦了企業(yè)軟件公司 Essential.ai。Uszkoreit 喜歡挑戰(zhàn)人工智能研究的現(xiàn)狀——他的觀點(diǎn)是，如果它還沒有被打破，那就打破它，此后他與他人共同創(chuàng)立了一家名為 Inceptive Nucleics 的生物技術(shù)公司。

2016 年，Uszkoreit 探索了人工智能中「注意力」的概念，即計(jì)算機(jī)區(qū)分?jǐn)?shù)據(jù)集中最重要的信息。一年后的午餐時(shí)，三人討論了如何利用這個(gè)想法來更有效地翻譯單詞。當(dāng)時(shí)的谷歌翻譯很笨拙，尤其是對(duì)于非拉丁語言?！笣h語轉(zhuǎn)俄語太糟糕了，」Polosukhin 回憶道。

其中一個(gè)問題在于循環(huán)神經(jīng)網(wǎng)絡(luò)處理序列中的單詞。它很慢并且沒有充分利用可以同時(shí)處理大量任務(wù)的芯片。家用計(jì)算機(jī)中的 CPU 可能有四個(gè)「核心」，用于處理和執(zhí)行指令，但用于處理人工智能系統(tǒng)的服務(wù)器中的 CPU 有數(shù)千個(gè)核心。這意味著人工智能模型可以同時(shí)「讀取」句子中的許多單詞。沒有人充分利用這一點(diǎn)。

Uszkoreit 會(huì)在 Google 辦公室里走來走去，在白板上畫出新架構(gòu)的圖表，并且經(jīng)常遭到懷疑。瓊斯說，他的團(tuán)隊(duì)希望刪除當(dāng)時(shí)使用的循環(huán)神經(jīng)網(wǎng)絡(luò)中的「循環(huán)」部分，這「聽起來很瘋狂」。但隨著 Parmar, Aidan Gomez 和 Lukasz Kaiser 等其他一些研究人員加入該小組，他們開始看到進(jìn)展。

曾經(jīng)，硅谷「八叛逆」改變了集成電路的歷史，如今谷歌的「八叛逆」會(huì)給世界帶來怎樣的變化？