曾經(jīng)大書特書，馬斯克為何最近不提特斯拉超算Dojo了

2月7日消息，多年來(lái)，埃隆·馬斯克（Elon Musk）一直在談?wù)?a class="contentlabel" href="http://www.ex-cimer.com/news/listbylabel/label/Dojo">Dojo——這臺(tái)將成為特斯拉人工智能戰(zhàn)略核心的超級(jí)計(jì)算機(jī)。Dojo的重要性不言而喻，2024年7月，馬斯克曾表示，公司AI團(tuán)隊(duì)將在10月機(jī)器人出租車發(fā)布前“加倍投入”Dojo，以加速其發(fā)展。

那么，Dojo究竟是什么？為什么它對(duì)特斯拉的長(zhǎng)期戰(zhàn)略如此關(guān)鍵？

簡(jiǎn)而言之，Dojo是特斯拉自主研發(fā)的超級(jí)計(jì)算機(jī)，專用于訓(xùn)練“完全自動(dòng)駕駛”（FSD）神經(jīng)網(wǎng)絡(luò)。增強(qiáng)Dojo的計(jì)算能力，是特斯拉實(shí)現(xiàn)完全自動(dòng)駕駛并推動(dòng)機(jī)器人出租車落地的重要一環(huán)。目前，已有數(shù)百萬(wàn)輛特斯拉汽車搭載FSD，能夠執(zhí)行部分自動(dòng)駕駛任務(wù)，但仍然需要駕駛員全程保持注意力。

特斯拉已發(fā)布Cybercab機(jī)器人出租車，并計(jì)劃于今年6月在奧斯汀推出自有車隊(duì)的自動(dòng)叫車服務(wù)。此外，公司在2024年第四季度財(cái)報(bào)電話會(huì)議上表示，計(jì)劃于2025年在美國(guó)推出無(wú)人監(jiān)管的FSD服務(wù)。

馬斯克曾強(qiáng)調(diào)，Dojo是實(shí)現(xiàn)完全自動(dòng)駕駛的關(guān)鍵。然而，如今特斯拉似乎已接近這一目標(biāo)，他卻對(duì)Dojo保持沉默。

自2024年8月起，業(yè)界的關(guān)注點(diǎn)已轉(zhuǎn)向Cortex——特斯拉在奧斯汀總部打造的全新AI訓(xùn)練超級(jí)集群，旨在解決現(xiàn)實(shí)世界的AI問(wèn)題。馬斯克表示，Cortex將具備“海量存儲(chǔ)能力”，專用于訓(xùn)練FSD和Optimus機(jī)器人。

在2024年第四季度股東會(huì)上，特斯拉更新了Cortex的進(jìn)展，卻未提及Dojo。特斯拉正大舉投資AI、Dojo和Cortex，以推進(jìn)汽車及人形機(jī)器人的自動(dòng)化?？紤]到電動(dòng)車市場(chǎng)競(jìng)爭(zhēng)日益激烈，特斯拉未來(lái)的成功很大程度上取決于其在AI領(lǐng)域的突破。因此，深入了解Dojo、Cortex及其發(fā)展現(xiàn)狀，變得尤為重要。

Dojo的背景

馬斯克的目標(biāo)遠(yuǎn)不止于造車，他希望特斯拉成為一家AI公司，通過(guò)模擬人類感知，破解自動(dòng)駕駛的核心難題。

目前，大多數(shù)自動(dòng)駕駛企業(yè)依賴多種傳感器（如激光雷達(dá)、雷達(dá)和攝像頭）及高精度地圖進(jìn)行定位，而特斯拉堅(jiān)持僅依靠攝像頭采集視覺(jué)數(shù)據(jù)，并通過(guò)神經(jīng)網(wǎng)絡(luò)進(jìn)行處理，從而實(shí)現(xiàn)自動(dòng)駕駛。

特斯拉前AI負(fù)責(zé)人安德烈·卡帕西（Andrej Karpathy）在2021年AI Day上曾表示，公司試圖“從零開始構(gòu)建一種合成動(dòng)物”。

相比之下，Alphabet旗下Waymo等公司已通過(guò)傳感器與機(jī)器學(xué)習(xí)的傳統(tǒng)方法，商業(yè)化L4級(jí)自動(dòng)駕駛汽車，可在特定條件下實(shí)現(xiàn)完全無(wú)人駕駛。但特斯拉至今尚未推出不需要駕駛員的自動(dòng)駕駛系統(tǒng)。

目前，約180萬(wàn)用戶支付8000至1.5萬(wàn)美元訂閱FSD。特斯拉計(jì)劃通過(guò)Dojo訓(xùn)練AI軟件，并以O(shè)TA（無(wú)線更新）方式推送至用戶車輛。特斯拉的大規(guī)模部署，使其積累了海量駕駛視頻數(shù)據(jù)，以訓(xùn)練FSD。公司的核心邏輯是：數(shù)據(jù)越多，越接近實(shí)現(xiàn)真正的完全自動(dòng)駕駛。

然而，一些行業(yè)專家對(duì)這種“數(shù)據(jù)驅(qū)動(dòng)”策略持懷疑態(tài)度。

普渡大學(xué)硅谷電子與計(jì)算機(jī)工程教授阿南德·拉格納坦（Anand Raghunathan）表示：“首先，經(jīng)濟(jì)成本會(huì)成為限制因素，訓(xùn)練過(guò)程很快會(huì)變得極其昂貴?！贝送猓赋?，“有些人認(rèn)為，我們可能會(huì)耗盡有價(jià)值的數(shù)據(jù)。更多數(shù)據(jù)不等于更多信息，關(guān)鍵在于這些數(shù)據(jù)是否真正有助于構(gòu)建更好的模型，以及訓(xùn)練過(guò)程能否有效提煉這些信息?！?/p>

盡管存在這些質(zhì)疑，短期內(nèi)數(shù)據(jù)驅(qū)動(dòng)的趨勢(shì)仍將持續(xù)。而數(shù)據(jù)的增長(zhǎng)意味著更高的計(jì)算需求，以存儲(chǔ)和處理這些信息，訓(xùn)練特斯拉的AI模型。這正是Dojo的用武之地。

什么是超級(jí)計(jì)算機(jī)？

Dojo是特斯拉專為人工智能訓(xùn)練打造的超級(jí)計(jì)算機(jī)系統(tǒng)，主要用于FSD神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。其名稱來(lái)源于武術(shù)練習(xí)場(chǎng)“道場(chǎng)”（Dojo），寓意其作為AI訓(xùn)練平臺(tái)的核心作用。

一臺(tái)超級(jí)計(jì)算機(jī)由成千上萬(wàn)個(gè)稱為“節(jié)點(diǎn)”（node）的小型計(jì)算機(jī)組成。每個(gè)節(jié)點(diǎn)都配備自己的中央處理器（CPU）和圖形處理器（GPU）。CPU負(fù)責(zé)整體管理，而GPU則處理高強(qiáng)度計(jì)算任務(wù)，例如將復(fù)雜運(yùn)算拆分成多個(gè)并行任務(wù)。GPU在機(jī)器學(xué)習(xí)領(lǐng)域至關(guān)重要，尤其是在FSD模擬訓(xùn)練中。它們同樣驅(qū)動(dòng)著大語(yǔ)言模型的發(fā)展，這也是為何生成式人工智能的崛起，使英偉達(dá)成為全球市值最高的科技公司之一。

即便特斯拉擁有自己的計(jì)算硬件，它仍然大量采購(gòu)英偉達(dá)的GPU來(lái)訓(xùn)練人工智能模型。

特斯拉為何需要超級(jí)計(jì)算機(jī)？

特斯拉采用“純視覺(jué)”方案進(jìn)行自動(dòng)駕駛，這正是其需要超級(jí)計(jì)算機(jī)的核心原因。FSD神經(jīng)網(wǎng)絡(luò)依賴海量駕駛數(shù)據(jù)進(jìn)行訓(xùn)練，以識(shí)別和分類道路上的物體，并作出駕駛決策。當(dāng)FSD激活時(shí)，神經(jīng)網(wǎng)絡(luò)需要持續(xù)實(shí)時(shí)收集和處理視覺(jué)數(shù)據(jù)，其處理速度必須與人類的視覺(jué)感知能力相匹配。

換句話說(shuō)，特斯拉希望打造一個(gè)數(shù)字化的“人類視覺(jué)皮層”及“大腦決策系統(tǒng)”。

要實(shí)現(xiàn)這一目標(biāo)，特斯拉必須存儲(chǔ)并處理從全球車輛收集的海量視頻數(shù)據(jù)，并運(yùn)行數(shù)百萬(wàn)次模擬訓(xùn)練AI模型。

目前，特斯拉依賴英偉達(dá)GPU支撐其Dojo計(jì)算系統(tǒng)，但它并不希望完全依賴第三方芯片，原因包括英偉達(dá)芯片成本高昂，以及特斯拉希望打造更高效、低延遲的計(jì)算系統(tǒng)。因此，公司AI團(tuán)隊(duì)決定開發(fā)自研硬件，以比傳統(tǒng)系統(tǒng)更高效地訓(xùn)練AI模型。

這一計(jì)劃的核心，是特斯拉自主研發(fā)的D1芯片，專為AI計(jì)算優(yōu)化。

特斯拉D1芯片：Dojo的計(jì)算核心

特斯拉秉持與蘋果類似的理念，認(rèn)為軟硬件應(yīng)協(xié)同設(shè)計(jì)，以提升整體性能。因此，特斯拉致力于擺脫對(duì)標(biāo)準(zhǔn)GPU硬件的依賴，轉(zhuǎn)而開發(fā)自家芯片來(lái)驅(qū)動(dòng)Dojo。

2021年，在特斯拉AI Day上，公司發(fā)布了D1芯片——一塊手掌大小的硅芯片。D1芯片由臺(tái)積電（TSMC）采用7納米工藝制造。據(jù)特斯拉介紹，該芯片擁有500億個(gè)晶體管，芯片面積達(dá)645平方毫米，專為高效計(jì)算和快速處理復(fù)雜任務(wù)而設(shè)計(jì)。

“我們能夠同時(shí)進(jìn)行計(jì)算和數(shù)據(jù)傳輸，我們自研的指令集架構(gòu)（ISA）完全針對(duì)機(jī)器學(xué)習(xí)任務(wù)進(jìn)行了優(yōu)化，”特斯拉前自動(dòng)駕駛硬件高級(jí)主管甘納什·文卡塔拉馬南（Ganesh Venkataramanan）在2021年AI Day上表示，“這是一款純粹為機(jī)器學(xué)習(xí)打造的芯片?！?/p>

然而，目前D1芯片的性能仍不及英偉達(dá)A100 GPU，后者同樣由臺(tái)積電采用7納米工藝制造，擁有540億個(gè)晶體管，芯片尺寸更大（826平方毫米），因此計(jì)算能力略強(qiáng)于D1。

為了進(jìn)一步提升計(jì)算能力和數(shù)據(jù)吞吐量，特斯拉的AI團(tuán)隊(duì)將25顆D1芯片集成為一個(gè)計(jì)算單元（Tile）。

每個(gè)Tile的計(jì)算性能為9千萬(wàn)億次浮點(diǎn)運(yùn)算/秒（9 petaflops），帶寬達(dá)到36太字節(jié)/秒（36TB/s），并內(nèi)置所有所需的電源、冷卻和數(shù)據(jù)傳輸硬件。可以將Tile理解為由25個(gè)獨(dú)立計(jì)算單元組成的“小型超級(jí)計(jì)算機(jī)”。

進(jìn)一步擴(kuò)展架構(gòu)：

? 6個(gè)Tile組成一個(gè)機(jī)架（Rack）

? 2個(gè)機(jī)架構(gòu)成一個(gè)機(jī)柜（Cabinet）

? 10個(gè)機(jī)柜組成一個(gè)ExaPOD超級(jí)計(jì)算系統(tǒng)

在2022年AI Day上，特斯拉表示，Dojo的計(jì)算能力將通過(guò)部署多個(gè)ExaPOD進(jìn)行擴(kuò)展。這些模塊化架構(gòu)共同組成特斯拉的超級(jí)計(jì)算集群。

此外，特斯拉正在研發(fā)新一代D2芯片，以解決信息流瓶頸。D2芯片將不同的計(jì)算單元直接集成至單片硅片上，而非通過(guò)互連多個(gè)獨(dú)立芯片，從而提升計(jì)算效率并降低延遲。

特斯拉尚未披露D1芯片的具體訂單量或預(yù)計(jì)交付數(shù)量，也未公布Dojo全面啟用D1芯片的時(shí)間表。

2024年6月，一位用戶在社交平臺(tái)X上發(fā)帖稱：“埃隆正在得克薩斯州建造一個(gè)巨大的GPU冷卻系統(tǒng)。”馬斯克回應(yīng)稱，特斯拉的目標(biāo)是在未來(lái)18個(gè)月內(nèi)實(shí)現(xiàn)“50%使用特斯拉自研AI硬件，50%使用英偉達(dá)/其他芯片”。其中，“其他”可能包括AMD芯片，這一點(diǎn)得到了馬斯克2024年1月的確認(rèn)。

Dojo對(duì)特斯拉意味著什么？

掌握自研芯片生產(chǎn)，意味著特斯拉未來(lái)可能以更低成本快速擴(kuò)展AI算力，特別是在特斯拉與臺(tái)積電擴(kuò)大芯片產(chǎn)能的情況下。

這也意味著，特斯拉未來(lái)或許不再依賴英偉達(dá)的芯片，畢竟這些芯片價(jià)格高昂，且供應(yīng)日益緊張。

在2024年第二季度財(cái)報(bào)電話會(huì)議上，馬斯克曾表示，英偉達(dá)硬件的需求“高得驚人，以至于我們很難穩(wěn)定采購(gòu)到所需的GPU?！彼a(bǔ)充道：“我非常擔(dān)心，我們是否能夠按需獲取足夠的GPU，因此，我們必須加大對(duì)Dojo的投入，以確保具備所需的訓(xùn)練能力。”

也就是說(shuō)，盡管特斯拉仍在使用英偉達(dá)芯片訓(xùn)練AI，但它正在努力降低對(duì)英偉達(dá)的依賴。去年6月，馬斯克在X平臺(tái)發(fā)文稱：

“特斯拉今年在AI相關(guān)領(lǐng)域的支出大約為100億美元，其中約一半用于內(nèi)部研發(fā)，主要涵蓋特斯拉自研AI推理計(jì)算機(jī)、車輛上的傳感器以及Dojo。至于AI訓(xùn)練超級(jí)計(jì)算集群的建設(shè)，英偉達(dá)硬件約占成本的三分之二。我目前估計(jì)，特斯拉今年在英偉達(dá)芯片上的采購(gòu)支出將在30億至40億美元之間?！?/p>

值得注意的是，“推理計(jì)算”指的是特斯拉汽車在實(shí)時(shí)運(yùn)行過(guò)程中執(zhí)行的AI計(jì)算，與Dojo負(fù)責(zé)的AI訓(xùn)練計(jì)算是分開的。

盡管馬斯克對(duì)Dojo寄予厚望，他也多次承認(rèn)，這一項(xiàng)目存在失敗的可能。

從長(zhǎng)遠(yuǎn)來(lái)看，特斯拉或許可以依托AI部門開辟全新的商業(yè)模式。馬斯克曾表示，首個(gè)版本的Dojo專為特斯拉計(jì)算機(jī)視覺(jué)數(shù)據(jù)的標(biāo)注與訓(xùn)練而設(shè)計(jì)，這對(duì)于FSD和人形機(jī)器人Optimus的訓(xùn)練至關(guān)重要，但用途較為局限。

不過(guò)，他也透露，未來(lái)版本的Dojo將更加適用于通用AI訓(xùn)練。然而，這也面臨一個(gè)重大挑戰(zhàn)——當(dāng)前幾乎所有AI軟件都是基于GPU架構(gòu)開發(fā)的。如果要讓Dojo用于通用AI模型訓(xùn)練，就必須對(duì)軟件進(jìn)行重構(gòu)。

除非特斯拉選擇向外部租賃其計(jì)算能力，就像AWS和Azure提供云計(jì)算服務(wù)那樣。事實(shí)上，馬斯克在2024年第二季度財(cái)報(bào)電話會(huì)議上提到，他認(rèn)為“Dojo未來(lái)有潛力在算力競(jìng)爭(zhēng)中與英偉達(dá)一較高下?！?/p>

摩根士丹利在2023年9月的一份報(bào)告中預(yù)測(cè)，Dojo可以通過(guò)自動(dòng)駕駛出租車和AI軟件服務(wù)等新業(yè)務(wù)模式，為特斯拉帶來(lái)額外的收入增長(zhǎng)，甚至可能為公司市值貢獻(xiàn)5000億美元。

簡(jiǎn)而言之，Dojo的芯片不僅是特斯拉的一種戰(zhàn)略保障，未來(lái)還有可能帶來(lái)可觀的回報(bào)。

Dojo進(jìn)展如何？

此前有報(bào)道，特斯拉于2023年7月開始生產(chǎn)Dojo。然而，馬斯克在2023年6月的一篇帖子中表示，Dojo“已經(jīng)上線并執(zhí)行有用任務(wù)數(shù)月”。

大約在同一時(shí)間，特斯拉曾表示，到2024年2月，Dojo將躋身全球五大最強(qiáng)超級(jí)計(jì)算機(jī)之列。但截至目前，特斯拉尚未公開披露相關(guān)信息，因此這一目標(biāo)是否達(dá)成仍存疑。

此外，特斯拉還預(yù)計(jì)，到2024年10月，Dojo的總計(jì)算能力將達(dá)到100 ExaFLOPS（每秒100萬(wàn)億億次浮點(diǎn)運(yùn)算）。按照計(jì)算，假設(shè)每塊D1芯片的算力為362 TFLOPS（每秒362萬(wàn)億次浮點(diǎn)運(yùn)算），特斯拉需要超過(guò)27.6萬(wàn)塊D1芯片，或約32.05萬(wàn)塊英偉達(dá)A100 GPU，才能達(dá)到這一目標(biāo)。

特斯拉曾在2024年1月承諾投資5億美元，在紐約州布法羅的超級(jí)工廠建設(shè)一臺(tái)Dojo超級(jí)計(jì)算機(jī)。

2024年5月，馬斯克透露，特斯拉奧斯汀超級(jí)工廠的后部將留作“超密集水冷超級(jí)計(jì)算集群”——但現(xiàn)在我們知道，這一空間實(shí)際上用于部署Cortex，而非Dojo。

在2024年第二季度財(cái)報(bào)電話會(huì)議結(jié)束后，馬斯克在X平臺(tái)上發(fā)文稱，特斯拉AI團(tuán)隊(duì)正在使用Tesla HW4 AI計(jì)算機(jī)（現(xiàn)更名為AI4），與英偉達(dá)GPU結(jié)合進(jìn)行訓(xùn)練。他提到，當(dāng)前訓(xùn)練集群中包含：

? 90,000塊英偉達(dá)H100 GPU

? 40,000臺(tái)AI4計(jì)算機(jī)（即Tesla HW4 AI計(jì)算機(jī)）

馬斯克補(bǔ)充道：“到年底，Dojo 1的訓(xùn)練能力將相當(dāng)于8000塊H100 GPU。這不算龐大，但也不容小覷。”

截至目前，特斯拉尚未確認(rèn)這些芯片是否已全面上線并支持Dojo運(yùn)行。在2024年第四季度財(cái)報(bào)電話會(huì)議上，Dojo甚至未被提及。相反，特斯拉宣布已在Q4完成Cortex的部署，并表示Cortex是推動(dòng)FSD V13版本實(shí)現(xiàn)的關(guān)鍵。