對話傳奇架構(gòu)師吉姆·凱勒：CPU 和 AI 領(lǐng)域的開源潮流

當開源的力量和傳奇芯片架構(gòu)師吉姆·凱勒（Jim Keller）資深的半導(dǎo)體經(jīng)驗結(jié)合起來時，一定會發(fā)生一些有趣的事情。這正是 AI 初創(chuàng)公司和現(xiàn)在的 CPU 制造商 Tenstorrent 的計劃。

Tenstorrent 由 Ljubisa Bajic、Milos Trajkovic 和 Ivan Hamer 于 2016 年創(chuàng)立，總部位于多倫多。凱勒從一開始就是天使投資人和公司的顧問，在英特爾的服務(wù)器業(yè)務(wù)工作一段時間后，他于 2021 年 1 月被任命為首席技術(shù)官，在那里他清理了一些架構(gòu)和流程混亂，就像他在 AMD 之前的工作一樣。

今年 1 月，凱勒被任命接替 Bajic 擔(dān)任首席執(zhí)行官，該公司今天宣布將在 D 輪融資中籌集 1.2 億至 1.5 億美元，現(xiàn)代汽車集團和三星 Catalyst 基金領(lǐng)投本輪融資由之前的投資者 Fidelity Ventures、Eclipse Ventures、Epiq Capital、Maverick Capital 和其他投資者參與。迄今為止，這將是超過 3.845 億美元的投資資金，并可能將其估值提升到 14 億美元以上。

這些投資將讓 Tenstorrent 團隊創(chuàng)建一系列商業(yè)級 RISC-V 服務(wù)器處理器和 AI 加速器。如果想挑戰(zhàn)英偉達 GPU 在 AI 訓(xùn)練中的霸主地位，或許需要更多資金。凱勒認為他擁有合適的團隊來完成這項任務(wù)，以下這位傳奇架構(gòu)師對于 CPU 和 AI 的一些看法。

為什么世界需要另一個人工智能加速器？GPU 市場已經(jīng)有很多不同的公司參與其中。Tenstorrent 正在做的事情有哪些不同、更好的地方？是什么在推動您，為什么？

吉姆·凱勒：世界憎惡壟斷。首先，每當出現(xiàn)大的炒作周期時，獲得投資的人都會超出該行業(yè)適當支持的范圍。Tenstorrent 的聯(lián)合創(chuàng)始人之一 Ljubisa Bajic 和我聊了很長時間，因為當時 SambaNova 和 Cerebras 的估值非常高。所以他們籌集了很多錢，他們開始花很多錢，而我們卻做了相反的事情。上次融資后我們的估值為 10 億美元，并且我們以更高的估值獲得了更多資金。然后我們想：然后呢？像其他人一樣陷入困境？這對你們公司來說真的很困難。就像這會讓你的員工和投資者都陷入困境。因此，我們以較低的估值籌集了較少的資金，因為我們是長期投資的。

我不認為 GPU 是運行人工智能程序的全部。每個描述人工智能程序的人都會描述一個圖表，并且需要通過有趣的軟件轉(zhuǎn)換來降低該圖表并將其映射到硬件。由于多種原因，事實證明這個過程比想象的要困難得多。但我覺得我們確實在這方面取得了真正的進展。因此，我們可以制造出高性能、運行良好且可擴展的人工智能計算機。

另一件事是我們開始構(gòu)建 RISC-V——Tenstorrernt 對此進行了長時間的討論——我們認為未來市場將主要是人工智能。通用 CPU 和 AI 處理器以及程序和軟件堆棧之間將會進行交互，并且它們將位于同一芯片上。然后這個領(lǐng)域?qū)泻芏鄤?chuàng)新。我與 Arm 溝通，說我們想要獲得它的許可，但它太貴了。因此我們決定打造自己的 RISC-V 處理器。

當我們告訴客戶這件事時，我們有點驚訝人們確實想要獨立許可 RISC-V 處理器。然后我們還發(fā)現(xiàn)，一些對 RISC-V 感興趣的人也對我們的 AI 知識產(chǎn)權(quán)感興趣。英偉達、AMD、Habana 等公司并沒有將他們的 IP 授權(quán)給任何人。所以人們來找我們，他們告訴我們，如果我們能證明我們的 CPU 或 AI 加速器工作，證明是可以運行的芯片，那么他們有興趣授權(quán) IP，包括 CPU 和 AI 加速器，去構(gòu)建自己的產(chǎn)品。

構(gòu)建自己的產(chǎn)品的一個很酷的事情是，您可以擁有并控制它，而不用向其他人支付 60% 或 80% 的毛利率。因此，當人們告訴我們英偉達已經(jīng)贏得了市場，為什么 Tenstorrent 會參與競爭時，我回答只要存在利潤率極高的壟斷，就會創(chuàng)造商機。

但是這種利潤不僅吸引了競爭，還會助長競爭。

吉姆·凱勒：在現(xiàn)實世界中，實際毛利率總是介于兩者之間。如果你的比例遠低于 10%，你將很難賺到錢；如果你的比例超過 50%，你就會面臨競爭。

然后是所有這一切的開源角度。開源的一個優(yōu)勢是人們可以做出貢獻。然后他們也有機會擁有它，或者復(fù)制它并做有趣的事情。硬件的生產(chǎn)成本很高，流片也很困難。但有相當多的人構(gòu)建自己的芯片，他們想要去做一些事情。

我認為，未來我們將用人工智能生成越來越多的代碼，然后人工智能程序是通用計算和人工智能計算之間的交互，這將創(chuàng)造一個全新的創(chuàng)新浪潮。人工智能相當獨特，因為它的模型和框架十分開放——然后它在非常專有的硬件上運行。

當創(chuàng)建 RISC-V 處理器時，它的許可模式是什么？

吉姆·凱勒：RISC-V 是一種開源架構(gòu)，我們有人為該架構(gòu)定義作出貢獻。參考模型是開源的，編寫 Whisper 指令集模擬器的人為我們工作。我們創(chuàng)建了一個向量單元并做出了貢獻。我們構(gòu)建了向量單元的 RTL 版本，然后將其開源。我們與一群學(xué)生交談，他們說基礎(chǔ)設(shè)施很好，但我們需要更多的測試基礎(chǔ)設(shè)施。因此，我們正在致力于開源 RTL 驗證基礎(chǔ)設(shè)施。

RISC-V 現(xiàn)在擁有大學(xué)計算機體系結(jié)構(gòu)研究中心。這是事實，默認的東西。我們的 AI 處理器內(nèi)部有一個 RISC-V 引擎，我們一直在嘗試弄清楚如何開源 RISC-V AI 處理器。學(xué)生希望能夠做實驗；他們希望能夠下載一些東西，模擬它，進行修改，嘗試并改變它。因此，我們的引擎上有一個軟件堆棧，我們正在整理它，以便我們可以在今年將它開源。

開源的一個很大的特點是，一旦人們開始做它并為它做出貢獻，它就會成長。

我和很多人工智能公司談過，當我在特斯拉時，我看到了很多引擎。二十家公司將有 50 名員工工作兩年，打造與其他 19 家公司完全相同的產(chǎn)品。如果這是開源開發(fā)，那么進展會快得多。

一些開源的東西，比如 PyTorch，已經(jīng)開放了一段時間了，但是項目運行的方式并不好，但是 PyTorch 2.0 修復(fù)了這個問題。TVM 是開源的——我們使用它，它實際上非常好。我們將看看 Chris Lattner 的公司 Modular AI 和 Mojo 編程語言會發(fā)生什么。他說他將開源 Mojo，它可以進行額外的軟件編譯器轉(zhuǎn)換。但我們并沒有一個明確的目標來驅(qū)動某些東西。所以我今天只是和我的同事們討論如何清理我們的參考模型，并使之成為人們可以為其增加價值的良好開源人工智能引擎參考模型？

再一次，我認為我們正處于人工智能硬件構(gòu)建的早期階段。

Tenstorrent 的收入模式是什么？

吉姆·凱勒：我們制造硬件。最初的想法是我們要構(gòu)建這個出色的硬件。去年，我們的前十個模型開始工作。我們原以為我們有可能開發(fā)出 30 到 50 個模型，但我們有點陷入停滯。因此，我們決定重構(gòu)代碼——我們對軟件堆棧進行了兩次主要重寫。我們現(xiàn)在正在讓一些客戶使用我們構(gòu)建的硬件。我們與 LG 一起發(fā)布了公告，我們還有更多的人工智能公司正在籌備中。然后我們做了這個 RISC-V CPU，這是非常高端的。SiFive 是一家不錯的公司，但他們的項目處于中間位置，Ventana 比這稍高一些。人們不斷告訴我們：我們想要一個非常高端的 CPU。因此，我們正在構(gòu)建一個非常高端的 CPU，并且我們正在與十個組織討論以獲得許可。

我們是一家設(shè)計公司。我們設(shè)計 CPU，我們設(shè)計人工智能引擎，我們設(shè)計人工智能軟件堆棧。因此，無論是軟 IP、硬 IP 小芯片還是完整芯片，這些都是產(chǎn)品。我們在這方面很靈活。例如，在 CPU 上，我們將在我們自己的小芯片流片之前對其進行多次許可。我們正在與六家想要從事定制內(nèi)存芯片或 NPU 加速器等業(yè)務(wù)的公司進行交談。我認為對于我們的下一代，無論是 CPU 還是 AI，我們將構(gòu)建 CPU 和 AI 小芯片。但隨后其他人會做其他的小芯片。然后我們會將它們整合到系統(tǒng)中。

我們建立了一個小型云，我們在云中擁有 1000 個 AI 芯片。當我們剛開始時，我們只是將芯片放入服務(wù)器中并為人們提供訪問權(quán)限。這真的很容易。可以運行 Linux，也可以使用裸機。

像 Cerebras 和 SambaNova 這樣的公司，他們確實正在成為云供應(yīng)商或特定云供應(yīng)商的供應(yīng)商，尋找利基市場，同時也是一種比英偉達的 GPU 更便宜、更容易完成 AI 的方法。根計算，訓(xùn)練下一代人工智能模型似乎需要大約 10 億美元，而這筆錢必須來自某個地方，或者必須找到一種更便宜的方法。

吉姆·凱勒：我們與人工智能軟件初創(chuàng)公司交談，問他們是否可以在云上嘗試一下。隨著公司規(guī)模的擴大，這些公司開始意識到，在云上運行人工智能的費用是自己的數(shù)據(jù)中心的 3 倍或更多——這取決于你買什么以及你的攤銷時間是多少。這是一個很高的費用。

如果我們設(shè)計出一款引人注目的 CPU 和 AI 加速器，那么就有多種進入市場的渠道：IP、小芯片、芯片、系統(tǒng)和云。關(guān)鍵點是，能否建立一個業(yè)務(wù)，建立一個工程團隊，籌集資金并產(chǎn)生收入。我們的投資者說，不需要我們賺十億美元，而是需要出售價值數(shù)千萬美元的東西，以表明客戶愿意為此付費。這就是我們現(xiàn)在的使命。

使用 Tenstorrent 芯片可以將 AI 訓(xùn)練成本降低多少？

吉姆·凱勒：我們的目標是比類似性能的 GPU 系統(tǒng)便宜 5 到 10 倍。這有一些技術(shù)原因。我們使用的內(nèi)存帶寬要少得多，因為我們有一個圖形編譯器，而且我們的架構(gòu)比 GPU 更像是一臺數(shù)據(jù)流機器，因此我們可以將數(shù)據(jù)從一個處理元素發(fā)送到另一個處理元素。一旦使用 HBM 硅中介層，它就會變得非常昂貴。

我們的芯片上有網(wǎng)絡(luò)端口，因此我們可以將它們以大型陣列的形式連接在一起，而無需通過其他人的交換機。從技術(shù)上講，這就是我們的方法比英偉達的方法更便宜的原因之一。

如果有人來找我，他們想要獲得我們技術(shù)的許可，以便他們可以修改它并構(gòu)建自己的產(chǎn)品，我認為這是一個好主意，因為我認為當更多的人能夠接受可靠的東西時，創(chuàng)新就會加速，然后繼續(xù)努力。我相信我們會向任何合作伙伴學(xué)習(xí)。