全面解讀特斯拉自動(dòng)駕駛芯片：一場(chǎng)蓄謀已久的進(jìn)攻

北京時(shí)間4月23日凌晨2：40左右，特斯拉發(fā)布了自動(dòng)駕駛芯片。

這是特斯拉Autopilot（以下稱AP）迄今為止取得的最大的技術(shù)突破，但另一方面，自動(dòng)駕駛事關(guān)行車安全，我們每個(gè)人都應(yīng)該保持足夠的理性和克制，謹(jǐn)慎分析。特斯拉AP的技術(shù)架構(gòu)、發(fā)展策略是如此的獨(dú)特，它的種種策略到今天仍然充滿了爭(zhēng)議。因此，本文將分為對(duì)特斯拉、對(duì)行業(yè)、對(duì)用戶三大部分展開。

其中涉及技術(shù)架構(gòu)的部分可能稍顯晦澀，但如果你是車主，仍然強(qiáng)烈建議你去嘗試?yán)斫狻?duì)于車主來說，用戶體驗(yàn)是最重要的。但技術(shù)架構(gòu)是促成用戶體驗(yàn)的頂層設(shè)計(jì)，

了解技術(shù)架構(gòu)能幫助你更好的理解這套系統(tǒng)的潛力和短板所在。

（如果你實(shí)在讀不下去，請(qǐng)直接拉到最后看對(duì)用戶篇）

對(duì)于特斯拉來說，AP最終達(dá)成了Elon想達(dá)成的目標(biāo)。正如文章開頭所說，這是自2014年10月AP誕生以來，特斯拉取得的最大的技術(shù)突破。

有充分的證據(jù)表明，英偉達(dá)DrivePX2芯片之于AP自始至終都是一個(gè)過渡角色。

2015年11月20日深夜，ElonMusk連發(fā)數(shù)條Twitter在線招人。

那可能是他第一次提到，AP團(tuán)隊(duì)的目標(biāo)是實(shí)現(xiàn)自動(dòng)駕駛，而加入AP團(tuán)隊(duì)的員工將由他本人親自面試。除了AP團(tuán)隊(duì)直接向他匯報(bào)，所謂Thisisasuperhighpriority.

一個(gè)月后，頂級(jí)芯片大神JimKeller及其團(tuán)隊(duì)集體加入特斯拉，Keller出任AP硬件副總裁，AP芯片研發(fā)團(tuán)隊(duì)成立。

10個(gè)月后量產(chǎn)的AP2.0車型，在設(shè)計(jì)之初就考慮了中央計(jì)算芯片可插撥，便于后期升級(jí)。

對(duì)特斯拉來說，以自主研發(fā)的自動(dòng)駕駛芯片驅(qū)動(dòng)汽車完全是「蓄謀已久」。

特斯拉為什么要自行設(shè)計(jì)研發(fā)自動(dòng)駕駛芯片？JimKeller給過一段解釋：在技術(shù)變革方面，我們正處于AI革命之中。AI的計(jì)算方式和經(jīng)典的標(biāo)量計(jì)算、矢量計(jì)算、圖形計(jì)算都不一樣，可以說差別巨大，應(yīng)用非常廣泛。

每當(dāng)有這樣變革的時(shí)候，尤其是從硬件到頂層軟件堆棧都在變革，就會(huì)有大量的人投身其中。

有一點(diǎn)是不變的，高端處理器的設(shè)計(jì)非常難做。將無數(shù)模塊組合成差異化的、高價(jià)值的處理器非常難做。你看看現(xiàn)在的半導(dǎo)體行業(yè)，有些是來自大公司的標(biāo)準(zhǔn)產(chǎn)品，有些是自主設(shè)計(jì)的定制芯片。但不變的是，

超級(jí)困難的挑戰(zhàn)需要真正的專家來解決。

在ElonMusk看來，計(jì)算機(jī)視覺+AI+海量真實(shí)數(shù)據(jù)，是AI技術(shù)在汽車行業(yè)最艱難也最具想象力的應(yīng)用場(chǎng)景。

就像JimKeller所說，AI需要從軟件到硬件底層設(shè)計(jì)全面的變革。

這就是特斯拉最初的動(dòng)機(jī)，今天，特斯拉實(shí)現(xiàn)了這塊芯片的量產(chǎn)。

下面先來介紹一下芯片本身。

這塊芯片以260平方毫米的規(guī)格堆下了60億個(gè)晶體管和2.5億個(gè)邏輯門，峰值性能達(dá)到36.8TOPS，采用三星14nmFinFETCMOS工藝制造。

芯片搭載了頻率為4.266GHz/s的LPDDR4RAM，峰值帶寬為68GB/S，此外，特斯拉還在芯片上集成了一個(gè)24位通道的ISP，支持高級(jí)色調(diào)映射和高級(jí)降噪。

除此之外，這塊主板上還搭載了兩塊主頻2GHz的神經(jīng)網(wǎng)絡(luò)加速器（互為冗余），擁有32MB的SRAM和96×96的陣列，數(shù)據(jù)處理速度1TB/s。

圖形芯片方面，該芯片支持32和64位浮點(diǎn)處理的圖形芯片。同時(shí)植入了12個(gè)主頻2.2Ghz的64位CPU。

芯片具備一個(gè)獨(dú)立安全芯片和H.265視頻解碼器。

最后，主芯片功耗僅為75W，整個(gè)主板功耗250W，意味著每行駛4小時(shí)，特斯拉芯片會(huì)消耗1度電。

你可能想知道Mobileye性能最強(qiáng)的量產(chǎn)芯片EyeQ4和英偉達(dá)性能最強(qiáng)的量產(chǎn)芯片DrivePX2芯片跟特斯拉自動(dòng)駕駛芯片比，是什么水平？

首先，MobileyeEyeQ4主要被用作感知芯片，定位不同，性能峰值僅為2.5TOPS。所以，略。

關(guān)于DrivePX2，官方有一張PPT做對(duì)比。特斯拉芯片的處理速度達(dá)到2300幀/s，是DrivePX2的110幀/s的21倍。在另一項(xiàng)對(duì)比中，Elon提到特斯拉芯片的性能是英偉達(dá)下一代自動(dòng)駕駛芯片DriveXavier的7倍。

但在我看來，特斯拉這樣毫不留情地欺負(fù)前芯片供應(yīng)商英偉達(dá)并不合適。

雖然兩者都定位自動(dòng)駕駛中央計(jì)算芯片，但從芯片架構(gòu)來看，特斯拉芯片已經(jīng)向圖像處理和AI計(jì)算全面傾斜，而英偉達(dá)兩代芯片仍然是以GPU為核心的自動(dòng)駕駛芯片。這使得英偉達(dá)在圖像處理對(duì)比中會(huì)處于劣勢(shì)。

無論是超強(qiáng)的圖像處理能力還是為AI設(shè)置的神經(jīng)網(wǎng)絡(luò)加速器，都決定了這塊芯片與AP2.0定義的8顆不同視距、規(guī)格的攝像頭感知、TeslaVision深度神經(jīng)網(wǎng)絡(luò)視覺處理工具強(qiáng)強(qiáng)綁定。

這是一顆AP專用芯片，只有AP能釋放它最大的性能。

下面我們說說它好在哪里。

首先自然是算力大增推動(dòng)的全車8顆攝像頭火力全開了。早在2018年Q2會(huì)議上，特斯拉AI總監(jiān)AndrewKarpathy明確說過，AP跑大型神經(jīng)網(wǎng)絡(luò)表現(xiàn)非常好，但是因?yàn)樗懔ο拗疲壳斑€無法部署到車端。

特斯拉在發(fā)布會(huì)上提到，新芯片每塊加速器都支持8顆攝像頭以2100幀/s的速度輸入圖像，每顆攝像頭都是全景全分辨率輸入。

其次，我們已經(jīng)看到了雙神經(jīng)網(wǎng)絡(luò)加速器，除此之外，特斯拉還設(shè)計(jì)了冗余電源、冗余計(jì)算，在Model3上，特斯拉預(yù)埋了制動(dòng)冗余和轉(zhuǎn)向冗余。

實(shí)現(xiàn)自動(dòng)駕駛硬件冗余所需除了感知，其余的電源、定位、計(jì)算、控制、執(zhí)行冗余，由此得以全部實(shí)現(xiàn)。

另外一個(gè)與自動(dòng)駕駛強(qiáng)相關(guān)的功能是

CPU容錯(cuò)（Lockstep）設(shè)計(jì)，主板運(yùn)行時(shí)兩套相同的硬件將同時(shí)處理相同的數(shù)據(jù)，強(qiáng)制執(zhí)行不同芯片、內(nèi)存間的時(shí)序相同，確保它們?cè)谕粫r(shí)刻處理完全相同的數(shù)據(jù)，以此來保證汽車自動(dòng)駕駛過程中的低時(shí)延特性。

這對(duì)高速行車場(chǎng)景下的自動(dòng)駕駛至關(guān)重要。

即便出現(xiàn)軟件Bug錯(cuò)誤或硬件故障，系統(tǒng)也能在不損失數(shù)據(jù)的前提下不間斷運(yùn)行。

Elon對(duì)冗余容錯(cuò)設(shè)計(jì)的評(píng)價(jià)是：任何一部分都可能失效，但汽車將繼續(xù)行駛，這塊計(jì)算芯片運(yùn)行失敗的可能性遠(yuǎn)低于駕駛汽車過程中司機(jī)失去意識(shí)的可能性，至少低一個(gè)數(shù)量級(jí)。

最后是獨(dú)立安全芯片設(shè)計(jì)，該芯片將以加密的方式主動(dòng)檢查所有指令和數(shù)據(jù)，以監(jiān)控黑客攻擊自動(dòng)駕駛汽車的可能性。

安全芯片將讀取輸入和輸出數(shù)據(jù)，觀察任何可疑的感知信息，包括欺騙性的視覺信息（例如以假人欺騙汽車前方有行人）調(diào)整決策和控制。

整體來說，這塊芯片完全實(shí)現(xiàn)了特斯拉，主要是Elon本人的設(shè)計(jì)需求。Elon在發(fā)布會(huì)上給予了極高評(píng)價(jià)：

HowcoulditbethatTesla,whohasneverdesignedachipbefore,woulddesignthebestchipintheworld?Butthatisobjectivelywhathasoccurred.Notbestbyasmallmargin,bestbyabigmargin.從沒做過芯片的特斯拉，怎么可能設(shè)計(jì)出世界上最好的芯片呢？但這是一個(gè)客觀事實(shí)。不是比最好的芯片好一點(diǎn)兒，是好一大截。

Pete和Karparthy也被Elon稱為世界上最好的芯片架構(gòu)師和世界上最好的計(jì)算機(jī)視覺科學(xué)家。

2018年8月，AP團(tuán)隊(duì)三位高管突然亮相特斯拉Q2財(cái)報(bào)會(huì)議，Elon讓AP團(tuán)隊(duì)做了財(cái)報(bào)會(huì)議的主角。這么做的原因在今天被揭開：2018年8月，特斯拉測(cè)試了第一批AP3.0車型，取得了很好的運(yùn)行效果。在過去的幾個(gè)月，特斯拉一直在對(duì)AP3.0進(jìn)行測(cè)試。

因此，1.0到2.0的體驗(yàn)斷崖式下跌的情況在2.5到3.0的過渡時(shí)不復(fù)存在。

AP3.0版本的ModelS/X和Model3已經(jīng)分別于3月20日和4月12日量產(chǎn)。

另外，特斯拉下一代自動(dòng)駕駛芯片，HW4.0主芯片的研發(fā)已于一年前啟動(dòng)。預(yù)計(jì)將在未來兩年內(nèi)實(shí)現(xiàn)量產(chǎn)，性能將比3.0芯片好3倍。

對(duì)行業(yè)我們來重新審視一下AP2.0傳感器套件。

3個(gè)前置攝像頭（廣角（60米）、長焦（250米）、中距（150米））

2個(gè)側(cè)方前視攝像頭（80米）

2個(gè)側(cè)方后視攝像頭（100米）

1個(gè)后視攝像頭（50米）

12個(gè)超聲波傳感器（探測(cè)距離/精度翻倍）

1個(gè)增強(qiáng)版前置雷達(dá)（160米）

沒有激光雷達(dá)，一顆都沒有。

在今天的發(fā)布會(huì)上，Elon接受投資人提問時(shí)再次表明了他對(duì)激光雷達(dá)的態(tài)度。

Lidarisafool’serrand,Anyonerelyingonlidarisdoomed.Doomed![Theyare]expensivesensorsthatareunnecessary.激光雷達(dá)是徒勞的，任何依賴激光雷達(dá)的公司都注定要失敗的。注定！它們是昂貴的、不必要的傳感器。

相對(duì)CEO純粹的排斥，特斯拉AI高級(jí)總監(jiān)AndrejKarparthy給出了一些更讓人信服的解釋。Karparthy認(rèn)為，世界是為視覺識(shí)別而構(gòu)建的，激光雷達(dá)很難分辨塑料袋和輪胎的區(qū)別，而大規(guī)模神經(jīng)網(wǎng)絡(luò)訓(xùn)練和視覺識(shí)別對(duì)自動(dòng)駕駛來說是必不可少的。

你并沒有從眼中射出激光來看到這兒。從這個(gè)意義上說，激光雷達(dá)確實(shí)是一個(gè)捷徑。

它回避了基本問題，視覺識(shí)別的重要問題

這是實(shí)現(xiàn)自動(dòng)駕駛所必需的。

它給人一種進(jìn)步的錯(cuò)覺，最終是一根拐杖。它確實(shí)提供了非?？斓难菔?。

不同公司在技術(shù)路線上會(huì)有一些差異。早期的自動(dòng)駕駛公司感知以激光雷達(dá)為中心，如今大多以多傳感器融合為主，也有少數(shù)公司以計(jì)算機(jī)視覺為主。

但這個(gè)世界上所有的自動(dòng)駕駛創(chuàng)業(yè)公司+大公司，沒有一家實(shí)現(xiàn)自動(dòng)駕駛完全不用激光雷達(dá)，除了特斯拉。

一種合理的猜測(cè)是，激光雷達(dá)成本居高不下，特斯拉出于商業(yè)考量未選擇激光雷達(dá)。實(shí)際上，上文中Karparthy的分析已經(jīng)能代表AP團(tuán)隊(duì)的態(tài)度。還有另外一些證據(jù)表明，特斯拉不喜歡激光雷達(dá)完全是出于技術(shù)層面的差異。

首先，特斯拉不止一次被拍到使用激光雷達(dá)進(jìn)行測(cè)試，Elon今天也提到，他并不是討厭激光雷達(dá)。SpaceX團(tuán)隊(duì)自主研發(fā)了激光雷達(dá)，但對(duì)于汽車，激光雷達(dá)是昂貴且不必要的傳感器。

其次，在這之前，Elon已經(jīng)解釋過棄用激光雷達(dá)的原因。在成本之前，首先是感知融合的技術(shù)路線錯(cuò)誤。

如果你堅(jiān)持極為復(fù)雜的神經(jīng)網(wǎng)絡(luò)技術(shù)路線，做到了非常先進(jìn)的圖像識(shí)別技術(shù)，那么我認(rèn)為你最大化地解決了問題。然后你需要把它和日趨復(fù)雜的雷達(dá)信息融合，如果你選擇了波長在400nm-700nm的范圍內(nèi)的主動(dòng)質(zhì)子發(fā)生器，其實(shí)是很愚蠢的，因?yàn)槟惚粍?dòng)地做到了這一點(diǎn)。你最終會(huì)嘗試在大約4毫米的雷達(dá)頻率上主動(dòng)發(fā)出質(zhì)子，因?yàn)椋ㄔ擃l率）可以穿透障礙物，你可以透過雪、雨、灰塵、霧……其他任何東西“看”清前方路況。令人費(fèi)解的是，一些公司會(huì)用錯(cuò)誤的波長來做主動(dòng)質(zhì)子發(fā)生系統(tǒng)。它們給汽車武裝了一大堆昂貴設(shè)備，讓汽車變得昂貴、丑陋也不必要。我覺得它們最終會(huì)發(fā)現(xiàn)自己在競(jìng)爭(zhēng)中陷入劣勢(shì)。

這是特斯拉和整個(gè)行業(yè)的分歧。下一個(gè)問題是，攝像頭能扮演核心傳感器的角色嗎？

在這個(gè)問題上，特斯拉總算能和行業(yè)保持一致了。

在所有傳感器中，攝像頭擁有最豐富的線性密度，其數(shù)據(jù)量遠(yuǎn)超其他類型的傳感器。一個(gè)行業(yè)共識(shí)是，

基于視覺的感知在整個(gè)自動(dòng)駕駛體系中的重要性正在持續(xù)提升。

基于圖像信息密度最高的優(yōu)勢(shì)，使得它處于整個(gè)感知融合的中心地位。

事實(shí)上，完全基于視覺來解決無人車的路況感知問題是可行的，但是還有很長的路要走，自動(dòng)駕駛汽車的發(fā)展過程應(yīng)該是一個(gè)視覺逐步替代高端激光雷達(dá)的過程。

所以，特斯拉與行業(yè)的真正分歧在于，行業(yè)普遍認(rèn)可視覺潛力巨大，激光雷達(dá)也許有一天會(huì)退出歷史舞臺(tái)，但今天的計(jì)算機(jī)視覺和AI發(fā)展發(fā)展成熟度絕無可能獨(dú)立完成感知。而Elon從第一性原理出發(fā)認(rèn)為，激光雷達(dá)的加入會(huì)讓技術(shù)路線誤入歧途，所有人的終極目標(biāo)都是攝像頭實(shí)現(xiàn)感知。

特斯拉的底氣來自跑在全球各地的42.5萬輛AP2.+車型。MIT按照特斯拉公布的交付量、特斯拉汽車平均行駛里程和AP啟動(dòng)狀態(tài)下行駛里程計(jì)算，到2019年，特斯拉累計(jì)路測(cè)數(shù)據(jù)已經(jīng)達(dá)到4.8億英里，到2020年（估算）將突破15億英里。按照Elon的說法，

特斯拉路測(cè)數(shù)據(jù)占全行業(yè)總路測(cè)數(shù)據(jù)的99%。

特斯拉此前被廣泛質(zhì)疑的一點(diǎn)是：在全車8顆攝像頭全部開啟參與感知后，每個(gè)月上傳數(shù)據(jù)消耗流量平均僅為1-3GB，這個(gè)規(guī)?？雌饋砗茈y說特斯拉在進(jìn)行真正有效的數(shù)據(jù)采集。

在今天的發(fā)布會(huì)上，Karparthy解釋了這一問題。對(duì)于特斯拉來說，最大的優(yōu)勢(shì)也是最大挑戰(zhàn)來自于對(duì)海量真實(shí)數(shù)據(jù)的處理，在早期進(jìn)行短暫的人工標(biāo)注（labeling）后，很快大量的障礙物識(shí)別都改為本地機(jī)器自動(dòng)標(biāo)注提升識(shí)別率。

只有出現(xiàn)攝像頭完全無法理解或引起混亂的圖像，才會(huì)上傳到云端，由工程師進(jìn)行標(biāo)注，導(dǎo)入神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，直到神經(jīng)網(wǎng)絡(luò)掌握對(duì)該場(chǎng)景的識(shí)別。

其次，全球各地不同國家有著完全不同的路況、交規(guī)、暴雨、冰雹、大霧、甚至洪水、火災(zāi)、火山等罕見的長尾場(chǎng)景。每一次AP啟用狀態(tài)下的人為介入接管，系統(tǒng)都會(huì)記錄下該場(chǎng)景的信息和數(shù)據(jù)，并自行學(xué)習(xí)人類的決策和駕駛行為。

Karparthy特別提到，真實(shí)行車場(chǎng)景下的路況數(shù)據(jù)無法替代。對(duì)于競(jìng)品公司廣泛采取的模擬器訓(xùn)練解決數(shù)據(jù)匱乏問題的做法，特斯拉用兩句話回應(yīng)：

一個(gè)細(xì)節(jié)堪比真實(shí)世界的模擬器本身會(huì)比自動(dòng)駕駛系統(tǒng)的設(shè)計(jì)難度更大；使用模擬器改進(jìn)，就像自己改自己的作業(yè)，提升有限。

對(duì)于這個(gè)行業(yè)來說，特斯拉手握全球最大規(guī)模的自動(dòng)駕駛車隊(duì)，開始計(jì)算機(jī)視覺+AI（軟硬件）+海量真實(shí)數(shù)據(jù)的探索。時(shí)至今日，通用CruiseCOODanielKan對(duì)AP團(tuán)隊(duì)的評(píng)價(jià)仍然最為精準(zhǔn)：

對(duì)用戶在發(fā)布會(huì)后半段，特斯拉對(duì)一些問題做出了解釋。比如，AP運(yùn)行狀態(tài)下的最小跟車距離大概在3米左右，在中國堵車場(chǎng)景下這樣的距離給側(cè)方車輛強(qiáng)行并道提供了足夠的空間。

特斯拉提到了影子模式機(jī)制，即每一次此類場(chǎng)景下駕駛員接管加速靠近前車，系統(tǒng)都會(huì)記錄下駕駛員的駕駛行為，上傳到云端。當(dāng)同一行為比例足夠高的時(shí)候，神經(jīng)網(wǎng)絡(luò)的決策機(jī)制就會(huì)發(fā)生變化，并被推送給成千上萬的用戶。

所以，在不遠(yuǎn)的將來，AP一定會(huì)越來越好用，不斷接近自動(dòng)駕駛。但作為用戶的你都要在任何時(shí)候都要明白，

在官方承諾全自動(dòng)駕駛技術(shù)實(shí)現(xiàn)之前，無論系統(tǒng)多么好用，它都不是自動(dòng)駕駛。

Elon在發(fā)布會(huì)上提到，AP在第一階段的自動(dòng)駕駛，仍然強(qiáng)制要求乘客坐在駕駛位上關(guān)注前方路況。聽起來是不是非常矛盾？

在此前接受ArkCapital采訪時(shí)，Elon做了更詳細(xì)的說明。

到今年年底，特斯拉將會(huì)功能性實(shí)現(xiàn)（FeatureComplete）自動(dòng)駕駛。功能性實(shí)現(xiàn)的意思是，車輛能從停車場(chǎng)駛出找到你，接上你并把你送到目的地，這個(gè)過程中你需要注意路況并有極小的概率需要在適當(dāng)?shù)臅r(shí)候接管車輛，但在大多數(shù)時(shí)候根本無需駕駛員介入。

人們認(rèn)為這是100%零失誤的全自動(dòng)駕駛，不需要任何人類監(jiān)管，實(shí)際上并不是這樣的。

功能性實(shí)現(xiàn)自動(dòng)駕駛的特斯拉可以應(yīng)對(duì)99.9999%的場(chǎng)景，但在那之后需要增加更多的9。

特斯拉也明確說明，在某些極端場(chǎng)景，如暴雨、冰雹、大霧之類的惡劣天氣下，自動(dòng)駕駛系統(tǒng)存在停止運(yùn)行的風(fēng)險(xiǎn)。事實(shí)上在系統(tǒng)停止運(yùn)行，駕駛員接管后，系統(tǒng)會(huì)進(jìn)行學(xué)習(xí)或以鏡子模式收集信息和數(shù)據(jù)。

所以，我們完全無意討論Elon在最后放飛環(huán)節(jié)提到2020年的100萬輛Robo-Taxi自動(dòng)駕駛車隊(duì)打車服務(wù)。真正值得關(guān)注的問題是，在車隊(duì)、芯片、算法先后到位后，特斯拉Autopilot從去年的完全不可用，到如今具備主流競(jìng)爭(zhēng)力的L2，正在快速向L4逼近。

特斯拉可能是全球第一家需要跟國家級(jí)監(jiān)管機(jī)構(gòu)談判大規(guī)模投放自動(dòng)駕駛車隊(duì)的公司。

這背后需要全體AP2.+車主正確理解系統(tǒng)的邊界，按照用戶說明書使用系統(tǒng)。不要讓技術(shù)的進(jìn)步以悲劇為代價(jià)。

2016年初啟動(dòng)，2019年中量產(chǎn)。AP芯片發(fā)布后，特斯拉本質(zhì)上已經(jīng)拼上了最后一塊關(guān)鍵的版圖。

一圖總結(jié)特斯拉未來十年核心競(jìng)爭(zhēng)力。