Flex Logix推出高性能、高效率AI 邊緣推理芯片

Flex Logix 公司今天宣布其InferX X1 芯片可開(kāi)始出貨。該芯片是AI邊緣系統(tǒng)領(lǐng)域迄今為止性能最高的芯片之一。InferX X1可對(duì)目標(biāo)檢測(cè)與識(shí)別等各類神經(jīng)網(wǎng)絡(luò)模型進(jìn)行加速，其應(yīng)用范圍包括機(jī)器人、工業(yè)自動(dòng)化、醫(yī)學(xué)成像、基因測(cè)序、銀行安全、零售分析、自動(dòng)駕駛、航天工程等等。與目前業(yè)內(nèi)領(lǐng)先的AI邊緣推理解決方案相比，InferX X1 在處理 YOLOv3 目標(biāo)檢測(cè)識(shí)別模型時(shí)的性能提高了 30% ，在處理其他多個(gè)用戶模型時(shí)的性能提高了10倍。

相比于其他各類目標(biāo)檢測(cè)與識(shí)別的神經(jīng)網(wǎng)絡(luò)模型，YOLOv3的準(zhǔn)確率是比較高的。因此，許多機(jī)器人、銀行安全及零售分析領(lǐng)域的客戶都計(jì)劃在產(chǎn)品中使用 YOLOv3。還有一些客戶根據(jù)自己的應(yīng)用需求，開(kāi)發(fā)了一系列AI模型，希望可以在較低成本下獲得更高的吞吐量。Flex Logix 對(duì)這些客戶模型進(jìn)行了基準(zhǔn)測(cè)試。基準(zhǔn)測(cè)試的結(jié)果顯示，InferX X1 不僅可以完全滿足用戶在吞吐量方面的要求，并且價(jià)格更低。Flex Logix 將于近期開(kāi)始向早期客戶出貨樣品芯片，并計(jì)劃于明年一季度向更廣大客戶群體提供樣品芯片。批量生產(chǎn)的芯片將于2021年下半年開(kāi)始全面出貨。

InferX X1芯片面積為54mm²， 僅為1美分硬幣的1/5大小，更是遠(yuǎn)遠(yuǎn)小于其它同類產(chǎn)品。InferX X1 芯片的批量?jī)r(jià)格僅有目前行業(yè)領(lǐng)軍產(chǎn)品的1/10左右。這是高質(zhì)量、高性能的AI推理產(chǎn)品第一次真正走向普羅大眾。原本昂貴的AI推理將不再遙不可及。

InferX X1 配套的軟件使其非常易于用戶使用。其中的InferX Compiler可以將TensorFlow Lite 或者 ONNX 的模型直接轉(zhuǎn)換為可以在InferX X1上運(yùn)行的程序。

“對(duì)于已有邊緣推理系統(tǒng)的用戶來(lái)說(shuō)，他們需要更高性價(jià)比的AI推理解決方案。只有這樣，他們才能真正將神經(jīng)網(wǎng)絡(luò)模型全面應(yīng)用在其批量化產(chǎn)品中。InferX X1 恰好滿足了這類用戶的需求。相比于目前行業(yè)的領(lǐng)軍產(chǎn)品，InferX X1 可以為用戶帶來(lái)數(shù)十倍甚至上百倍的性價(jià)比提升。” Flex Logix 的創(chuàng)始人CEO Geoff Tate 在受訪時(shí)這樣表示。

Gforce Marketing公司的首席營(yíng)銷主任及SemiWiki雜志的撰稿人Mike Gianfagna先生認(rèn)為：“Flex Logix此次推出的技術(shù)將為整個(gè)AI市場(chǎng)帶來(lái)革命性的變化。InferX X1將顯著拓寬現(xiàn)有的AI應(yīng)用市場(chǎng)，將AI推理帶入更為廣闊的市場(chǎng)領(lǐng)域。其它推理解決方案在性價(jià)比方面目前很難與Flex Logix相匹敵。因此，這次發(fā)布的InferX X1將顛覆當(dāng)前的AI市場(chǎng)格局。我們相信Flex Logix在未來(lái)會(huì)呈現(xiàn)指數(shù)級(jí)別的飛速成長(zhǎng)?！?/p>

TIRIAS Research的首席分析官 Kevin Krewell表示：“TIRIAS Research相信，在數(shù)據(jù)中心內(nèi)部和以外的各類應(yīng)用場(chǎng)景中，針對(duì)機(jī)器學(xué)習(xí)模型的大規(guī)模部署才剛剛開(kāi)始。我們是否可以在廣闊的工業(yè)領(lǐng)域中大規(guī)模布局AI推理應(yīng)用的關(guān)鍵性因素就在于芯片解決方案的功耗和成本效率。我們相信，F(xiàn)lex Logix推出的 InferX X1加速器和PCIe板將帶給我們更高的能效比和性價(jià)比。”

基于多項(xiàng)Flex Logix 的專有技術(shù)，InferX X1 采用了一種全新的架構(gòu)，可以在較小面積內(nèi)實(shí)現(xiàn)較高的吞吐量。其中，F(xiàn)lex Logix 專利的 XFLX可編程互聯(lián)網(wǎng)絡(luò)架構(gòu)，也被應(yīng)用于嵌入式FPGA技術(shù)，并在過(guò)去數(shù)年中被國(guó)內(nèi)外多家知名公司所使用。其中包括 Dialog半導(dǎo)體、波音、桑迪亞國(guó)家實(shí)驗(yàn)室、以及大唐電信旗下的辰芯科技。除了 XFLX以外，InferX X1還用到了可重配置張量處理器。它由64個(gè)一維的張量處理器構(gòu)成，可通過(guò)重新配置來(lái)高效地支持各種神經(jīng)網(wǎng)絡(luò)模型的運(yùn)算。由于重配置的時(shí)間只有幾個(gè)微秒，所以神經(jīng)網(wǎng)絡(luò)模型的每一層都可以擁有經(jīng)過(guò)優(yōu)化的數(shù)據(jù)路徑。

InferX X1的批量生產(chǎn)芯片和配套軟件將于2021年第二季度開(kāi)始全面出貨。用戶樣品及早期軟件工具則計(jì)劃于2021年第一季度開(kāi)始對(duì)用戶進(jìn)行供貨。目前，F(xiàn)lex Logix 可以向符合以下條件的先期用戶提供樣品芯片和軟件，并進(jìn)行基準(zhǔn)測(cè)試支持。這些條件包括：需要有現(xiàn)成的基于 TensorFlow Lite 或者 ONNX 的神經(jīng)網(wǎng)絡(luò)模型，并有可在2021年進(jìn)行批量生產(chǎn)的產(chǎn)品項(xiàng)目。相關(guān)的具體技術(shù)指標(biāo)及價(jià)格指引也都將對(duì)這些用戶提前提供。

具體技術(shù)指標(biāo)

• 高達(dá)70% MAC 利用率，可使較小面積和較低成本處理高清圖像和較大模型。

• 一維張量處理器（1D TPU）即一維脈動(dòng)陣列

o  64B 輸入張量
o  64 INT8 MACs
o  32 BF16 MACs
o  64Bx256B權(quán)重矩陣
o  一維脈動(dòng)陣列每64個(gè)時(shí)鐘周期可完成4096次乘加運(yùn)算。

• 每顆X1芯片中的可重配置張量處理器由64個(gè)一維張量處理器（1D TPU）組成

o  可以將多個(gè)TPU配置成串聯(lián)或者并聯(lián)結(jié)構(gòu)，以實(shí)現(xiàn)多種不同的張量運(yùn)算。這種靈活性可以很有效地支持不斷衍生的諸如3D卷積等新型運(yùn)算，并保持較高性能。
o  可編程互聯(lián)網(wǎng)絡(luò)架構(gòu)可以很好地解決SRAM與TPU間的數(shù)據(jù)通路的競(jìng)爭(zhēng)問(wèn)題，達(dá)到非常高的數(shù)據(jù)交互速度。

• eFPGA可編程邏輯可用于實(shí)現(xiàn)包括控制TPU運(yùn)行的高性能狀態(tài)機(jī)，以及各種運(yùn)算符的控制邏輯

• 神經(jīng)網(wǎng)絡(luò)模型中的每一層都可被專門進(jìn)行重配置；每一次重配置只需要幾微秒的時(shí)間。

• 在處理當(dāng)前層級(jí)的同時(shí)，下一層神經(jīng)網(wǎng)絡(luò)模型的配置及權(quán)重可在后臺(tái)從DRAM中被加載；這可以極大減少由DRAM帶寬限制所帶來(lái)的計(jì)算的停頓。

• Layer fusion功能可通過(guò)將一個(gè)以上的配置文件進(jìn)行合并來(lái)降低DRAM延時(shí)。

• 僅使用較少的內(nèi)存資源以降低成本：LPDDR4x DRAM, 總共14MB SRAM

• x4 PCIe Gen 3 or Gen 4 可提供芯片與主機(jī)間的高速通信。

• 在16nm制程下芯片面積為54 mm²

• 倒裝BGA封裝尺寸為21 x 21 mm