靠譜嗎？這家新公司在做“存算一體AI芯片”

　　做AI(人工智能)芯片已經(jīng)很了不起，拓寬計(jì)算、存儲(chǔ)之間的狹路也很不易，二者都是世界性的熱點(diǎn)課題。沒想到，今年3月才開始運(yùn)營(yíng)的這家公司聲稱要做“存算一體化”AI芯片，目前研發(fā)人員只有十幾名!

　　這家公司究竟有何高招?

　　近日在京舉辦的“安創(chuàng)成長(zhǎng)營(yíng)”第五期路演上，北京知存科技有限公司CEO王紹迪博士介紹了他們做的存算一體化的AI芯片，特點(diǎn)是低成本、低功耗，目標(biāo)是讓AI設(shè)備無所不在。

　　AI潛力巨大

　　AI目前還處于發(fā)展階段，當(dāng)前落地的應(yīng)用場(chǎng)景較少，沒有達(dá)到社會(huì)的期望。隨著AI算法的進(jìn)步以及芯片算力的提升，未來將會(huì)出現(xiàn)一個(gè)更大的爆發(fā)點(diǎn)，會(huì)涌現(xiàn)更多的應(yīng)用落地。

　　AI芯片作為AI的載體，被大家寄予厚望。據(jù)有關(guān)預(yù)測(cè)， 2020年AI芯片市場(chǎng)預(yù)計(jì)達(dá)到千億量級(jí)。傳統(tǒng)芯片巨頭諸如arm、Intel、NVIDIA都通過自研和收購?fù)瞥隽藬?shù)款芯片，互聯(lián)網(wǎng)巨頭諸如Google、亞馬遜和微軟等也都正推出和開發(fā)AI芯片。這個(gè)領(lǐng)域的創(chuàng)業(yè)公司就更多了，中國的幾家頭部公司就做得非常好。

　　AI適合“存算一體”

　　AI依賴的算法是一個(gè)龐大和復(fù)雜的網(wǎng)絡(luò)，有很多參數(shù)要存儲(chǔ)，也需要完成大量的計(jì)算，這些計(jì)算中又會(huì)產(chǎn)生大量數(shù)據(jù)。在完成大量計(jì)算的過程中，一般芯片的設(shè)計(jì)思路是將大量增加并行的運(yùn)算單元，例如上千個(gè)卷積單元，需要調(diào)用的存儲(chǔ)資源也在增大，然而存儲(chǔ)資源一直是有限的。隨著運(yùn)算單元的增加，每個(gè)運(yùn)算單元能夠使用的存儲(chǔ)器的帶寬和大小在逐漸減小，可見存儲(chǔ)器是AI芯片的瓶頸。

　　在很多AI推理運(yùn)算中，90%以上的運(yùn)算資源都消耗在數(shù)據(jù)搬運(yùn)的過程。芯片內(nèi)部到外部的帶寬以及片上緩存空間限制了運(yùn)算的效率?，F(xiàn)在工業(yè)界和學(xué)術(shù)界很多人認(rèn)為存算一體化是未來的趨勢(shì)。

　　存算一體的分類

　　存算一體化分為幾種：DRAM和SSD中植入計(jì)算芯片或者邏輯計(jì)算單元，可以被叫做存內(nèi)處理或者近數(shù)據(jù)計(jì)算，這種方式非常適合云端的大數(shù)據(jù)和神經(jīng)網(wǎng)絡(luò)訓(xùn)練等應(yīng)用;另一種就是存儲(chǔ)和計(jì)算完全結(jié)合在一起，使用存儲(chǔ)的器件單元直接完成計(jì)算，比較適合神經(jīng)網(wǎng)絡(luò)推理類應(yīng)用。

　　知存研發(fā)的是后者，即將存儲(chǔ)和計(jì)算結(jié)合到閃存單元中的存算一體。閃存技術(shù)的該技術(shù)已經(jīng)非常成熟，商用幾十年了，成本很低。

　　知存的獨(dú)特技術(shù)

　　具體地，當(dāng)前商用的神經(jīng)網(wǎng)絡(luò)非常龐大，擁有數(shù)百萬至數(shù)千萬的權(quán)重參數(shù)，或者推理過程中需要完成幾百萬到上千萬個(gè)乘加法運(yùn)算。傳統(tǒng)的計(jì)算系統(tǒng)需要將網(wǎng)絡(luò)權(quán)重參數(shù)存在片外的非易失性存儲(chǔ)器中，例如NAND Flash或NOR Flash。

　　運(yùn)算過程中，需要把部分需要的權(quán)重參數(shù)搬運(yùn)到DRAM，再把小部分參數(shù)傳入到芯片中的SRAM和eDRAM中，之后導(dǎo)入寄存器和運(yùn)算單元完成運(yùn)算。神經(jīng)網(wǎng)絡(luò)運(yùn)算需要大面積SRAM和eDRAM來減少片內(nèi)外數(shù)據(jù)搬運(yùn)和提高運(yùn)算效率，但是由于片上存儲(chǔ)成本的限制，也需要高成本、高速度的DRAM來緩存片上無法容納的權(quán)重參數(shù)和臨時(shí)數(shù)據(jù)。

　　知存科技的存算一體化原理是：知存科技的Flash存儲(chǔ)單元本身就可以存儲(chǔ)神經(jīng)網(wǎng)絡(luò)的權(quán)重參數(shù)，同時(shí)又可以完成和此權(quán)重相關(guān)的乘加法運(yùn)算，就是將乘加法運(yùn)算和存儲(chǔ)全部融合到一個(gè)Flash單元里。

　　例如，只需要100萬個(gè)Flash單元，就可以存儲(chǔ)100萬個(gè)權(quán)重參數(shù)，同時(shí)并行完成100萬次乘加法運(yùn)算。

　　知存做的是這樣一款芯片：深度學(xué)習(xí)網(wǎng)絡(luò)被映射到多個(gè)Flash陣列，這些Flash陣列不僅存儲(chǔ)，還和深度學(xué)習(xí)網(wǎng)絡(luò)同時(shí)完成網(wǎng)絡(luò)的推理，這個(gè)過程不需要邏輯計(jì)算電路。

　　這種方式的運(yùn)算效率非常高，成本很低，單個(gè)Flash單元能夠完成7、8 bit的乘加法運(yùn)算。

　　前文提到知存科技的芯片有兩個(gè)特點(diǎn)：1.運(yùn)算效率高，相比于現(xiàn)在基于馮?諾依曼架構(gòu)的深度學(xué)習(xí)芯片，大概能夠提高運(yùn)算效率10~50倍;2.產(chǎn)品成本低，節(jié)省了DRAM、SRAM、片上并行計(jì)算單元的面積消耗，簡(jiǎn)化了系統(tǒng)的設(shè)計(jì)，同時(shí)無需采用先進(jìn)的芯片加工工藝，可以數(shù)倍地降低生產(chǎn)成本，幾十倍地降低流片和研發(fā)成本。

　　當(dāng)前階段，知存科技主攻的是對(duì)成本和運(yùn)算效率(功耗)敏感的應(yīng)用，例如終端的低功耗、低成本的語音識(shí)別應(yīng)用。未來，隨著AI和物聯(lián)網(wǎng)的發(fā)展，知存科技會(huì)拓展更多的應(yīng)用場(chǎng)景，例如低成本、低功耗的感知應(yīng)用和人機(jī)交互。

　　知存的人力資源

　　2014年，知存科技的創(chuàng)始人開始在美國加州大學(xué)圣芭芭拉分校的實(shí)驗(yàn)室做這項(xiàng)技術(shù)的研發(fā)，完成過6次流片和技術(shù)驗(yàn)證。2017年底在北京注冊(cè)了公司，2018年3月正式開始運(yùn)營(yíng)，僅5個(gè)月就把設(shè)計(jì)送去流片。如果進(jìn)展順利，三四個(gè)月后就會(huì)完成芯片測(cè)試，爭(zhēng)取2019年量產(chǎn)。

　　知存科技的團(tuán)隊(duì)成員畢業(yè)于北京大學(xué)、北京航空航天大學(xué)、美國加州大學(xué)洛杉磯分校、加州大學(xué)圣芭芭拉分校等學(xué)校。核心團(tuán)隊(duì)成員大部分都有十年以上的行業(yè)經(jīng)驗(yàn)。團(tuán)隊(duì)目前有11個(gè)人，2018年年末會(huì)擴(kuò)大團(tuán)隊(duì)規(guī)模。

　　如何看待XPoint存儲(chǔ)技術(shù)?

　　Intel與美光2015年共同研制了3D XPoint技術(shù)，去年Intel推出了傲騰內(nèi)存模組，特點(diǎn)也是提速AI和數(shù)據(jù)中心等的計(jì)算與存儲(chǔ)之間的連接速度。知存如何評(píng)價(jià)它們?

　　王紹迪博士稱：這是一項(xiàng)很新的技術(shù)，這項(xiàng)技術(shù)的selector做得很好。但目前主要問題是成本和系統(tǒng)支持度的問題。不過，隨著產(chǎn)業(yè)鏈的發(fā)展，成本會(huì)越來越低，速度也會(huì)更快，系統(tǒng)也會(huì)更好地支持XPoint兼有的高速和非易失性的特性。

　　可見，作為存儲(chǔ)器、內(nèi)存或者他們的統(tǒng)一體(存算一體化)類應(yīng)用，未來成本降低之后，會(huì)有非常大的優(yōu)勢(shì)。Intel在這個(gè)技術(shù)的市場(chǎng)推廣上也投入很多精力，其他后來者可能會(huì)坐享其成。

　　評(píng)論：靠譜嗎?

　　具體的技術(shù)細(xì)節(jié)，知存很少透露。但至少該公司的想象力很靠譜!

　　當(dāng)下正如火如荼地舉行“世界杯”足球賽，很多人買了彩票。筆者認(rèn)為，知存能否成功，這有點(diǎn)像投資人買了彩票，興許賭一把能贏呢?