ARK報(bào)告：AI仍處早期，發(fā)展速度是摩爾定律50倍

文 | 董溫淑

智東西7月1日消息，近日，投資管理公司ARK Invest發(fā)布一份報(bào)告，分析了人工智能技術(shù)的發(fā)展情況。

通過與摩爾定律的發(fā)展歷程進(jìn)行對比，ARK認(rèn)為，人工智能還處于較早期的階段。數(shù)據(jù)顯示，目前人工智能的訓(xùn)練成本正以50倍于摩爾定律的速度增長，對于許多用例來說，運(yùn)行AI推理系統(tǒng)的成本幾乎為。

一、AI計(jì)算復(fù)雜度每年激增10倍

在過去10年中，用于人工智能的訓(xùn)練模型的計(jì)算資源激增。在1960到2010年間，人工智能的計(jì)算復(fù)雜度每兩年翻一番。在2010到2020年間，人工智能的計(jì)算復(fù)雜度每年猛增10倍。

▲1960～2020年間，人工智能計(jì)算復(fù)雜度變化

報(bào)告認(rèn)為，企業(yè)有足夠的動力增加對AI的計(jì)算資源投入。一方面，這是因?yàn)槿斯ぶ悄芗夹g(shù)能夠帶來顯著的收入增長；另一方面，用于訓(xùn)練人工智能模型的硬件成本在迅速下降。

實(shí)際上，一些超級互聯(lián)網(wǎng)公司已經(jīng)開始利用自己掌握的數(shù)據(jù)訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)。目前，這些公司已經(jīng)在人工智能硬件方面投入了數(shù)億美元的預(yù)算。報(bào)告預(yù)計(jì)，隨著時(shí)間推移，互聯(lián)網(wǎng)公司會獲得更高的回報(bào)率。

二、AI模型成本下降：訓(xùn)練成本可低至1美元

另外，人工智能訓(xùn)練成本約每年下降10倍。例如，2017年，在公有云上訓(xùn)練一個像ResNet-50這樣的圖像識別網(wǎng)絡(luò)成本約為1000美元。到了2019年，這項(xiàng)成本降為約10美元。根據(jù)報(bào)告，按照目前的下降速度，到今年年底，這項(xiàng)成本或?qū)⒔禐?美元。

▲人工智能訓(xùn)練成本呈現(xiàn)下降趨勢

運(yùn)行一個訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)用于推理的成本下降得更快。在過去兩年中，分類10億張圖片的成本從10000美元下降到0.03美元。

▲過去兩年間，運(yùn)行神經(jīng)網(wǎng)絡(luò)分類10億張圖片的成本呈現(xiàn)下降趨勢

三、軟件和硬件的突破使成本下降成為可能

軟件和硬件的突破使上述成本下降成為可能。過去3年間，芯片和系統(tǒng)已經(jīng)進(jìn)化到可以為深度學(xué)習(xí)任務(wù)添加專用硬件，這帶來了16倍的性能提升。如果保持硬件不變，用新版本的AI框架（TensorFlow和PyTorch）與新的訓(xùn)練方法結(jié)合，可以產(chǎn)生8倍的性能增益。

▲左–硬件升級帶來的性能提升；右–軟件升級帶來的性能提升

奇怪的是，人工智能訓(xùn)練芯片的成本并未隨著單位硬件價(jià)格的下降而下降。例如，NVIDIA GPU數(shù)據(jù)中心經(jīng)過3次迭代，價(jià)格翻了3倍。事實(shí)上，自從2017年推出Nvidia V100 GPU以來，亞馬遜網(wǎng)絡(luò)服務(wù)（AWS）并沒有降低過它的價(jià)格。

理論上說，AI芯片市場上的競爭有可能驅(qū)動NVIDIA降低價(jià)格。但實(shí)際上，迄今為止還沒有玩家能夠研發(fā)出對Nvidia V100 GPU形成威脅的產(chǎn)品。

四、目前還處于早期階段，2023年市值有望超越互聯(lián)網(wǎng)

在摩爾定律的第一個10年里，晶體管的數(shù)量每年翻一翻。報(bào)告指出，鑒于目前人工智能訓(xùn)練和推理的成本在以1/10到1/100的速率下降，人工智能還處于非常早期的階段，也許在未來幾十年里，人工智能會以緩慢的速度保持增長。

迄今為止，人工智能為全球股票市值增加了約1萬億美元。ARK預(yù)計(jì)，到2023年，人工智能的股票市值有望達(dá)到30萬億美元，人工智能或?qū)⒊蔀榈谝豁?xiàng)超越互聯(lián)網(wǎng)股票市值的技術(shù)。

▲2023年，人工智能的股票市值有望達(dá)到30萬億美元

結(jié)語：與OpenAI研究結(jié)果一致

ARK Invest分析了人工智能計(jì)算復(fù)雜度、訓(xùn)練成本、推理成本、軟件和硬件的變化趨勢，并與摩爾定律的發(fā)展進(jìn)行對比。數(shù)據(jù)顯示，目前人工智能還處于早期發(fā)展階段。

這項(xiàng)發(fā)現(xiàn)與OpenAI的一份報(bào)告中得出的結(jié)論一致。OpenAI報(bào)告顯示，自2012年以來，在ImageNet基準(zhǔn)測試中，將圖像分類AI模型訓(xùn)練到同等性能所需計(jì)算量每16個月縮短一半。

要指出的是，雖然訓(xùn)練模型的總體花費(fèi)在下降，但是在云上開發(fā)AI工具還比較昂貴。例如，在最近的一項(xiàng)研究中，華盛頓大學(xué)研究團(tuán)隊(duì)訓(xùn)練了一個用于檢測假新聞的AI模型，在兩周的訓(xùn)練時(shí)間里，該模型的訓(xùn)練費(fèi)用達(dá)到了25000美元。

文章來源：ARK Invest