<meter id="pryje"><nav id="pryje"><delect id="pryje"></delect></nav></meter>
          <label id="pryje"></label>

          新聞中心

          EEPW首頁 > 智能計(jì)算 > 市場(chǎng)分析 > 發(fā)展國(guó)產(chǎn)大模型,不能只堆算力

          發(fā)展國(guó)產(chǎn)大模型,不能只堆算力

          作者: 時(shí)間:2023-08-21 來源:半導(dǎo)體產(chǎn)業(yè)縱橫 收藏

          隨著大模型概念火熱,成為各行各業(yè)關(guān)注的熱門話題。英偉達(dá)顯卡被搶爆,媒體關(guān)注「大模型時(shí)代到來,夠不夠」,行業(yè)想要解決 AIGC 時(shí)代的瓶頸問題。然而,發(fā)展大模型,是否解決算力問題就夠了?

          本文引用地址:http://www.ex-cimer.com/article/202308/449777.htm

          算力是大模型的底座

          大模型是在智能算力驅(qū)動(dòng)下最為典型的重大創(chuàng)新。得益于模型泛化能力強(qiáng)、長(zhǎng)尾數(shù)據(jù)的低依賴性、以及下游模型使用效率的提升,大模型被認(rèn)為具備了「通用智能」的雛形,并成為業(yè)內(nèi)探索實(shí)現(xiàn)普惠人工智能的重要途徑之一。從算力的視角看,語言類、視覺類模型容量和相應(yīng)的算力需求都在快速擴(kuò)大,大模型發(fā)展的背后是龐大的算力支撐。作為算法的結(jié)晶,需要處理大量的數(shù)據(jù)。人工智能背后需要大量的硬件支撐,已經(jīng)成了新時(shí)代的「重工業(yè)」產(chǎn)品。

          算力決定了數(shù)據(jù)處理能力的強(qiáng)弱。算力芯片是算力的具體載體,高算力芯片能夠提供超算算力、通用算力、智能算力和邊緣算力。搭載率最高的 GPU 芯片多用于圖形圖像處理、復(fù)雜的數(shù)學(xué)計(jì)算等場(chǎng)景,可較好支持高度并行的工作負(fù)載,經(jīng)常用于數(shù)據(jù)中心的模型訓(xùn)練,或用于邊緣側(cè)和端側(cè)的推理工作負(fù)載。

          服務(wù)器是算力的基礎(chǔ)設(shè)施之一。服務(wù)器的邏輯架構(gòu)和普通計(jì)算機(jī)類似,但是由于需要提供高性能計(jì)算,因此在處理能力、穩(wěn)定性、可靠性、安全性、可擴(kuò)展性、可管理性等方面要求較高。人工智能服務(wù)器由于具備圖形渲染和海量數(shù)據(jù)的并行運(yùn)算等優(yōu)勢(shì),能夠快速準(zhǔn)確地處理大量數(shù)據(jù),市場(chǎng)價(jià)值逐漸凸顯。

          隨著數(shù)據(jù)應(yīng)用的搭載率較低的 NPU 芯片,設(shè)計(jì)邏輯則更為簡(jiǎn)單,常用于邊側(cè)和端側(cè)的模型推理,并生成結(jié)果,在處理推理工作負(fù)載時(shí),具有顯著的能耗節(jié)約優(yōu)勢(shì)。根據(jù) IDC 統(tǒng)計(jì),2021 年中國(guó)仍以 GPU 為主實(shí)現(xiàn)數(shù)據(jù)中心計(jì)算加速,市場(chǎng)占有率近 90%,ASIC、FPGA、NPU 等非 GPU 芯片市場(chǎng)占有率超過 10%。據(jù) IDC 預(yù)計(jì),到 2025 年人工智能芯片市場(chǎng)規(guī)?;?qū)⑦_(dá) 726 億美元。

          IDC 數(shù)據(jù)顯示,2021 年全球人工智能服務(wù)器市場(chǎng)的同比增速超過全球整體人工智能市場(chǎng)的增速,是整體人工智能市場(chǎng)增長(zhǎng)的推動(dòng)力。IDC 發(fā)布的《全球人工智能市場(chǎng)半年度追蹤報(bào)告》顯示,2021 年全球人工智能服務(wù)器市場(chǎng)規(guī)模達(dá) 156.3 億美元,約合人民幣 1,045 億元,這是全球年度人工智能服務(wù)器市場(chǎng)首次突破千億元人民幣,同比 2020 年增速達(dá) 39.1%。

          這樣的背景下,國(guó)內(nèi)算力芯片公司「快馬揚(yáng)鞭」。例如,龍芯中科計(jì)劃明年下半年將完成兼顧顯卡和算力加速功能的專用芯片流片;龍芯 GPU 的定位主要是為了與 CPU 形成自我配套,形成系統(tǒng)優(yōu)勢(shì),降低系統(tǒng)成本。

          國(guó)產(chǎn)需要重視

          數(shù)據(jù)指的是以存儲(chǔ)容量為核心,包含性能表現(xiàn)、安全可靠、綠色低碳在內(nèi)的綜合能力。

          在國(guó)家數(shù)字經(jīng)濟(jì)大戰(zhàn)略下,數(shù)據(jù)作為生產(chǎn)要素,已成為重要的資產(chǎn)。隨著海量數(shù)據(jù)呈指數(shù)級(jí)增長(zhǎng),數(shù)據(jù)流動(dòng)加速,存儲(chǔ)作為承載數(shù)據(jù)的關(guān)鍵設(shè)施,其重要性更加凸顯。作為數(shù)據(jù)大國(guó),數(shù)據(jù)存儲(chǔ)產(chǎn)業(yè)就需要跟上。大模型正在帶動(dòng)各地建設(shè) AI 算力中心,但是產(chǎn)業(yè)主要關(guān)心的都是運(yùn)算力。倪光南院士認(rèn)為算力中心的計(jì)算能力由三個(gè)因素決定:、算力、。倪光南院士認(rèn)為,用廣義算力去定義一個(gè)算力中心,才更準(zhǔn)確。如果去計(jì)算存算比的話,美國(guó)的算力中心存算比為 1.11TB/GFlops,中國(guó)約為美國(guó)的 37.8%。

          我國(guó)數(shù)據(jù)存力發(fā)展總體水平與發(fā)達(dá)國(guó)家相比仍有一定差距。據(jù)羅蘭公司測(cè)算,美國(guó)單位 GDP 存儲(chǔ)容量高于我國(guó),我國(guó)存儲(chǔ)在經(jīng)濟(jì)發(fā)展中的支撐作用有待加強(qiáng)。據(jù)中國(guó)信通院統(tǒng)計(jì),2021 年我國(guó)存儲(chǔ)總量容量已達(dá) 800EB,出貨量年均增長(zhǎng)速度已達(dá) 50%?! ?/p>

          為了發(fā)展國(guó)產(chǎn)算力,在技術(shù)方面,需要加快部署下一代存儲(chǔ)技術(shù),推動(dòng)存儲(chǔ)核心技術(shù)底層研發(fā)和技術(shù)攻關(guān),提升存儲(chǔ)介質(zhì)、安全設(shè)計(jì)、數(shù)據(jù)防護(hù)等關(guān)鍵技術(shù)水平,打造全球存儲(chǔ)的創(chuàng)新高地。存儲(chǔ)領(lǐng)域正在發(fā)生一場(chǎng)新的技術(shù)變革,即基于半導(dǎo)體技術(shù)的新型產(chǎn)品替代基于機(jī)械技術(shù)的傳統(tǒng)產(chǎn)品,這一個(gè)正在加速進(jìn)行的客觀趨勢(shì)。SSD 可以實(shí)現(xiàn)用先進(jìn)的壓縮算法,把數(shù)據(jù)更好地壓縮,可以去重,可以更好的加密解密,用新的文件系統(tǒng)等等。

          在標(biāo)準(zhǔn)方面,應(yīng)盡快研究建立存儲(chǔ)的行業(yè)規(guī)范和標(biāo)準(zhǔn),完善數(shù)據(jù)存儲(chǔ)效率、數(shù)據(jù)保護(hù)、數(shù)據(jù)災(zāi)備、綠色低碳等數(shù)據(jù)存力關(guān)鍵標(biāo)準(zhǔn)體系。存儲(chǔ)相關(guān)企業(yè)及研究機(jī)構(gòu)進(jìn)行標(biāo)準(zhǔn)和評(píng)估體系研究,鼓勵(lì)行業(yè)龍頭企業(yè)通過硬件開放、軟件開源、使能生態(tài)伙伴等策略,給予合作伙伴尤其是創(chuàng)新型小微企業(yè)充分的發(fā)展空間,共同摸索形成存儲(chǔ)行業(yè)標(biāo)準(zhǔn);另一方面,推進(jìn)數(shù)據(jù)存儲(chǔ)產(chǎn)業(yè)國(guó)際交流與合作,加強(qiáng)與國(guó)際標(biāo)準(zhǔn)組織的合作,加速我國(guó)技術(shù)標(biāo)準(zhǔn)的國(guó)際化進(jìn)程,積極參與數(shù)據(jù)存儲(chǔ)國(guó)際規(guī)則和技術(shù)標(biāo)準(zhǔn)制定?!?/p>

          在人才培養(yǎng)方面,存力市場(chǎng)有必要進(jìn)一步完善數(shù)據(jù)產(chǎn)業(yè)人才培養(yǎng)機(jī)制,建立多層次、多元化的人才培養(yǎng)系統(tǒng),鼓勵(lì)培養(yǎng)專業(yè)理論與行業(yè)知識(shí)兼?zhèn)涞膹?fù)合型人才,鼓勵(lì)地方政府引導(dǎo)企業(yè)完善人才激勵(lì)機(jī)制,引進(jìn)和留住高端存儲(chǔ)專業(yè)人才,優(yōu)化人才的地域和行業(yè)布局。存力產(chǎn)業(yè),包括數(shù)據(jù)存儲(chǔ),數(shù)據(jù)管理技術(shù)。目前國(guó)內(nèi)對(duì)存儲(chǔ)的概念還停留在一個(gè)小的部件,沒有把它上升到一個(gè)產(chǎn)業(yè)的高度。

          有強(qiáng)大先進(jìn)的數(shù)據(jù)存儲(chǔ)產(chǎn)業(yè)作為支撐,才能有發(fā)展算力主動(dòng)權(quán)。

          國(guó)產(chǎn),沉默的搬運(yùn)工

          如果說存力已經(jīng)開始逐漸受到重視,那么國(guó)產(chǎn)相對(duì)來說可能還是一個(gè)「小透明」。但對(duì)于大模型訓(xùn)練來說,「運(yùn)力」已經(jīng)成為關(guān)鍵因素。英特爾公司高級(jí)副總裁兼網(wǎng)絡(luò)與邊緣事業(yè)部總經(jīng)理 Sachin Katti 表示,在云端訓(xùn)練大模型,單個(gè)服務(wù)器已無法承載,對(duì)網(wǎng)絡(luò)需求的高要求前所未有,「我們訓(xùn)練一個(gè)大模型就需要 5 萬-20 萬臺(tái)服務(wù)器,需要通過網(wǎng)絡(luò)來把這些服務(wù)器連接起來然后進(jìn)行訓(xùn)練,這個(gè)量是非常大的?!?/p>

          數(shù)字世界的運(yùn)力,指的是數(shù)據(jù)傳輸流轉(zhuǎn)的能力,由帶寬、時(shí)延、安全可靠等要素組成。面對(duì)強(qiáng)勁的算力需求,英偉達(dá)推出了云算力平臺(tái),企業(yè)可以租用算力,谷歌、微軟 AZURE 等云算力平臺(tái)會(huì)為其提供算力支持。而與租用的服務(wù)器的鏈接也會(huì)成為影響企業(yè)模型訓(xùn)練的因素。

          各類智能化應(yīng)用的普及,導(dǎo)致大量視頻數(shù)據(jù)、科研數(shù)據(jù)需要流動(dòng)、調(diào)度、分析處理,帶來的網(wǎng)絡(luò)壓力和運(yùn)力負(fù)擔(dān)也越來越大。

          中國(guó)移動(dòng)通信研究院發(fā)布的《面向 AI 大模型的智算中心網(wǎng)絡(luò)演進(jìn)白皮書》測(cè)算,以 1750 億參數(shù)規(guī)模的 GPT-3 模型訓(xùn)練為例,從理論估算模型分析,當(dāng)動(dòng)態(tài)時(shí)延從 10us 提升至 1000us 時(shí),GPU 有效計(jì)算時(shí)間占比將降低接近 10%;當(dāng)網(wǎng)絡(luò)丟包率為千分之一時(shí),GPU 有效計(jì)算時(shí)間占比將下降 13%;當(dāng)網(wǎng)絡(luò)丟包率達(dá)到 1%時(shí),GPU 有效計(jì)算時(shí)間占比將低于 5%?!溉绾谓档陀?jì)算通信時(shí)延、提升網(wǎng)絡(luò)吞吐是 AI 大模型智算中心能夠充分釋放算力的核心問題?!?/p>

          對(duì)于大模型來說,在訓(xùn)練大模型時(shí),模型參數(shù)存儲(chǔ)于加速器(如 GPU 顯卡)的片外緩存中,隨著訓(xùn)練進(jìn)程對(duì)模型參數(shù)進(jìn)行不斷更新迭代。在訓(xùn)練過程中,不同加速器之間需要進(jìn)行頻繁且大量的數(shù)據(jù)交換,在數(shù)據(jù)交換完成之后,才能夠去算下一步的訓(xùn)練結(jié)果。從這個(gè)角度來說,好「運(yùn)」,才能好「算」。在這一點(diǎn)上,英特爾除了提供 CPU、獨(dú)立顯卡等芯片,滿足人工智能模型訓(xùn)練、推理對(duì)算力的要求外,也提供了針對(duì)網(wǎng)絡(luò)的 IPU(Infrastructure Processing Unit)產(chǎn)品。

          從這一角度來看,在 AI 芯片賽道已經(jīng)有巨頭把控且新玩家層出不窮的情況下,布局運(yùn)力系統(tǒng)或許是另一片藍(lán)海。更重要的是,從宏觀角度來看,運(yùn)力是將算力和存力高效傳輸給終端用戶,它在基礎(chǔ)設(shè)施中起到非常重要的作用。以被熟知的「東數(shù)西算」工程為例,它還包含西數(shù)西算、南數(shù)南算、東數(shù)西存等,而實(shí)現(xiàn)這些規(guī)劃的前提是要有強(qiáng)有力的運(yùn)力做支撐。運(yùn)力網(wǎng)絡(luò)要讓用戶在調(diào)用成百上千公里以外的計(jì)算資源時(shí)的體驗(yàn)與調(diào)用隔壁工作站的資源沒什么區(qū)別。對(duì)于一個(gè)城市的大數(shù)據(jù)中心,就需要實(shí)現(xiàn)城市乃至國(guó)家層面綜合調(diào)度的能力。

          在「三力」基礎(chǔ)上打造智慧管控能力,實(shí)現(xiàn)高效調(diào)度,才有希望實(shí)現(xiàn)算力一體化服務(wù)。不久前,成都最新發(fā)布政策,指出將圍繞「算力」「存力」「運(yùn)力」等關(guān)鍵領(lǐng)域,大力發(fā)展芯片、服務(wù)器整機(jī)、液冷設(shè)備等高端硬件。顯然,行業(yè)已經(jīng)意識(shí)到,對(duì)于發(fā)展大模型,全面發(fā)展不能僅堆算力芯片。



          關(guān)鍵詞: 算力 存力 運(yùn)力

          評(píng)論


          相關(guān)推薦

          技術(shù)專區(qū)

          關(guān)閉
          看屁屁www成人影院,亚洲人妻成人图片,亚洲精品成人午夜在线,日韩在线 欧美成人 (function(){ var bp = document.createElement('script'); var curProtocol = window.location.protocol.split(':')[0]; if (curProtocol === 'https') { bp.src = 'https://zz.bdstatic.com/linksubmit/push.js'; } else { bp.src = 'http://push.zhanzhang.baidu.com/push.js'; } var s = document.getElementsByTagName("script")[0]; s.parentNode.insertBefore(bp, s); })();