人工智能的第三支柱：數(shù)據(jù)存儲

西部數(shù)據(jù)公司副總裁兼中國區(qū)總經(jīng)理 蔡耀祥

如今，AI無處不在。各個行業(yè)正通過對基礎(chǔ)設(shè)施進(jìn)行大量投資，來支持創(chuàng)新的應(yīng)用和用例。我們大都對于時下GPU、CPU和內(nèi)存這類以計算為主的基礎(chǔ)設(shè)施有所耳聞，而數(shù)據(jù)存儲作為AI的“第三支柱”，也正對AI起到更為關(guān)鍵的作用。

對于文本的AI訓(xùn)練相對簡單，但當(dāng)轉(zhuǎn)向音頻、圖像以及視頻時，所生成的數(shù)據(jù)量將會呈現(xiàn)指數(shù)級增長，對存儲的需求自然而然會有很快的攀升。而且隨著時間的推移，數(shù)據(jù)的總量也在持續(xù)增長。IDC預(yù)計截至2028年，每年產(chǎn)生的數(shù)據(jù)總量將接近400 ZB（澤字節(jié)，Zettabyte）^[1]。

在數(shù)據(jù)生成量不斷增長的趨勢下，數(shù)據(jù)存儲技術(shù)對于人工智能數(shù)據(jù)周期（AI Data Cycle）中不同階段基礎(chǔ)設(shè)施和工作負(fù)載的容量、性能、能耗效益以及成本效益都至關(guān)重要。AI系統(tǒng)在處理和分析現(xiàn)有數(shù)據(jù)的同時也會產(chǎn)生新數(shù)據(jù)，其中很多數(shù)據(jù)會因其功能性或娛樂性被保存。新型AI用例和更先進(jìn)的模型令現(xiàn)有數(shù)據(jù)資源庫和額外數(shù)據(jù)源對模型上下文和訓(xùn)練的價值更甚。數(shù)據(jù)的不斷生成促成了更多的數(shù)據(jù)存儲，而更多的數(shù)據(jù)存儲又進(jìn)一步推動數(shù)據(jù)生成，一個良性循環(huán)的人工智能數(shù)據(jù)周期就此誕生。

西部數(shù)據(jù)在今年6月正式發(fā)布了人工智能數(shù)據(jù)周期存儲框架，該框架闡明了在大型AI工作負(fù)載的六個階段中每一階段的存儲重點(diǎn)，幫助企業(yè)級數(shù)據(jù)中心規(guī)劃者厘清AI和數(shù)據(jù)存儲之間的動態(tài)關(guān)系。西部數(shù)據(jù)也正積極調(diào)整產(chǎn)品路線圖，以滿足在AI驅(qū)動下不斷升級的需求，更大限度地提升性能和容量并降低能耗和TCO（總體擁有成本，Total Cost of Ownership）。

人工智能數(shù)據(jù)周期的六大階段

西部數(shù)據(jù)通過人工智能數(shù)據(jù)周期，詳細(xì)解讀了AI管道六個階段中數(shù)據(jù)從收集、訓(xùn)練到推理的存儲細(xì)節(jié)。

<人工智能數(shù)據(jù)周期>

讓我們簡單了解一下人工智能數(shù)據(jù)周期的各個階段。

1)原始數(shù)據(jù)存檔，內(nèi)容存儲：從各種來源安全高效地收集并存儲原始數(shù)據(jù)，以用于訓(xùn)練模型。所收集數(shù)據(jù)的質(zhì)量和多樣性至關(guān)重要，為后續(xù)的所有階段奠定了基礎(chǔ)。

在此階段，查找并收集數(shù)據(jù)集需要大容量存儲，通常來說會用到大容量企業(yè)級HDD（eHDD）。由于企業(yè)級HDD可以經(jīng)濟(jì)高效地存儲巨量規(guī)?；瘮?shù)據(jù)，且擁有更低的TCO，被視作是建立深度內(nèi)容資源庫的理想選擇。全球線上和可訪問的冷數(shù)據(jù)及溫數(shù)據(jù)都主要通過它來保存。具體來說，選用單盤容量點(diǎn)更高的HDD能夠幫助云和企業(yè)級用戶提升存儲密度，實(shí)現(xiàn)數(shù)據(jù)中心的規(guī)?；瘮U(kuò)展，滿足不斷增長的容量需求。

2)數(shù)據(jù)準(zhǔn)備和轉(zhuǎn)換：在該階段，數(shù)據(jù)會被處理、清洗和轉(zhuǎn)換，以供模型訓(xùn)練使用。在AI場景下，這一階段需要執(zhí)行的操作很復(fù)雜，并且對性能的要求也更高。數(shù)據(jù)需要首先被轉(zhuǎn)化為AI模型可以使用的信息，包括對文本、圖片、視頻以及所有輸入AI模型的內(nèi)容進(jìn)行矢量化處理。這也是AI管道中對各方面需求都更高的階段，對計算和存儲基礎(chǔ)設(shè)施的要求也更加苛刻。

這是一個對性能要求很高且存儲密集的階段，該階段的存儲選擇從HDD轉(zhuǎn)向了SSD，從而建立高速數(shù)據(jù)湖以支持?jǐn)?shù)據(jù)準(zhǔn)備和轉(zhuǎn)換。在該階段，用戶會部署采用大容量企業(yè)級SSD（eSSD）的全閃存存儲系統(tǒng)，以增強(qiáng)現(xiàn)有的基于HDD的資源庫，或用于新的全閃存存儲層。

3)AI模型訓(xùn)練：AI模型會在該階段進(jìn)行反復(fù)訓(xùn)練，從而基于訓(xùn)練數(shù)據(jù)做出準(zhǔn)確的預(yù)測。具體來說，模型是在高性能超級計算機(jī)上進(jìn)行訓(xùn)練的，而訓(xùn)練效率在很大程度上取決于最大化GPU利用率和專門的高性能存儲。

從數(shù)據(jù)中心的角度來看，這一階段的工作負(fù)載對計算性能的要求極高，所以需要我們再次轉(zhuǎn)變存儲策略。這一階段理想的SSD是高性能、低容量、以計算為目的企業(yè)級SSD，確保向GPU集成系統(tǒng)輸入數(shù)據(jù)的環(huán)節(jié)不會因存儲性能不足而受到影響。此外，在該過程中還有很多復(fù)雜的操作，如檢驗(yàn)點(diǎn)、歸檔等，可能會根據(jù)計算狀態(tài)，將整個數(shù)據(jù)集寫回數(shù)據(jù)湖或進(jìn)行檢索。因此，計算密集型存儲和基于閃存的數(shù)據(jù)湖在該階段有時會混合應(yīng)用。

4)界面交互：這一階段涉及為AI模型建立用戶友好型界面，包括各類應(yīng)用程序接口（API）、儀表板和工具等，使得上下文的特定數(shù)據(jù)和終端用戶的提示可以結(jié)合起來。AI模型會被整合到現(xiàn)有的互聯(lián)網(wǎng)和客戶端應(yīng)用程序中，在不取代現(xiàn)有系統(tǒng)的情況下增強(qiáng)其功能，進(jìn)一步推動了存儲需求。

這一階段的存儲重點(diǎn)在終端，比如在客戶端設(shè)備、移動設(shè)備以及物聯(lián)網(wǎng)設(shè)備。這些都是真正執(zhí)行推理的地方。這里不僅有較高的性能需求來應(yīng)對推理過程，也有更大的容量需求來應(yīng)對新數(shù)據(jù)的產(chǎn)生。

兼顧性能和容量的客戶端存儲設(shè)備填補(bǔ)了這些需求。最終這些內(nèi)容會回到基于HDD的長期內(nèi)容存儲系統(tǒng)中，無論是歸檔或云端的。換言之，PC和筆記本電腦需要容量更大、性能更強(qiáng)的客戶端SSD（cSSD），手機(jī)、物聯(lián)網(wǎng)系統(tǒng)和汽車會需要容量更大的嵌入式閃存設(shè)備，以在邊緣已有的應(yīng)用中增強(qiáng)AI。

5)AI推理引擎：第五階段是奇跡實(shí)時發(fā)生的地方。在這個階段，訓(xùn)練好的模型被部署到數(shù)據(jù)生產(chǎn)環(huán)境中，對新的數(shù)據(jù)進(jìn)行分析并提供實(shí)時的預(yù)測或者生成新的內(nèi)容。推理引擎的效率將直接影響AI響應(yīng)的及時性和準(zhǔn)確性。

這一階段需要用于緩存的高性能eSSD、用于高速數(shù)據(jù)湖的大容量eSSD、大容量cSSD以及用于AI驅(qū)動邊緣設(shè)備的嵌入式閃存。

6)新內(nèi)容生成：最后一個階段是新內(nèi)容誕生的地方。AI模型所帶來的洞察分析經(jīng)常會產(chǎn)生新的數(shù)據(jù)，這些數(shù)據(jù)因其價值或趣味性而被存儲。盡管這一階段標(biāo)志著循環(huán)的結(jié)束，但與此同時生成的新數(shù)據(jù)又會被反饋到數(shù)據(jù)周期中，通過不斷提升數(shù)據(jù)價值以用于未來模型的訓(xùn)練和分析，實(shí)現(xiàn)持續(xù)的改進(jìn)和創(chuàng)新。

生成的內(nèi)容將被存儲到大容量eHDD中，在數(shù)據(jù)中心實(shí)現(xiàn)大容量存儲、備份和歸檔。同時，大容量cSSD和嵌入式閃存設(shè)備也將用于存儲邊緣設(shè)備中額外由AI驅(qū)動的數(shù)據(jù)。

合理的存儲產(chǎn)品組合，進(jìn)一步優(yōu)化AI領(lǐng)域投資效益

上述每個階段都有著不同的基礎(chǔ)設(shè)施需求、計算需求、存儲需求以及不同的工作負(fù)載特性，但每個階段都是整個人工智能數(shù)據(jù)周期中不可分割的一部分。針對不同階段差異化的存儲需求，企業(yè)可以通過優(yōu)化存儲組合來應(yīng)對大規(guī)模AI運(yùn)算負(fù)載，搭建更為先進(jìn)的存儲基礎(chǔ)架構(gòu)，進(jìn)而提高AI工作流的效率并降低TCO，進(jìn)一步優(yōu)化在AI領(lǐng)域的投資效益。

西部數(shù)據(jù)已戰(zhàn)略性地調(diào)整閃存和HDD產(chǎn)品和技術(shù)路線圖，幫助應(yīng)對人工智能數(shù)據(jù)周期中每個關(guān)鍵環(huán)節(jié)的數(shù)據(jù)存儲需求。

西部數(shù)據(jù)現(xiàn)已正式向指定客戶出樣具備行業(yè)領(lǐng)先容量的32TB 企業(yè)級ePMR HDD。全新的大容量Ultrastar DC HC690 UltraSMR HDD專為超大規(guī)模云和企業(yè)級數(shù)據(jù)中心的巨量數(shù)據(jù)存儲需求設(shè)計。在人工智能工作流這類對大規(guī)模數(shù)據(jù)存儲和低TCO有嚴(yán)格要求的應(yīng)用場景下，該產(chǎn)品可發(fā)揮重要作用。此外，憑借先進(jìn)的ePMR技術(shù)和OptiNAND技術(shù)、長遠(yuǎn)的產(chǎn)品規(guī)劃和可預(yù)見的容量提升，西部數(shù)據(jù)可以幫助用戶充分應(yīng)對當(dāng)前乃至未來AI應(yīng)用對存儲日益增長的需求。

<西部數(shù)據(jù)Ultrastar DC HC690 UltraSMR HDD>

為滿足市場對大容量SSD的需求，西部數(shù)據(jù)全新的企業(yè)級SSD將容量提升到了32TB和64TB，并針對人工智能數(shù)據(jù)周期中第二階段的高性能存儲需求和其他大容量性能存儲需求著重優(yōu)化。全新Ultrastar DC SN655+企業(yè)級SSD采用PCIe Gen 4接口，并集成了多項(xiàng)用于服務(wù)AI用例的軟件特性和功能。

<西部數(shù)據(jù)Ultrastar DC SN655+ 企業(yè)級SSD>

針對人工智能數(shù)據(jù)周期第三、四、五階段的高性能存儲需求，西部數(shù)據(jù)推出了旗下首款企業(yè)級PCIe Gen 5.0解決方案——Ultrastar DC SN861 SSD，擁有市場領(lǐng)先的隨機(jī)讀寫表現(xiàn)，容量高達(dá)16TB，隨機(jī)讀取性能相比上一代產(chǎn)品提升約3倍，超低的延遲和非凡的響應(yīng)速度尤其適用于大語言模型（Large Language Model, LLM）的訓(xùn)練、推理和AI服務(wù)部署。此外，更低的能耗能夠提供更高的每瓦特IOPS（IOPS/Watt），有助于企業(yè)進(jìn)一步降低TCO。PCIe Gen 5帶來的帶寬提升滿足了AI行業(yè)計算密集型工作環(huán)境對高速計算和低時延的需求。

<西部數(shù)據(jù)Ultrastar DC SN861企業(yè)級SSD – U.2>

<西部數(shù)據(jù)Ultrastar DC SN861企業(yè)級SSD – E1.S>

AI提速內(nèi)容增長，數(shù)據(jù)存儲未來可期

在數(shù)據(jù)中心，預(yù)計未來五年內(nèi)，HDD 和企業(yè)級SSD 都有顯著的 EB 級增長機(jī)會。

在客戶端，無論是移動設(shè)備還是PC市場上，越來越多的支持AI以及AI驅(qū)動的PC和移動設(shè)備正在涌現(xiàn)。這些設(shè)備對性能的要求更高，同時由于需要處理和存儲的數(shù)據(jù)量正不斷增加，對大容量的存儲需求也在上升。這些趨勢共同推動了存儲需求的大幅度增長，西部數(shù)據(jù)預(yù)計在未來五年內(nèi)，PC和筆記本電腦市場的cSSD需求會出現(xiàn)25%到35%的增長，智能手機(jī)的閃存需求會出現(xiàn)40%到50%的增長。

人工智能數(shù)據(jù)周期展示了這一持續(xù)生成數(shù)據(jù)和使用數(shù)據(jù)的循環(huán)，并闡述了這一循環(huán)是如何加速對高性能且可擴(kuò)展的存儲技術(shù)的需求。存儲對管理大型AI數(shù)據(jù)集、高效重構(gòu)復(fù)雜數(shù)據(jù)并推動進(jìn)一步創(chuàng)新來說至關(guān)重要。西部數(shù)據(jù)深刻理解AI和數(shù)據(jù)存儲之間的動態(tài)關(guān)系，在不斷提供更大容量產(chǎn)品的基礎(chǔ)上，為下一代AI工作負(fù)載所需要的極致性能和耐用性提供量身打造的存儲解決方案。憑借持續(xù)豐富擴(kuò)展的產(chǎn)品組合、長遠(yuǎn)的技術(shù)路線和不懈突破創(chuàng)新，西部數(shù)據(jù)將幫助用戶釋放AI的革新力量，創(chuàng)造更多價值。

[1] 來源: IDC Global Datasphere Forecast, 2024-2028, 2024年5月, US52076424