英特爾至強(qiáng)處理器助力Aible加速生成式AI工作負(fù)載
近日,英特爾與端到端Serverless(無(wú)服務(wù)器)生成式AI和增強(qiáng)型分析方案提供商Aible合作,為企業(yè)客戶提供了創(chuàng)新的解決方案,助力其在不同代際的英特爾?至強(qiáng)? CPU上運(yùn)行生成式AI與檢索增強(qiáng)生成(RAG)用例。此次合作包含了工程優(yōu)化和基準(zhǔn)測(cè)試項(xiàng)目,顯著增強(qiáng)了Aible以低成本為企業(yè)客戶提供生成式AI結(jié)果的能力,并幫助開發(fā)人員在應(yīng)用中部署AI。在雙方的通力合作下,該可擴(kuò)展、高效的AI解決方案可通過(guò)高性能硬件幫助客戶迎接AI挑戰(zhàn)。
本文引用地址:http://www.ex-cimer.com/article/202407/460516.htm英特爾數(shù)據(jù)中心與人工智能事業(yè)部高級(jí)首席工程師Mishali Naik表示:“現(xiàn)在,客戶正在尋求高效的企業(yè)級(jí)解決方案以充分釋放AI潛力。我們與Aible的合作,也表明了英特爾正與行業(yè)緊密協(xié)作,推動(dòng)AI創(chuàng)新,降低客戶使用英特爾至強(qiáng)處理器運(yùn)行最新生成式AI工作負(fù)載的門檻?!?/p>
英特爾至強(qiáng)處理器
至強(qiáng)處理器的生成式AI性能:Aible的解決方案展示了CPU如何顯著提升從運(yùn)行語(yǔ)言模型至RAG的一系列最新AI工作負(fù)載性能?;卺槍?duì)英特爾處理器的優(yōu)化,Aible技術(shù)采用高效、智能的“端到端無(wú)服務(wù)器”方法,僅在產(chǎn)生用戶請(qǐng)求時(shí)才會(huì)進(jìn)行資源消耗。例如,基于用戶查詢,向量數(shù)據(jù)庫(kù)僅需幾秒即可激活并檢索相關(guān)信息,而語(yǔ)言模型同樣只需簡(jiǎn)單啟動(dòng)即可處理并響應(yīng)用戶請(qǐng)求,這種按需操作的運(yùn)行模式有助于企業(yè)降低總擁有成本(TCO)。
雖然在多數(shù)情況下,RAG功能需通過(guò)利用GPU和加速器的并行處理能力來(lái)實(shí)現(xiàn),但Aible的無(wú)服務(wù)器技術(shù)與英特爾至強(qiáng)處理器相結(jié)合,可使RAG用例完全由CPU來(lái)驅(qū)動(dòng)。性能數(shù)據(jù)顯示,多款不同代際的英特爾至強(qiáng)處理器均可高效運(yùn)行RAG工作負(fù)載。
配置詳細(xì)信息如圖,結(jié)果可能會(huì)有不同
重要意義:Aible通過(guò)無(wú)服務(wù)器的方式使用CPU,可在多個(gè)客戶之間更為安全地共享底層計(jì)算資源,從而幫助客戶有效降低生成式AI項(xiàng)目的運(yùn)營(yíng)成本。這種降低成本的方式可以類比為用戶僅需在使用時(shí)購(gòu)買電力,而非直接租賃發(fā)電機(jī)。此外,隨著生成式AI需求的增長(zhǎng),性能優(yōu)化和節(jié)能降耗變得愈發(fā)重要。Aible所提供的基于CPU的服務(wù),為客戶提供了一種經(jīng)濟(jì)、高效的解決方案。
根據(jù)Aible的基準(zhǔn)測(cè)試分析,當(dāng)客戶采用基于CPU的無(wú)服務(wù)器解決方案運(yùn)行RAG模型時(shí),成本節(jié)省可高達(dá)55倍1。大幅降低的成本證明了Aible獨(dú)家方法的有效性,同時(shí)這種無(wú)服務(wù)器的CPU采用方式也減少了通過(guò)共享服務(wù)或?qū)S梅?wù)器構(gòu)建更為昂貴的、基于GPU的基礎(chǔ)設(shè)施需求。
此次英特爾及英特爾實(shí)驗(yàn)室與Aible的合作,共同優(yōu)化了至強(qiáng)處理器上的AI工作負(fù)載。值得一提的是,通過(guò)優(yōu)化Aible針對(duì)AVX-512的代碼,Aible在至強(qiáng)處理器上實(shí)現(xiàn)了顯著的性能及吞吐量提升,這也彰顯了戰(zhàn)略性的軟件優(yōu)化對(duì)于整體效率的影響。
在Aible平臺(tái)的支持下,RAG模型與英特爾至強(qiáng)處理器的結(jié)合可推動(dòng)以下應(yīng)用落地:
● 自然語(yǔ)言處理(NLP)
● 推薦系統(tǒng)
● 決策支持系統(tǒng)
● 內(nèi)容生成
英特爾與Aible的合作始于第四代至強(qiáng)處理器的發(fā)布。此后,雙方針對(duì)至強(qiáng)處理器的AI工作負(fù)載、代碼和庫(kù)進(jìn)行了一系列優(yōu)化,并大幅提升了Aible的產(chǎn)品性能。
1 英特爾不控制或?qū)徲?jì)第三方數(shù)據(jù)。您可咨詢其他來(lái)源以評(píng)估準(zhǔn)確性。
配置詳情:
1節(jié)點(diǎn),2x英特爾?至強(qiáng)? Platinum 8280L CPU,2.70GHz, 28核心,HT開啟,Turbo開啟,NUMA 2,集成加速器可用[已使用]:DLB 0 [0],DSA 0 [0],IAA 0 [0],QAT 0 [0],總內(nèi)存384GB (12x32GB DDR4 2933 MT/s [2934 MT/s]),BIOS SE5C620.86B.02.01.0017.110620230543,微碼0x5003604,2x以太網(wǎng)連接X(jué)722用于10GBASE-T,1x 894.3G英特爾SSDSC2KB96,1x 1.8T英特爾SSDPE2KX020T8,2x 3.7T英特爾SSDPE2KX040T8,Red Hat Enterprise Linux 8.9 (Ootpa),4.18.0-513.18.1.el8_9.x86_64,WORKLOAD=Aible端到端RAG-LLM,模型=Mistral-7B-OpenOrca-GGUF,all-MiniLM-L6-v2,gcc 12.2.0,IntelLLVM 2024.0.2,llama.cpp,ChromaDB,Langchain,oneAPI基礎(chǔ)容器2024.0.1-devel-ubuntu22.04?;谟⑻貭?3/07/24的測(cè)試。
1節(jié)點(diǎn),2x英特爾?至強(qiáng)? Platinum 8462Y+,32核心,HT開啟,Turbo開啟,NUMA 2,集成加速器可用[已使用]:DLB 2 [0],DSA 2 [0],IAA 2 [0],QAT 2 [0],總內(nèi)存512GB (16x32GB DDR5 4800 MT/s [4800 MT/s]),BIOS 05.12.00,微碼0x2b0004d0,2x BCM57416 NetXtreme-E Dual-Media 10G RDMA以太網(wǎng)控制器,2x以太網(wǎng)控制器E810-C for QSFP,2x 3.5T三星MZQL23T8HCLS-00B7C,1x 1.8T三星MZ1L21T9HCLS-00A07,Red Hat Enterprise Linux 8.9 (Ootpa),4.18.0-513.18.1.el8_9.x86_64,WORKLOAD=Aible端到端RAG-LLM,模型=Mistral-7B-OpenOrca-GGUF,all-MiniLM-L6-v2,gcc 12.2.0,IntelLLVM 2024.0.2,llama.cpp,ChromaDB,Langchain,oneAPI基礎(chǔ)容器2024.0.1-devel-ubuntu22.05?;谟⑻貭?3/07/24的測(cè)試。
1節(jié)點(diǎn),2x英特爾?至強(qiáng)? PLATINUM 8562Y+,32核心,HT開啟,Turbo開啟,NUMA 2,集成加速器可用[已使用]:DLB 2 [0],DSA 2 [0],IAA 2 [0],QAT 2 [0],總內(nèi)存512GB (16x32GB DDR5 5600 MT/s [5600 MT/s]),BIOS 3B05.TEL4P1,微碼0x21000161,2x以太網(wǎng)控制器X710用于10GBASE-T,2x以太網(wǎng)控制器E810-C for QSFP,1x 894.3G英特爾SSDSC2KG96,1x 3.5T三星MZQL23T8HCLS-00A07,3x 3.5T三星MZQL23T8HCLS-00B7C,Red Hat Enterprise Linux 8.9 (Ootpa),4.18.0-513.18.1.el8_9.x86_64,WORKLOAD=Aible端到端RAG-LLM,模型=Mistral-7B-OpenOrca-GGUF,all-MiniLM-L6-v2,gcc 12.2.0,IntelLLVM 2024.0.2,llama.cpp,ChromaDB,Langchain,oneAPI基礎(chǔ)容器2024.0.1-devel-ubuntu22.06。基于英特爾03/07/24的測(cè)試。
評(píng)論