Habana Gaudi處理器為亞馬遜 EC2客戶帶來低成本的人工智能訓(xùn)練體驗

在近日舉行的re:Invent 2020 CEO主題大會上，AWS 宣布 了采用多達(dá)8個Habana? Gaudi?加速器的EC2實例，比目前GPU的EC2實例在機(jī)器學(xué)習(xí)性價比上提升了40%1，基于Gaudi^?的EC2實例計劃于2021年上半年提供使用。

在主題大會上，AWS首席執(zhí)行官Andy Jassy強(qiáng)調(diào)了各行業(yè)對高性能、更實惠的人工智能工作的巨大需求。隨著公司計劃引入以Gaudi為特色的新EC2實例進(jìn)行深度學(xué)習(xí)訓(xùn)練，AWS將進(jìn)一步降低AI數(shù)據(jù)集的訓(xùn)練成本，并降低希望利用AI提供業(yè)務(wù)分析、改善效率和增強(qiáng)用戶體驗的客戶的運營總成本。

8卡的Gaudi 解決方案可以在TensorFlow上每秒處理12000張圖像訓(xùn)練ResNet-50模型。每個Gaudi處理器集成了32GB的HBM2內(nèi)存，并集成了用于服務(wù)器內(nèi)部處理器互聯(lián)的RoCE功能。憑借AWS彈性架構(gòu)適配器（EFA）的技術(shù)可以跨服務(wù)器擴(kuò)展，從而允許AWS及其客戶無縫地擴(kuò)展使用多個基于Gaudi的系統(tǒng)以實現(xiàn)高效和可擴(kuò)展的分布式訓(xùn)練。

Habana的SynapseAI軟件套件專為在Habana Gaudi處理器上提供高性能的深度學(xué)習(xí)訓(xùn)練，SynapseAI與TensorFlow和Pythorch等流行的深度學(xué)習(xí)框架集成，對Gaudi進(jìn)行了優(yōu)化。開發(fā)人員將可以獲取開放的Gaudi軟件、參考模型和文檔。參考模型將在Habana的GitHub知識庫中公開發(fā)布，并將包括各種流行的模型，如圖像分類、對象檢測、自然語言處理和推薦系統(tǒng)。SynapseAI軟件套件包括Habana的圖形編譯器和實時Tensor Processor Core (TPC)內(nèi)核庫、固件和驅(qū)動程序，以及用于定制內(nèi)核開發(fā)的TPC SDK和SynapseAI Profiler等開發(fā)工具。

Habana將在目前Gaudi效能基礎(chǔ)上，推出下一代TSMC 7nm 的Gaudi2^?，讓AI訓(xùn)練應(yīng)用和服務(wù)廣大客戶、數(shù)據(jù)科學(xué)家和研究人員。

¹該 性價比 由AWS根據(jù)AWS內(nèi)部測試給出。 Habana? Labs不控制或?qū)徍说谌綌?shù)據(jù)；您的成本和結(jié)果可能會有所不同。

Gaudi^?性能基于8個Gaudi?處理器的服務(wù)器，HLS—1和0.11版本的SynapseAI軟件套件。