摩爾線程首個千卡KUAE智算中心落地

據(jù)摩爾線程官網(wǎng)消息，12月19日，摩爾線程首個全國產(chǎn)千卡千億模型訓(xùn)練平臺——摩爾線程KUAE智算中心揭幕儀式在北京成功舉辦，宣告國內(nèi)首個以國產(chǎn)全功能GPU為底座的大規(guī)模算力集群正式落地。與此同時，摩爾線程聯(lián)合國內(nèi)眾多合作伙伴發(fā)起并成立了“摩爾線程PES - KUAE智算聯(lián)盟”和“摩爾線程PES - 大模型生態(tài)聯(lián)盟”，共同夯實從智算基礎(chǔ)設(shè)施到大模型訓(xùn)練與推理的國產(chǎn)大模型一體化生態(tài)，持續(xù)為我國大模型產(chǎn)業(yè)發(fā)展加速。

據(jù)官方介紹，摩爾線程KUAE智算中心解決方案以全功能GPU為底座，是軟硬一體化的全棧解決方案，包括以KUAE計算集群為核心的基礎(chǔ)設(shè)施、KUAE Platform集群管理平臺以及KUAE ModelStudio模型服務(wù)，旨在以一體化交付的方式解決大規(guī)模GPU算力的建設(shè)和運營管理問題。該方案可實現(xiàn)開箱即用，大大降低傳統(tǒng)算力建設(shè)、應(yīng)用開發(fā)和運維運營平臺搭建的時間成本，實現(xiàn)快速投放市場開展商業(yè)化運營。

摩爾線程KUAE支持包括DeepSpeed、Megatron-DeepSpeed、Colossal-AI、FlagScale在內(nèi)的業(yè)界主流分布式框架，并融合了多種并行算法策略，包括數(shù)據(jù)并行、張量并行、流水線并行和ZeRO，且針對高效通信計算并行和Flash Attention做了額外優(yōu)化。

目前，摩爾線程支持包括LLaMA、GLM、Aquila、Baichuan、GPT、Bloom、玉言等各類主流大模型的訓(xùn)練和微調(diào)?；谀柧€程KUAE千卡集群，70B到130B參數(shù)的大模型訓(xùn)練，線性加速比均可達到91%，算力利用率基本保持不變。