大模型訓(xùn)練 文章 進(jìn)入大模型訓(xùn)練技術(shù)社區(qū)

天垓100率先完成百億級(jí)參數(shù)大模型訓(xùn)練，天數(shù)智芯迎來(lái)新的里程碑

• ?6月10日，在第五屆智源大會(huì)AI系統(tǒng)分論壇上，上海天數(shù)智芯半導(dǎo)體有限公司（以下簡(jiǎn)稱“天數(shù)智芯”）對(duì)外宣布，在天垓100加速卡的算力集群，基于北京智源人工智能研究院（以下簡(jiǎn)稱“智源研究院”）70億參數(shù)的Aquila語(yǔ)言基礎(chǔ)模型，使用代碼數(shù)據(jù)進(jìn)行繼續(xù)訓(xùn)練，穩(wěn)定運(yùn)行19天，模型收斂效果符合預(yù)期，證明天數(shù)智芯有支持百億級(jí)參數(shù)大模型訓(xùn)練的能力。圖 天數(shù)智芯產(chǎn)品線總監(jiān)宋煜? ? ? ?在北京市海淀區(qū)的大力支持下，智源研究院、天數(shù)智芯與愛(ài)特云翔共同合作，聯(lián)手開(kāi)展基于自
• 關(guān)鍵字： 天垓100  百億級(jí)參數(shù)  大模型訓(xùn)練  天數(shù)智芯