xAI宣布開源大語言模型Grok-1并開放下載

3月18日消息，美國當地時間周日，埃隆·馬斯克（Elon Musk）旗下的人工智能初創企業xAI宣布，其大語言模型Grok-1已實現開源，并向公眾開放下載。感興趣的用戶可通過訪問GitHub頁面github.com/xai-org/grok來使用該模型。

xAI介紹稱，Grok-1是一款基于混合專家系統（Mixture-of-Experts，MoE）技術構建的大語言模型，擁有3140億參數。近期，公司發布了Grok-1的基本模型權重和網絡架構詳情。

該公司表示，Grok-1始終由xAI自行訓練，其預訓練階段于2023年10月完成。此次發布的是Grok-1預訓練階段結束時的原始基礎模型檢查點，即該模型未經過針對任何具體應用的微調。

xAI強調，Grok-1的權重和架構均依照Apache 2.0開源許可協議發布。

xAI還特別強調了Grok-1的幾大特性：

首先，Grok-1是一個未針對特定任務進行微調的基礎模型，它基于大量文本數據訓練而成；

其次，作為一款基于混合專家技術構建的大語言模型，Grok-1擁有3140億參數，在處理每個token時有25%的權重處于活躍狀態；

最后，Grok-1是xAI團隊使用JAX和Rust編程語言自定義訓練棧從零開始訓練的成果，訓練完成于2023年10月。

此外，xAI還提到，Grok-1的封面配圖是借助人工智能繪圖工具Midjourney生成的，基于以下提示創作而成：展示一個3D插圖的神經網絡，其中包含透明的節點和發光的連接線，通過線條的粗細和顏色變化來表示權重的不同。