深言科技聯(lián)合清華大學開源 LingoWhale-8B 模型:免費商用,號稱性能超 GPT-3.5 Turbo
IT之家 11 月 3 日消息,據(jù)深言科技官方公眾號消息,由深言科技與清華大學 NLP 實驗室共同研發(fā)的語鯨 LingoWhale-8B 模型目前已面向社會開源,對學術研究完全開放,允許免費商用。
本文引用地址:http://www.ex-cimer.com/article/202311/452462.htmIT之家經過查詢得知,LingoWhale-8B 模型是擁有約 80 億參數(shù)的中英雙語大語言模型,在 C-Eval、MMLU、CMMLU 等多個權威的公開評測基準上,在 10B 以下開源模型據(jù)稱“達到領先效果”。
不過官方同時聲稱,受模型參數(shù)量影響,大模型固有的幻覺問題、數(shù)學計算能力相對較弱、生成內容有無法預見性等問題在 LingoWhale-8B 模型中仍然存在。
在性能方面,截至 10 月 24 日,在中文領域權威評測 C-Eval 中,LingoWhale-8B 模型的性能僅次于 GPT-4。在 C-Eval、CMMLU、GAOKAO 測評中,性能超過 GPT-3.5Turbo,在 10B 以下尺寸模型中性能處于領先位置。
官方給予了一些典型示例,以介紹 LingoWhale-8B 模型的特點。
官方據(jù)此表示,LingoWhale-8B 模型具有一定數(shù)學運算能力。
在以上示例中,LingoWhale-8B 模型能夠根據(jù)上文正確地列式并進行運算,包括函數(shù)求導、函數(shù)值計算、切線方程計算等操作,并最終得到結果。
而在代碼聲稱方面,官方也同時提供了一些演示:
LingoWhale-8B 具有強大的代碼理解與生成能力,能夠更好地生成代碼并解決具體的問題。在本示例中,LingoWhale-8B 模型生成了詳細的 python 代碼以及注釋信息,幫助用戶更好地理解并使用生成的代碼。
在邏輯方面,官方也同樣進行了舉例:
LingoWhale-8B 模型具有解決復雜邏輯推理任務的能力。在以上的例子中,LingoWhale-8B 將復雜的邏輯問題進行拆解,按步驟進行分析并解決問題。
上下文對話
樣例:
在以上示例中,LingoWhale-8B 模型表現(xiàn)出了較強的角色扮演、方案設計、長文本理解以及多輪對話能力,能夠根據(jù)用戶需求制定方案并組織結構化的輸出,應對更加復雜的任務場景。
知識百科
樣例 1:
官方表示,在上面兩個例子中,相較于 GPT-3.5,LingoWhale-8B 模型生成的結果更加準確詳實。
經過在大規(guī)模高質量語料上的預訓練,LingoWhale-8B 模型掌握了多個領域的知識,包括科學、歷史、文學、藝術等,能夠理解并回答各種知識相關問題,提供準確詳細的答案。
IT之家的小伙伴們可以在官方 GitHub 頁面中獲取更多詳細信息:點此訪問
評論