從基礎(chǔ)能力到應(yīng)用，大模型實(shí)測(cè)結(jié)果揭曉
加入技術(shù)交流群
OpenAI 于 2023 年 3 月 14 日發(fā)布最新版本多模態(tài)大模型 GPT-4 及其 API；在中國(guó)市場(chǎng)，模型的通用性和泛化能力吸引了各大廠(chǎng)商布局，市場(chǎng)上的大模型/生成式AI產(chǎn)品紛至沓來(lái)。2024年5月，全球代表性AI技術(shù)供應(yīng)商如OpenAI發(fā)布了更新的大模型GPT-4o，在文本、圖像、音頻和視頻等多模態(tài)融合嘗試方面展現(xiàn)出強(qiáng)大的能力，能夠以這三者的任意組合進(jìn)行輸入和輸出，Google也發(fā)布了大模型Gemini的最新功能、文生圖模型Imagen3、對(duì)標(biāo)Sora的文生視頻模型Veo等。IDC觀(guān)察到，在中國(guó)市場(chǎng)，從2024年第二季度開(kāi)始，越來(lái)越多的AI技術(shù)供應(yīng)商開(kāi)始更新升級(jí)基礎(chǔ)大模型及相關(guān)產(chǎn)品，新一輪的“百模大戰(zhàn)”一觸即發(fā)。
本文引用地址：http://www.ex-cimer.com/article/202406/459752.htm實(shí)測(cè)方法
本次實(shí)測(cè)面向市場(chǎng)上主流的大模型技術(shù)供應(yīng)商，產(chǎn)品必須是已經(jīng)開(kāi)放使用，并按照國(guó)家互聯(lián)網(wǎng)信息辦公室要求已經(jīng)完成備案。測(cè)試的媒介主要是基于基礎(chǔ)大模型的網(wǎng)頁(yè)版的產(chǎn)品，IDC對(duì)參與廠(chǎng)商的產(chǎn)品表現(xiàn)分別進(jìn)行測(cè)評(píng)?；A(chǔ)能力問(wèn)題涉及問(wèn)答理解類(lèi)、推理類(lèi)、創(chuàng)作表達(dá)類(lèi)、數(shù)學(xué)類(lèi)、代碼類(lèi)等；應(yīng)用問(wèn)題主要包含toC通用場(chǎng)景類(lèi)和toB特定行業(yè)類(lèi)，每一類(lèi)單獨(dú)計(jì)分。
基礎(chǔ)大模型產(chǎn)品實(shí)測(cè)結(jié)果評(píng)述
為對(duì)比國(guó)內(nèi)外大模型的產(chǎn)品差異以及推動(dòng)大模型/生成式AI相關(guān)產(chǎn)品的發(fā)展和應(yīng)用，IDC成立產(chǎn)品測(cè)試團(tuán)隊(duì)，通過(guò)多個(gè)維度（如生成質(zhì)量、使用與性能、安全與合規(guī)等）對(duì)基礎(chǔ)大模型及相關(guān)產(chǎn)品進(jìn)行評(píng)測(cè)，并邀請(qǐng)外部專(zhuān)家團(tuán)隊(duì)深入分析各個(gè)產(chǎn)品答案準(zhǔn)確性、合理性等，并在審核委員會(huì)的監(jiān)督下，最終得出各廠(chǎng)商的評(píng)估結(jié)果，供用戶(hù)選型參考。
綜合最終的得分情況，基礎(chǔ)大模型產(chǎn)品能力處于第一梯隊(duì)的有（梯隊(duì)產(chǎn)品表現(xiàn)在同一均線(xiàn)，以下按照技術(shù)供應(yīng)商首字母順序排列）：阿里通義千問(wèn)/通義萬(wàn)相等通義系列生成式AI產(chǎn)品、百度文心一言/文心一格、科大訊飛訊飛星火 3.5 Max、OpenAI GPT4、商湯日日新SenseNova 5.0。
在所有的題目類(lèi)型中，目前如問(wèn)答理解、toC通用場(chǎng)景類(lèi)得分率較高，數(shù)學(xué)類(lèi)、推理類(lèi)、代碼類(lèi)問(wèn)題、行業(yè)應(yīng)用類(lèi)的準(zhǔn)確率較低，需進(jìn)一步優(yōu)化。詳細(xì)的測(cè)評(píng)結(jié)果展示如下：
IDC中國(guó)大模型產(chǎn)品測(cè)試團(tuán)隊(duì)表示，2024年產(chǎn)業(yè)界更加關(guān)注大模型和生成式AI的落地，生成式AI的進(jìn)一步發(fā)展需要多種模態(tài)的大模型作為引擎。更為接近人類(lèi)的思維方式，是未來(lái)大語(yǔ)言模型競(jìng)爭(zhēng)的關(guān)鍵，技術(shù)供應(yīng)商還需持續(xù)優(yōu)化大模型在數(shù)學(xué)、推理、代碼等問(wèn)題以及在行業(yè)應(yīng)用中的生成質(zhì)量，提高生成的速度并降低大模型使用的成本，加快大模型技術(shù)的應(yīng)用與普及。
免責(zé)聲明
本文中的內(nèi)容和數(shù)據(jù)均來(lái)源于IDC所發(fā)布的報(bào)告，所有內(nèi)容及數(shù)據(jù)均為我公司所有。未經(jīng)IDC書(shū)面許可，任何機(jī)構(gòu)和個(gè)人不得以任何形式翻版、復(fù)制、刊登、發(fā)表或引用。
評(píng)論