OpenAI新模型GPT-5或?qū)o緣明年發(fā)布
AI的下一個(gè)飛躍似乎沒法準(zhǔn)時(shí)報(bào)道了。據(jù)外媒報(bào)道,OpenAI在推進(jìn)其下一代核心模型GPT-5(代號(hào)Orion)的開發(fā)正面臨重重困難,該項(xiàng)目已開發(fā)超過18個(gè)月,成本花費(fèi)巨大卻仍未取得預(yù)期成果。
本文引用地址:http://www.ex-cimer.com/article/202412/465753.htm內(nèi)部消息透露OpenAI已經(jīng)完成了至少兩次大型訓(xùn)練運(yùn)行,希望通過對(duì)大量數(shù)據(jù)的訓(xùn)練來改進(jìn)模型。然而,訓(xùn)練進(jìn)程較預(yù)期滯后,預(yù)示著更大規(guī)模的訓(xùn)練任務(wù)不僅耗時(shí)冗長,而且經(jīng)濟(jì)成本高昂。
估算顯示,GPT-5一次為期6個(gè)月的訓(xùn)練僅計(jì)算成本就高達(dá)約5億美元。OpenAI首席執(zhí)行官薩姆·阿爾特曼(Sam Altman)則表示,未來的AI模型成本預(yù)計(jì)將超過10億美元。
模型的測試是一個(gè)持續(xù)的過程,大規(guī)模的訓(xùn)練運(yùn)行可能需要幾個(gè)月的時(shí)間,數(shù)萬億個(gè)token會(huì)被“投喂”給模型。想要讓GPT-5變得更智能,就需要更多高質(zhì)量、多樣化的數(shù)據(jù),為解決這一問題,OpenAI選擇從頭開始創(chuàng)建數(shù)據(jù) —— 他們雇傭軟件工程師和數(shù)學(xué)家等專業(yè)人士編寫新代碼或解決數(shù)學(xué)問題,以此作為訓(xùn)練數(shù)據(jù)。另外,OpenAI也開始開發(fā)“合成數(shù)據(jù)”,利用AI生成的數(shù)據(jù)來訓(xùn)練Orion,并認(rèn)為可以通過使用其另一個(gè)AI模型o1生成的數(shù)據(jù)來避免故障。
值得注意的是,薩姆·阿爾特曼此前已公開承認(rèn),隨著AI模型復(fù)雜度急劇上升,公司在多線程項(xiàng)目管理,尤其是計(jì)算資源的高效配置上,正面臨前所未有的挑戰(zhàn)。鑒于此,OpenAI已預(yù)計(jì)GPT-5將無緣下一年發(fā)布。
OpenAI首席產(chǎn)品官Kevin Weil進(jìn)一步闡釋了公司的當(dāng)前戰(zhàn)略重心,強(qiáng)調(diào)在推動(dòng)視頻模型Sora進(jìn)入下一階段重大升級(jí)之前,將致力于提升模型的安全性、模擬精準(zhǔn)度以及計(jì)算規(guī)模的可擴(kuò)展性,確保各項(xiàng)標(biāo)準(zhǔn)均達(dá)到行業(yè)頂尖水平。
OpenAI的下一個(gè)旗艦?zāi)P涂赡懿⒉幌衿淝拜吥菢哟碇薮蟮娘w躍,盡管新模型的性能超過了OpenAI的現(xiàn)有模型,但與從GPT-3到GPT-4的躍升過程中所看到的相比,新模型的性能提升幅度較小。
評(píng)論