ChatGPT是“人工智能的里程碑” ？微軟重金押注 欲挑戰(zhàn)谷歌搜索引擎王者地位

ChatGPT如何以假亂真

ChatGPT是一個采用基于GPT-3.5架構(gòu)的大型語言模型，與InstructGPT模型是姐妹模型（sibling model），使用了人類反饋強(qiáng)化學(xué)習(xí)（RLHF）技術(shù)來更好地讓語言模型與人類指令保持一致。

而GPT（Generative Pre-Trained Transformer）是一系列基于Transformer的深度學(xué)習(xí)語言模型，利用機(jī)器學(xué)習(xí)算法來分析和理解文本輸入的含義，然后根據(jù)該輸入生成響應(yīng)。該模型在大量文本數(shù)據(jù)上進(jìn)行訓(xùn)練，使其能夠?qū)W習(xí)自然語言的模式和結(jié)構(gòu)。

· 2018年6月，OpenAl在“Improving Language Understanding by Generative Pre- Training”的論文中提出了第一個GPT模型GPT-1，GPT-1以無監(jiān)督預(yù)訓(xùn)練＋有監(jiān)督微調(diào)的方式，針對特定任務(wù)進(jìn)行訓(xùn)練，實現(xiàn)了 “強(qiáng)大的自然語言理解”。

· 2019年2月，OpenAl發(fā)表了第二篇論文 “Language Models are Unsupervised Multitask Learners”，其中介紹了由GPT-1演變的GPT-2。GPT-2可以完成多任務(wù)處理，成功地證明了半監(jiān)督語言模型可以在“無需特定任務(wù)訓(xùn)練”的情況下，在多項任務(wù)上也能夠表現(xiàn)出色。

· 2020年5月，OpenAl發(fā)表“Language Models are Few-Shot Learners”，呈現(xiàn)GPT-3，GPT-3比GPT-2大100倍，它擁有1750 億個參數(shù)。

· 2022年11月底，OpenAl進(jìn)行了兩次更新，ChatGPT由效果更強(qiáng)大的GPT-3.5系列模型提供支持，可以用更接近人類的思考方式參與用戶的查詢過程。

ChatGPT模型的訓(xùn)練過程：

i. 使用有監(jiān)督的微調(diào)訓(xùn)練初始模型：人類訓(xùn)練師之間提供對話，其中一個扮演用戶，另一個扮演ChatGPT中的Al助手。為了創(chuàng)建強(qiáng)化學(xué)習(xí)的獎勵模型，需要收集比較數(shù)據(jù)，并使用收集到的數(shù)據(jù)調(diào)整GPT-3.5模型；

ii. 模型會根據(jù)提示生成多個輸出，訓(xùn)練師將ChatGPT編寫的回復(fù)與人類的回答進(jìn)行比較，并對它們的質(zhì)量進(jìn)行排名，以幫助強(qiáng)化機(jī)器的類人對話風(fēng)格。獎勵模型將自動執(zhí)行最后一個訓(xùn)練階段，使用排名后的數(shù)據(jù)訓(xùn)練；

iii. 在最后一步使用近端策略優(yōu)化進(jìn)一步調(diào)整，這是OpenAl廣泛使用的強(qiáng)化學(xué)習(xí)技術(shù)。

曾幾何時，AI生成的文字內(nèi)容還是“一眼假”，但自從ChatGPT橫空出世以來，這種分辨工作是越來越難做了。語言生成模型來了，學(xué)校作業(yè)會不會從此變得形同虛設(shè)？

就在1月3日，擁有全美最大公立學(xué)校系統(tǒng)的紐約市，正式頒布了ChatGPT禁令。也就是說，不管是老師還是學(xué)生，都無法在紐約市公立學(xué)校的網(wǎng)絡(luò)和設(shè)備上使用ChatGPT。最近，洛杉磯和巴爾的摩的學(xué)區(qū)也加入到了這個行列。

ChatGPT存在的問題

雖然ChatGPT是一個 "人工智能的大里程碑"，但它并不完美，而這正是其工程師需要警惕的地方。

GPT-3.5僅依賴于其訓(xùn)練數(shù)據(jù)中的統(tǒng)計規(guī)律，不會在網(wǎng)絡(luò)上抓取時事信息，使得它的一些回答略顯陳舊，在輸出的準(zhǔn)確性上也會有所降低；還會導(dǎo)致某些問題的回答上會出現(xiàn)致命性錯誤，看似有邏輯的表達(dá)實則為錯誤的信息輸出，用戶需要具有鑒別回答質(zhì)量與準(zhǔn)確性的能力。

其次在披露ChatGPT時，OpenAI說它已經(jīng)進(jìn)行了檢查，努力使模型拒絕不適當(dāng)?shù)恼埱?，以防止它產(chǎn)生惡意代碼。但有人已經(jīng)找到了欺騙該系統(tǒng)的方法，使其認(rèn)為它只用于研究目的，對有害的指令作出反應(yīng)或表現(xiàn)出有偏見的行為。

另外，GPT到GPT-2到GPT-3，雖然在算法模型并沒有太大改變，但參數(shù)量從1.17億增加到1750億，預(yù)訓(xùn)練數(shù)據(jù)量從5GB增加到45TB，其中GPT-3訓(xùn)練一次的費(fèi)用是460萬美元，總訓(xùn)練成本達(dá)1200萬美元。

根據(jù)OpenAl創(chuàng)始人Sam Altman描述，ChatGPT單輪對話平均費(fèi)用在0.01-0.2美元。對于想要復(fù)刻的公司來講，開發(fā)成本是主要的門檻。

微軟重金押注ChatGPT

據(jù)路透社援引Semafor消息報道，微軟正在考慮計劃向OpenAI增投100億美元，如果合作達(dá)成，微軟將持有其49%的股份。早在2019年，微軟就向這家初創(chuàng)公司投資了10億美元，這筆交易將OpenAI與微軟云計算平臺捆綁在一起。

這一金額也將超過微軟近年來的所有收購，只有三筆除外：2016年斥資260億美元收購的職業(yè)社交網(wǎng)站領(lǐng)英；去年又花200億美元對Nuance Communications Inc.進(jìn)行收購；以及目前正在尋求反壟斷批準(zhǔn)想以690億美元收購視頻游戲制造商動視暴雪公司。

微軟本身幾十年來一直致力于人工智能項目，并在語音和圖像識別等領(lǐng)域取得了重大進(jìn)展，增持OpenAI股份與微軟要在云計算市場上占據(jù)更大份額的目標(biāo)一致 —— 將使微軟在Azure上開發(fā)OpenAI技術(shù)方面占據(jù)有利位置，Azure不僅是微軟的云基礎(chǔ)設(shè)施，還是其增長最快的業(yè)務(wù)之一。

科技行業(yè)對ChatGPT感到如此興奮的另一個重要原因是機(jī)器人可能會改變網(wǎng)絡(luò)搜索，它可能會打破谷歌和其他科技巨頭在搜索領(lǐng)域的長期主導(dǎo)地位。

對微軟來說，加大對OpenAI的投資，還可以防止OpenAI的產(chǎn)品流向競爭對手，包括亞馬遜網(wǎng)絡(luò)服務(wù)和谷歌。確保一旦人工智能開始顛覆現(xiàn)狀，微軟不僅能夠毫發(fā)無損，還可以從中受益。

根據(jù)業(yè)內(nèi)人士爆料，微軟目前正準(zhǔn)備籌備推出新版本的Bing搜索引擎，預(yù)計會在2023年3月底前推出這項功能。產(chǎn)品亮點是會使用人工智能技術(shù)來回答搜索查詢，而不是像之前的那些搜索引擎，僅顯示搜索結(jié)果的列表。

值得注意的是，根據(jù)微軟和OpenAI的協(xié)議，微軟應(yīng)該可以提前獲得OpenAI語言模型的下一次迭代GPT-4的技術(shù)，并且會在今年年內(nèi)推出。如果GPT-4能解決搜索的準(zhǔn)確性問題，而且微軟能做出一個吸引人的搜索界面，那么它就可能對谷歌搜索構(gòu)成威脅。

如果解決了上文提到的問題，并且將ChatGPT技術(shù)整合到微軟的全部生態(tài)，例如 LinkedIn、Nuance Communications、Two Hat Security甚至GitHub Inc… 那就毫無疑問微軟將會擁有一個更光明的前景。