必示科技聯(lián)合多家單位發(fā)布 OpsEval：運(yùn)維大語言模型評(píng)測(cè)榜單
加入技術(shù)交流群
01 引言
大規(guī)模語言模型(LLMs)在NLP相關(guān)任務(wù)如翻譯、摘要和生成方面展現(xiàn)出了卓越的能力。由于大模型的記憶、生成和推理等高級(jí)能力，它在智能運(yùn)維(AIOps)領(lǐng)域也具有巨大的應(yīng)用潛力。然而，當(dāng)前LLMs在AIOps特定任務(wù)的性能尚不明確，需要一個(gè)全面的基準(zhǔn)來指導(dǎo)針對(duì)AIOps領(lǐng)域的LLMs的優(yōu)化。
為了解決這些問題，清華大學(xué)、中國(guó)科學(xué)院計(jì)算機(jī)網(wǎng)絡(luò)信息中心、南開大學(xué)、必示科技、中興通訊、中亦圖靈等多家單位聯(lián)合發(fā)布了OpsEval：面向大規(guī)模語言模型的多層次智能運(yùn)維能力評(píng)價(jià)基準(zhǔn)。此榜單發(fā)布于中國(guó)科技網(wǎng)(CSTNET)上，中國(guó)科技網(wǎng)是中國(guó)科學(xué)院領(lǐng)導(dǎo)下的學(xué)術(shù)性、非盈利的科研計(jì)算機(jī)網(wǎng)絡(luò)，是中國(guó)第一個(gè)全功能正式接入國(guó)際互聯(lián)網(wǎng)的網(wǎng)絡(luò)，主要面向全國(guó)科技界、政府和高新技術(shù)企業(yè)提供網(wǎng)絡(luò)服務(wù)，覆蓋30余個(gè)省、市、自治區(qū)、直轄市，擁有網(wǎng)絡(luò)用戶100余萬。中國(guó)科技網(wǎng)由中國(guó)科學(xué)院計(jì)算機(jī)網(wǎng)絡(luò)信息中心建設(shè)維護(hù)。中心成立于1995年3月，是中國(guó)互聯(lián)網(wǎng)誕生地。
OpsEval首次評(píng)估了LLMs在三個(gè)關(guān)鍵場(chǎng)景(有線網(wǎng)絡(luò)運(yùn)營(yíng)、5G通信運(yùn)營(yíng)和數(shù)據(jù)庫運(yùn)營(yíng))的各種任務(wù)難度級(jí)別(知識(shí)召回、推理、應(yīng)用)的熟練程度?；鶞?zhǔn)測(cè)試包括7200個(gè)問題，既有選擇題，也有問答題，提供英文和中文。我們非常歡迎其他垂直領(lǐng)域的單位提供更多評(píng)測(cè)題目，我們會(huì)統(tǒng)一評(píng)估，并定期更新到OpsEval網(wǎng)站上。
我們?cè)u(píng)估了十余種主流大模型，我們的發(fā)現(xiàn)揭示了傳統(tǒng)的BLEU指標(biāo)不適合用于專業(yè)領(lǐng)域的知識(shí)型問答評(píng)估，而GPT-4得分可以作為人類評(píng)估指標(biāo)的最佳替代品。最后，我們探討了不同模型量化方法對(duì)總體性能的影響。
02 相關(guān)工作
隨著傳統(tǒng)的自然語言處理(NLP)評(píng)價(jià)指標(biāo)越來越無法滿足LLMs的評(píng)估需求，針對(duì)LLMs的評(píng)價(jià)指標(biāo)越來越受到重視。它們可以分為兩類：通用能力指標(biāo)和特定領(lǐng)域指標(biāo)。
通用能力指標(biāo)，如HELM、BIG-bench、C-Eval、AGIEval等等，用于評(píng)估LLMs在各類任務(wù)上的通用能力，例如是否包含常識(shí)、通用知識(shí)、推理能力等等，不會(huì)局限在某一特定領(lǐng)域上。而特定領(lǐng)域指標(biāo)，包括金融領(lǐng)域的FinEval、醫(yī)療領(lǐng)域的CMB、HuoTuo-26M、MultiMedQA等等，被用于評(píng)價(jià)LLMs是否處理特定垂直領(lǐng)域的問題。
最近提出的NetOps，被用于評(píng)估LLMs在網(wǎng)絡(luò)領(lǐng)域下的能力，包含中英文選擇題、少量的填空和問答題。與之相比，我們的工作包括了傳統(tǒng)網(wǎng)絡(luò)運(yùn)維、5G網(wǎng)絡(luò)通信、數(shù)據(jù)庫運(yùn)維等多個(gè)方面，在AIOps領(lǐng)域涵蓋更加廣泛和深入的評(píng)價(jià)方式，在任務(wù)話題和任務(wù)難度上進(jìn)行了更加細(xì)致的劃分，并且對(duì)常見LLMs在各類任務(wù)上的表現(xiàn)進(jìn)行了詳細(xì)的分析。
03 OpsEval 評(píng)估基準(zhǔn)
在對(duì)AIOps領(lǐng)域的大型語言模型進(jìn)行評(píng)估時(shí)，我們將問題分為客觀和主觀兩類?？陀^問題通常為多項(xiàng)選擇題，提供明確答案，但可能導(dǎo)致模型過度依賴模式識(shí)別而非真正理解。主觀題無預(yù)設(shè)選項(xiàng)，更能考察模型的理解力和知識(shí)庫。我們通過結(jié)合這兩類問題，旨在全面、平衡地評(píng)估模型的認(rèn)知能力和理解力。
3.1 客觀題
數(shù)據(jù)來源：客觀問題主要來自于全球公認(rèn)的AIOps領(lǐng)域的國(guó)際認(rèn)證考試，我們從各種書籍、在線資源和合作單位中收集問題。這些問題主要以選擇題的形式出現(xiàn)，包括單選和多選兩種形式。每個(gè)問題都配有問題提示、可能的答案選擇以及相關(guān)的解釋或分析。我們主要關(guān)注的領(lǐng)域包括有線網(wǎng)絡(luò)運(yùn)營(yíng)、5G通信運(yùn)營(yíng)和數(shù)據(jù)庫運(yùn)營(yíng)。我們還將繼續(xù)在未來完善和擴(kuò)大評(píng)估領(lǐng)域。
數(shù)據(jù)處理：我們的原始數(shù)據(jù)集的處理包括五個(gè)階段：初步篩選、去重、內(nèi)容過濾、格式標(biāo)準(zhǔn)化和手動(dòng)審查。這個(gè)細(xì)致的過程最終得到了一個(gè)包含大約7000個(gè)客觀題的精煉數(shù)據(jù)集。
任務(wù)分類：在復(fù)雜的運(yùn)維領(lǐng)域，認(rèn)識(shí)到任務(wù)和挑戰(zhàn)的多維性是至關(guān)重要的。為了全面評(píng)估AIOps領(lǐng)域的大型語言模型，我們?cè)O(shè)計(jì)了一個(gè)分類，涵蓋了專業(yè)人員在實(shí)際環(huán)境中面臨的各種場(chǎng)景。我們的八個(gè)不同的運(yùn)維場(chǎng)景的制定受到了行業(yè)相關(guān)性、任務(wù)頻率和每個(gè)領(lǐng)域在AIOps中的重要性的影響。這些類別包括：
?通用領(lǐng)域知識(shí)
?故障分析和診斷
?網(wǎng)絡(luò)配置
?軟件部署
?性能優(yōu)化
?監(jiān)控告警
?自動(dòng)化腳本
?混合型任務(wù)
3.2 主觀題
數(shù)據(jù)收集：OpsEval數(shù)據(jù)集中的主觀題來源于精心策劃的多種資源，以確保其全面性和相關(guān)性：
?從客觀問題生成：我們的一部分主觀題是從原始數(shù)據(jù)集中精心挑選的客觀問題中派生出來的。這些問題在被確定具有潛在的深度和廣度后，被轉(zhuǎn)化為主觀形式。
?從書籍中提?。簽榱嗽鰪?qiáng)我們數(shù)據(jù)集的多樣性和深度，我們還從涵蓋AIOps領(lǐng)域的權(quán)威書籍中獲取了主觀題。這確保了我們的數(shù)據(jù)集不僅廣泛，而且符合行業(yè)標(biāo)準(zhǔn)和當(dāng)前的最佳實(shí)踐。
數(shù)據(jù)處理：
1.問題總結(jié)：被選中轉(zhuǎn)化為主觀題的客觀問題經(jīng)過了一個(gè)總結(jié)過程。這涉及到提煉每個(gè)問題的主要內(nèi)容，并以沒有預(yù)定義選項(xiàng)的開放題形式呈現(xiàn)。
2.引入?yún)⒖假Y料：對(duì)于在GPT-4的幫助下生成的問題，我們?cè)谔崾局刑峁┝藚⒖嘉谋?，以指?dǎo)生成過程并確保準(zhǔn)確性。
3.數(shù)據(jù)結(jié)構(gòu)化：每個(gè)主觀題都被精心結(jié)構(gòu)化，包括原始問題、答案的關(guān)鍵點(diǎn)、詳細(xì)答案、領(lǐng)域和相關(guān)任務(wù)。這種結(jié)構(gòu)化的方法便于評(píng)估和分析。
3.3 評(píng)估指標(biāo)
客觀題：使用準(zhǔn)確性作為指標(biāo)。由于LLMs可能輸出除選項(xiàng)之外的更多內(nèi)容，因此LLMs的答案是通過基于正則表達(dá)式的選項(xiàng)提取器從其原始回復(fù)中提取的。
主觀題：用兩種類型的指標(biāo)，一種基于詞重疊，另一種基于語義相似性。對(duì)于第一種類型，我們使用Rouge和Bleu，這在NLP任務(wù)中被廣泛使用，尤其是在翻譯任務(wù)中。對(duì)于第二種類型，我們使用GPT-4和人類來獲取LLMs輸出的分?jǐn)?shù)，這在OpsEval中分別被稱為GPT4-Score和Expert Evaluation。
?GPT4-Score是由GPT4生成的分?jǐn)?shù)，使用精心設(shè)計(jì)的提示。尤其是在LLMs的參數(shù)變大后，越來越多地使用LLMs進(jìn)行評(píng)分。我們將問題的評(píng)分提示、真實(shí)關(guān)鍵點(diǎn)、真實(shí)詳細(xì)答案和待評(píng)分的LLM答案組合起來。分?jǐn)?shù)在1到10之間，越高越好。
?專家評(píng)估(Expert Evaluation)是為OpsEval專門設(shè)計(jì)的指標(biāo)，根據(jù)三個(gè)與網(wǎng)絡(luò)操作需求高度相關(guān)的標(biāo)準(zhǔn)對(duì)LLMs的輸出進(jìn)行手動(dòng)評(píng)分?？紤]的三個(gè)標(biāo)準(zhǔn)如下：
1.流暢性(Fluency)：評(píng)估模型輸出的語言流暢性，符合主觀問題的回答要求，以及段落重復(fù)或無關(guān)文本的存在與否。
2.準(zhǔn)確性(Accuracy)：評(píng)估模型輸出的精確性和正確性，包括是否充分覆蓋了真實(shí)答案的關(guān)鍵點(diǎn)。
3.證據(jù)量(Evidence)：檢查模型的輸出是否包含足夠的論證和證據(jù)支持，以確保答案的可信度和可靠性。
04 OpsEval 實(shí)驗(yàn)設(shè)計(jì)
4.1 考察模型
我們選取了比較流行的能夠處理中英文輸入的不同參數(shù)大小、不同機(jī)構(gòu)發(fā)布的模型，并將它們?cè)贠psEval上進(jìn)行評(píng)估。所評(píng)估的模型及具體細(xì)節(jié)見下表。
此外，為了了解不同量化參數(shù)對(duì)模型性能的影響，我們?cè)u(píng)估了LLaMA-2-70B的兩個(gè)量化版本。具體而言，我們使用LLaMA-2-70B的帶有3位和4位量化參數(shù)的GPTQ模型。
4.2 實(shí)驗(yàn)設(shè)置
4.2.1 客觀題
為了全面了解不同語言模型在OpsEval上的表現(xiàn)，我們使用盡可能多的評(píng)估方式來進(jìn)行評(píng)估。在評(píng)測(cè)中，我們分別使用zero-shot方式和few-shot方式(我們的實(shí)現(xiàn)中為3-shot)進(jìn)行評(píng)估。對(duì)于zero-shot方式，我們希望從普通用戶的角度評(píng)估語言模型的能力，因?yàn)橛脩粼谄胀ㄊ褂弥胁粫?huì)提供任何示例。對(duì)于few-shot方式，我們旨在從開發(fā)人員的角度評(píng)估語言模型的潛力，這通常比zero-shot設(shè)置獲得更好的性能。
對(duì)于每個(gè)評(píng)估方式，我們使用4種設(shè)置來評(píng)估語言模型，即原始問答(Naive)、自我一致性(SC)、思維鏈(CoT)，結(jié)合思維鏈的自我一致性(CoT+SC)。由于我們有英文和中文問題，我們分別為兩種語言設(shè)計(jì)對(duì)應(yīng)的原始問答提示與思維鏈提示。
?原始問答(Naive)：希望語言模型在沒有任何其他解釋的情況下生成答案。由于我們有每個(gè)問題的場(chǎng)景，因此我們將問題的場(chǎng)景集成到提示中，如下圖所示。
?自我一致性(SC)：將相同的問題多次詢問語言模型，提取模型生成答案中出現(xiàn)次數(shù)最高的答案。在實(shí)現(xiàn)中，我們將SC的查詢次數(shù)設(shè)置為 5 。
?思維鏈(CoT)：通過讓模型生成中間推理步驟使語言模型獲得復(fù)雜的推理能力。在CoT設(shè)置的zero-shot評(píng)估中，我們進(jìn)行兩步問答。第一步，在問題后添加“讓我們一步一步地思考?！?，語言模型會(huì)輸出其推理思路。第二步，我們將問題的提示和生成的推理思路組合起來，輸入語言模型，并獲得最終答案。在CoT設(shè)置的few-shot評(píng)估中，我們對(duì)問題的每個(gè)選項(xiàng)進(jìn)行推理分析，并制作三個(gè)具有CoT推理過程答案的Q-A示例，將這些示例與問題一起輸入給語言模型。CoT的提示構(gòu)造示例如下圖所示。
?結(jié)合思維鏈的自我一致性(CoT+SC)：將CoT和SC結(jié)合在一起，以提高CoT的表現(xiàn)。與 SC一樣，在實(shí)現(xiàn)中，我們將SC的查詢次數(shù)設(shè)置為 5 。
4.2.1 主觀題
我們將每個(gè)問題的場(chǎng)景和任務(wù)以及問題本身結(jié)合起來作為語言模型的輸入。在主觀題中，我們希望模擬普通用戶對(duì)語言模型的日常使用，將問題輸入給語言模型，然后生成答案。因此，我們只使用Naive設(shè)置中對(duì)語言模型進(jìn)行zero-shot評(píng)估。
05 OpsEval 評(píng)估效果
5.1 總體表現(xiàn)
所有模型在英文網(wǎng)絡(luò)操作測(cè)試集的八種設(shè)置結(jié)果顯示在下表中(更多評(píng)測(cè)結(jié)果請(qǐng)參閱論文原文和網(wǎng)站)。我們統(tǒng)計(jì)平均準(zhǔn)確率，并從總體性能中得出了幾個(gè)發(fā)現(xiàn)。
首先，GPT-4始終優(yōu)于所有其他模型，超越了所有其他模型的最佳結(jié)果。
在網(wǎng)絡(luò)操作問題集中，當(dāng)使用CoT+SC提示方法時(shí)，LLaMA-2-13b-chat和Baichuan-13b-chat在英文和中文測(cè)試數(shù)據(jù)集中接近ChatGPT的性能。
在5G通信問題集中，LlaMA-2-13B和Qwen-7B-Chat在英文和中文測(cè)試數(shù)據(jù)集中超過了ChatGPT的性能。
在Oracle數(shù)據(jù)庫問題集中，LlaMA-2-13B和Qwen-7B-Chat仍然領(lǐng)先于GPT-4和ChatGPT以外的模型。
較小的模型，如LLaMA-2-7b-chat和Internlm-chat-7b，在客觀的問答任務(wù)中表現(xiàn)出有競(jìng)爭(zhēng)力的性能，接近具有13B參數(shù)的模型的能力，這歸功于它們的微調(diào)過程和訓(xùn)練數(shù)據(jù)的質(zhì)量。
5.2 不同設(shè)置間效果對(duì)比
從測(cè)試結(jié)果中，有幾點(diǎn)有趣的觀察：
1.對(duì)于大多數(shù)模型，從Naive到SC、CoT、CoT+SC，評(píng)估性能穩(wěn)步提高，其中CoT帶來的提高最為顯著。
2.SC提示只能帶來相對(duì)較小的改進(jìn)，因?yàn)槟Ｐ偷幕貞?yīng)在重復(fù)中傾向于保持一致，符合運(yùn)營(yíng)場(chǎng)景中需要可靠性和一致性的期望結(jié)果。
3.在某些情況下，更高級(jí)的提示方法(如CoT)令人驚訝地導(dǎo)致了更差的結(jié)果。我們分析了這種現(xiàn)象背后的可能原因：
a.一些模型可能在需要逐步思考時(shí)對(duì)CoT提示提供的指導(dǎo)反應(yīng)不佳，導(dǎo)致次優(yōu)的輸出。下圖是CoT失敗的一個(gè)例子：被測(cè)試的模型無法理解逐步思考的概念。
b.few-shot評(píng)估可能會(huì)導(dǎo)致一些模型認(rèn)為任務(wù)涉及生成問題而不是回答問題，從而導(dǎo)致模型回答效果變差。
5.3 不同場(chǎng)景與任務(wù)效果
為了研究模型在不同運(yùn)維場(chǎng)景(通用領(lǐng)域知識(shí)、監(jiān)控告警、軟件部署、網(wǎng)絡(luò)配置、故障分析與診斷、自動(dòng)化腳本、性能優(yōu)化、混合型任務(wù))以及不同任務(wù)(知識(shí)回憶、分析思考和實(shí)際應(yīng)用)中的表現(xiàn)，我們根據(jù)前文提到的結(jié)構(gòu)化評(píng)分分類，總結(jié)了不同參數(shù)大小模型組的結(jié)果。
通過按參數(shù)大小對(duì)模型進(jìn)行分組，我們發(fā)現(xiàn)，盡管13B模型在最佳情況下的準(zhǔn)確率比參數(shù)少于7B的模型高，但不同的13B模型的性能差異極大，導(dǎo)致其下限甚至低于7B。另一方面，7B模型在組內(nèi)的性能范圍更穩(wěn)定。
5.4 不同量化等級(jí)效果對(duì)比
上圖展示了LLaMA-2-70B在中英文客觀問題上的不同量化參數(shù)的準(zhǔn)確性。我們使用Naive設(shè)置下進(jìn)行了zero-shot和few-shot評(píng)估。顯然，在推理過程中使用量化會(huì)降低LLM的性能。
4位量化模型與原模型相比，準(zhǔn)確率比較接近。具體來說，在英文客觀題上，與LLaMA-2-70B相比，4位量化模型在zero-shot評(píng)估中的準(zhǔn)確性降低了3.50%，在few-shot評(píng)估中降低了0.27%。在中文客觀題上，與LLaMA-2-70B相比，4位量化模型在zero-shot評(píng)估中的準(zhǔn)確性降低了3.67%，在few-shot評(píng)估中降低了5.18%。
另一方面，3位量化模型的性能下降較大。平均來說，3位量化模型的準(zhǔn)確性相比原始LLaMA-2-70B降低了12.46%，相比4位量化模型降低了9.30%?？梢?，3位量化后，原始模型中的信息丟失太多。
5.5 主觀題表現(xiàn)
下表展示了50個(gè)主觀英文問題的評(píng)估結(jié)果，這些問題涵蓋了四類指標(biāo)：Rouge、Bleu、GPT4-Score和專家評(píng)估，按照GPT4-Score結(jié)果排序。
我們觀察到，基于Rouge和Bleu得分的排名與GPT4-Score和專家評(píng)估的排名并不一致。實(shí)際回答性能較差的模型可能會(huì)生成關(guān)鍵詞，從而得到較高的Rouge和Bleu得分。相反，由于與標(biāo)準(zhǔn)答案的措辭差異，回答性能好的模型可能會(huì)得到較低的Rouge/Bleu得分。
關(guān)于GPT4-Score評(píng)估，排名與基于人類評(píng)分的排名非常接近。在專家評(píng)估的三個(gè)指標(biāo)中，GPT4-Score排名與準(zhǔn)確性指標(biāo)最為接近，這表明GPT4在事實(shí)性上最為可靠，因?yàn)樗旋嫶蟮闹R(shí)庫。生成內(nèi)容的格式和長(zhǎng)度也對(duì)GPT4的評(píng)分有很大影響，這由GPT4-Score和流暢性之間的高正相關(guān)性所證明。另一方面，關(guān)于證據(jù)量指標(biāo)的排名有更多的錯(cuò)排，這表明GPT4的評(píng)分需要充分考慮論據(jù)和證據(jù)的作用，特別是在答案模糊的情況下。
06 總結(jié)與展望
本文介紹了OpsEval，一個(gè)為大規(guī)模語言模型(LLMs)設(shè)計(jì)的綜合性任務(wù)導(dǎo)向的智能運(yùn)維領(lǐng)域基準(zhǔn)測(cè)試。OpsEval的獨(dú)特之處在于，它在考慮了不同的能力水平(包括知識(shí)召回、推理和應(yīng)用)的前提下，評(píng)估了LLMs在三個(gè)關(guān)鍵場(chǎng)景(有線網(wǎng)絡(luò)運(yùn)營(yíng)、5G通信運(yùn)營(yíng)和數(shù)據(jù)庫運(yùn)營(yíng))中的熟練程度。這一綜合性基準(zhǔn)測(cè)試包括7200道選擇題和問答題，分別以英文和中文呈現(xiàn)。
通過量化和定性的結(jié)果支持，我們?cè)敿?xì)闡釋了各種LLMs技術(shù)(如零樣本學(xué)習(xí)、少樣本學(xué)習(xí)和思維鏈)對(duì)模型性能的影響。值得注意的是，與廣泛使用的Bleu和Rouge相比，GPT4分?jǐn)?shù)顯現(xiàn)出更可靠的度量標(biāo)準(zhǔn)，這表明它有潛力取代大規(guī)模定性評(píng)估中的自動(dòng)度量標(biāo)準(zhǔn)。
OpsEval框架的靈活性為未來的探索提供了機(jī)會(huì)。這一基準(zhǔn)測(cè)試的可適應(yīng)性使其能夠無縫集成更多細(xì)粒度的任務(wù)，為繼續(xù)研究和優(yōu)化針對(duì)智能運(yùn)維領(lǐng)域的LLMs提供了基礎(chǔ)。
評(píng)論