利用模型護(hù)欄規(guī)范GenAI的行為和輸出

當(dāng)前，許多企業(yè)機(jī)構(gòu)都在全力推進(jìn)生成式人工智能（GenAI）解決方案的設(shè)計(jì)和實(shí)施，希望提升解決方案的通用性和創(chuàng)造性，進(jìn)而推動(dòng)業(yè)務(wù)價(jià)值。2023年Gartner企業(yè)人工智能（AI）調(diào)研揭示了GenAI用例的三種最主要的實(shí)現(xiàn)方法，74%的受訪者通過對(duì)現(xiàn)有GenAI模型進(jìn)行定制化調(diào)整來滿足自身用例的需求，65%的受訪者嘗試自行訓(xùn)練定制GenAI模型。

然而，實(shí)施GenAI絕非易事。對(duì)于創(chuàng)造性和通用性的追求，往往會(huì)增加GenAI解決方案的復(fù)雜性、不確定性和生成非預(yù)期結(jié)果的可能性，而這也成為了GenAI企業(yè)采用面臨的主要問題。GenAI解決方案的創(chuàng)造性和通用性越強(qiáng)，出現(xiàn)非預(yù)期行為和輸出（如幻覺、有害內(nèi)容超出應(yīng)用范圍的內(nèi)容等）的可能性越高（見圖1）。

圖1 在創(chuàng)造性與通用性之間取得平衡

選擇基于GenAI模型自行構(gòu)建GenAI解決方案的企業(yè)機(jī)構(gòu)，其負(fù)責(zé)AI工作的數(shù)據(jù)和分析（D&A）領(lǐng)導(dǎo)者應(yīng)利用開源護(hù)欄、商業(yè)護(hù)欄和自建護(hù)欄這三種護(hù)欄工具來控制GenAI模型的輸入和輸出，驗(yàn)證并矯正GenAI模型的輸入和輸出，提高模型的可靠性。

評(píng)估并優(yōu)化GenAI解決方案的創(chuàng)造性和通用性

GenAI模型可兼具創(chuàng)造性和通用性。企業(yè)機(jī)構(gòu)通常需要在廣泛的場(chǎng)景中使用GenAI解決方案，而這些場(chǎng)景對(duì)于解決方案創(chuàng)造性和通用性的需求各不相同。因此，必須根據(jù)部署目的和具體場(chǎng)景下的功能需求，確定GenAI解決方案的定位，并根據(jù)在創(chuàng)造性和通用性兩個(gè)方面的具體需求，利用護(hù)欄工具建立控制策略和機(jī)制。

負(fù)責(zé)AI工作的D&A領(lǐng)導(dǎo)者應(yīng)基于GenAI解決方案的使用場(chǎng)景和方式，確定相應(yīng)的業(yè)務(wù)風(fēng)險(xiǎn)容忍度，具體取決于：

●   業(yè)務(wù)用例的重要性

●   用于內(nèi)部用途還是面向客戶

●   是否引入了人工監(jiān)督

而后，應(yīng)根據(jù)業(yè)務(wù)風(fēng)險(xiǎn)容忍度，利用護(hù)欄工具管理模型輸入和輸出，建立嚴(yán)格或?qū)捤傻目刂茩C(jī)制，并最終在創(chuàng)造性和通用性之間取得最佳平衡。

利用模型護(hù)欄驗(yàn)證和矯正模型的輸入和輸出

使用護(hù)欄工具，是管理GenAI模型創(chuàng)造性和通用性的一個(gè)切實(shí)可行的方法。護(hù)欄（在GenAI模型和應(yīng)用與最終用戶之間建立防護(hù)層）可以監(jiān)控和管理模型的全部流量，包括用戶輸入和模型/應(yīng)用輸出（見圖2）。

圖2 護(hù)欄部署在用戶與GenAI模型之間

以下是兩種典型護(hù)欄：

●   用于控制最終用戶輸入的模型護(hù)欄：所有用戶請(qǐng)求都必須經(jīng)護(hù)欄過濾，以清除非預(yù)期的請(qǐng)求，包括超出GenAI解決方案應(yīng)用范圍的請(qǐng)求和違反可接受使用政策的請(qǐng)求。通過這種方式，護(hù)欄可以將解決方案的通用性控制在可管理的范圍內(nèi)，就像建立了一個(gè)安全圍欄。

●   用于控制GenAI輸出的模型護(hù)欄：所有模型輸出都必須經(jīng)過護(hù)欄的驗(yàn)證，但不同的用例對(duì)于模型創(chuàng)造性的需求存在差異，因而需要對(duì)模型施加不同程度的控制。但是，對(duì)于開發(fā)GenAI驅(qū)動(dòng)的企業(yè)級(jí)搜索引擎或面向客戶的聊天機(jī)器人的情況，必須對(duì)模型輸出進(jìn)行更為嚴(yán)格的驗(yàn)證和控制，以調(diào)節(jié)模型的創(chuàng)造性，并確保最終用戶可以得到可靠且符合預(yù)期的結(jié)果。

需要注意的是，護(hù)欄并非“靈丹妙藥”，不能完全解決GenAI解決方案的行為和準(zhǔn)確性問題。GenAI解決方案必須在準(zhǔn)確性與企業(yè)機(jī)構(gòu)的風(fēng)險(xiǎn)承受能力之間取得平衡。

此外，伴隨GenAI的快速發(fā)展，護(hù)欄技術(shù)也在不斷變化和改進(jìn)。鑒于神經(jīng)網(wǎng)絡(luò)的不可預(yù)測(cè)性，護(hù)欄技術(shù)目前是驗(yàn)證和矯正GenAI模型輸出的一種切實(shí)可行的方法。長(zhǎng)期來看，在基礎(chǔ)GenAI模型變得足夠可靠和可信之前，護(hù)欄提供了一種過渡解決方案，可以幫助企業(yè)機(jī)構(gòu)推動(dòng)GenAI采用。