肯睿Cloudera:2024年生成式AI及云領域的五大趨勢預測

就在十二個月前，“生成式設計人工智能”還處于Gartner新興技術成熟度曲線的邊緣；而如今，Gartner認為“生成式人工智能”（生成式AI）已接近期望膨脹期的頂峰。

生成式AI的優勢令人趨之若鶩且影響深遠。分析師認為它將影響各個主要行業和工作崗位。麥肯錫在2023年的一份報告中指出，當前的生成式AI等技術有可能使目前占用員工60%至70%時間的工作活動實現自動化。IDC的研究也強調了今年亞太地區有三分之二的企業正在探索或投資于生成式AI。

隨著2024年的臨近，預計企業將加大力度實現生成式AI操作化和改進，并調整其管理各個環境（尤其是云環境）日益增長的數據量的方式，以提高靈活性，并推動業務增長。

以下是2024年生成式AI及云領域的五大趨勢預測。

趨勢一：強大的MLOPS和數據集成賦能生成式AI的操作化

自2022年11月ChatGPT v3.5發布以來，企業一直面臨著一個難題：如何一面安全地為其提供足夠的上下文數據以使其發揮作用，一邊充分挖掘其優勢。

ChatGPT和其他基于軟件即服務（SaaS）的大型語言模型（LLM）給企業帶來了巨大的數據隱私挑戰。在許多情況下，問題、答案和上下文數據都可能是敏感數據，而這對于重復使用這些數據來重新訓練模型的公共多租戶服務來說是不合適的。

快速發展的開源LLM（如Meta的Llama-v2）已具備與ChatGPT旗鼓相當的性能，并成為了可行的替代方案。但生成式AI模型很難通過可擴展且可靠的方式從實驗室轉移到生產中。更何況這些模型通常還需要在多個應用之間共享，因此與傳統的機器學習（ML）模型相比會帶來更大的數據集成挑戰。

預計在2024年，企業將繼續專注于開發強大的機器學習操作（MLOPS）和數據集成能力。

趨勢二：企業將加倍重視檢索增強生成（RAG）和微調功能以優化LLM

優化LLM性能的方法包括提示工程、檢索增強生成（RAG）和微調等。

RAG使用知識庫中的內容豐富提示并提供必要的上下文。RAG架構的關鍵組成部分之一是一個以特殊方式編制索引的知識庫內容數據庫。

用戶問題先被轉換成數學表達形式，然后用于搜索數據庫中與之最接近的內容。用戶問題作為提示的一部分被發送至LLM進行推理。同步提供問題和領域上下文可顯著改進推理結果。

事實證明，由于RAG不需要對LLM進行任何訓練或調整，同時還能生成出高質量的結果，因此它是采用LLM的一條有效途徑。不過，它確實需要數據工程管道以維護知識庫，還需要專門的向量數據庫存儲索引數據。

相信在2024年，RAG仍將是許多企業采用生成式AI的一條可行途徑。

性能高效微調（PEFT）在2023年備受關注。高效微調在特定領域數據上訓練一個小型神經網絡并與通用LLM并存，它能夠以極低的成本和極少的訓練數據，實現反復訓練大型LLM所獲得的大部分性能優勢。雖然對LLM進行微調需要更強大的ML能力，但可以帶來更高的效率、可解釋性和更準確的結果，尤其是在訓練數據有限的情況下。

預計在2024年，像高效微調這樣的微調方法將被越來越多的企業用于新項目，并取代早期的RAG 架構。在擁有較大、較強數據科學團隊的企業中，這種方法的應用將最為廣泛。

趨勢三：企業將從“云優先”轉向謹慎的云戰略

2024年，云計算將繼續成為企業數據戰略中的一項重要變革技術。

一些企業在2023年將他們的云戰略從原先的“云優先”調整為謹慎、平衡的戰略，這與大多數大型企業所采取的保守舉措不謀而合。推動這一轉變的因素包括云對許多可預測的分析工作負載的經濟性、數據管理法規、考慮到經濟狀況不確定性的企業財政政策等。

這些企業已選擇跨公有云和私有云的云原生架構支撐其數據和云戰略，而云原生所帶來的靈活性、可擴展性和所節省的成本可抵消因其增加的架構復雜性。

由此產生的跨公有云和私有云的數據編織架構為智能、自動化和策略驅動的數據管理方法奠定了基礎。

趨勢四：數據管理自動化、數據民主化和零信任安全仍將是首要考慮因素

由于數據仍在以成倍的速度生成和被獲取，企業需要提高數據平臺管理的自動化和智能化水平。因此，跨基礎設施、平臺和工作負載的可觀察性將在 2024年發揮更加重要的作用。

而這是實現高性能、高可靠性和高效率智能平臺自動化的先決條件。用于訓練ML模型的運營數據將成為智能數據平臺的核心。數據從業人員將繼續推動數據的進一步民主化并增加更多的自助服務選項。這一點與Data Mesh范式最重要的原則之一相吻合。

最具創新性的企業將賦能數據科學家、數據工程師和業務分析師，讓他們無需通過數據關守就能從數據中獲得更多洞察。在2024年，企業和技術提供商將重視消除數據生命周期各個階段的摩擦，以及增加對實時數據的訪問。

各種混合云原生架構的出現、第三方SaaS與平臺即服務（PaaS）的采用以及網絡安全的加強繼續推動人們對數據安全、零信任以及明確劃分數據管理責任的關注。

零信任要求對使用數據的用戶和系統進行持續身份驗證和授權。這些主體將越來越多地被授予執行特定任務所需的最低權限，同時也受到嚴格的審核。這將成為推動數據治理和管理創新的一項重要職能，同時滿足日益增長的數據訪問民主化需求。

隨著數據聯邦日益受到關注，預計在2024年，技術將進一步簡化企業內部乃至企業之間的零信任落地與執行。

趨勢五： 向開放式數據湖倉遷移已迫在眉睫      

數據湖倉的實現方式在2022年出現了重大創新，業界領先的數據管理提供商奠定了Apache Iceberg“正式格式”的地位。Iceberg作為首選的開放技術之一而被迅速采用，而幾乎可以確定的是，這將影響一些數據管理提供商改變其開源戰略并在其產品中加入對Iceberg的支持。

預計在2024年，數據和工作負載將穩步遷移至跨公有云和私有云的開放式數據湖倉架構中。

***