從隱空間 文章 進(jìn)入從隱空間技術(shù)社區(qū)

從隱空間認(rèn)識(shí)CLIP多模態(tài)模型

• 1 前言AIGC可生成的內(nèi)容形式包含文本( 文句)、圖像、音頻和視頻。它能將文本中的語言符號(hào)信息或知識(shí)，與視覺中可視化的信息( 或知識(shí)) 建立出對(duì)應(yīng)的關(guān)聯(lián)。兩者互相加強(qiáng)，形成圖文并茂的景象，激發(fā)人腦更多想象，擴(kuò)大人們的思維空間。其中，最基礎(chǔ)的就是文本(Text) 與圖像(Image) 之間的知識(shí)關(guān)聯(lián)。本篇來介紹文本與圖像的關(guān)聯(lián)，并以CLIP 模型為例，深入介紹多模態(tài)AIGC 模型的幕后架構(gòu)，例如隱空間(Latent space) 就是其中的關(guān)鍵性機(jī)制。2 簡介CLIP模型在2020 年，OpenAI 團(tuán)隊(duì)
• 關(guān)鍵字： 202305  從隱空間  CLIP多模態(tài)模型