微軟深夜再掀 AI 生產(chǎn)力革命：阿爾特曼登臺“自曝”新模型、定制 Copilot

AI 生產(chǎn)力的革命，微軟怎會缺席？

在今天的開發(fā)者大會上，曾經(jīng)誓要「顛覆」10 億打工人的 Copilot，依然是全程的主角。

▲ 沒想到 70 年后，還是要靠微軟重新定義軟件

不僅有 Copilot 加持的全新 AI PC，日常生活助手 Copilot，還有為全世界開發(fā)者提供的 AI 工具堆棧。

更驚喜的是，Sam Altman 竟然在發(fā)布會的最后，被 CTO Kevin Scott 請上了臺！

兩人開場先是一波寒暄，然后共同感慨，這簡直是瘋狂的一周，瘋狂的一年！

針對前段時間的 OpenAI 離職潮，阿爾特曼似乎用了一些隱晦的話語來暗戳戳回應(yīng)：「為了讓 GPT 變得穩(wěn)健、安全，我們做了很多工作。OpenAI 創(chuàng)建了眾多團隊來確保 LLM 按預(yù)期工作?！?/span>

三大殺器

過去的一年半里，世界發(fā)生了諸多變化，其中最令 Altman 本人震驚的事是什么？

Altman 表示，數(shù)百萬開發(fā)者是推動過去一年里世界巨變的核心。

從 GPT-4 ，再到 GPT-4o 的發(fā)布，盡管模型 API 推出時間不久，但我從未見過一項技術(shù)能如此迅速地得到有意義的應(yīng)用。

人們正在構(gòu)建我們從未想過的創(chuàng)新應(yīng)用，完全展現(xiàn)了開放 API 的價值所在。

而 Kevin Scott 也調(diào)侃道：看得出來，你們很好地利用了手里的超強超算。

▲ 2020 年交付的「鯊魚」級超算訓出了 GPT-3，接下來的「虎鯨」級超算訓出 GPT-4，而現(xiàn)在「鯨魚」級超算微軟正交付給 OpenAI

阿爾特曼還表示，新的模態(tài)和整體智能將是 OpenAI 下一個模型的關(guān)鍵。

他預(yù)計模型將會變得更智能、更強大，更安全，而且 GPT-4o 將會速度更快，成本更低。

是的，就像摩爾定律推動信息革命一樣，Scaling Law 和模型架構(gòu)一起，改變了我們使用數(shù)據(jù)、生成數(shù)據(jù)的方式。

在這些縮放定律的影響下，我們擁有一個新的自然用戶界面，這是一個模型，這意味著支持文本、語音、圖像、視頻作為輸入和輸出。

Microsoft Copilot，是日常生活中的助手；Copilot stack，則可以讓我們構(gòu)建 AI 程序、解決方案等。

還有一個重頭戲，當然就是昨天發(fā)布的全新 Copilot+ PC，它直接打破了紀錄，成為有史以來最快的 AI 電腦！

如今，Windows 成為了構(gòu)建 AI 應(yīng)用的最佳平臺。而這種影響，不啻于 Win 32 對圖形用戶界面的意義。

GitHub Copilot「插件商店」首發(fā)

繼 Copilot 成為最流行的代碼補全工具和「個人助理」之后，微軟本次又更新了這個效率提升神器。

微軟表示，很多開發(fā)者在代碼之外花費了 75% 的時間，比如追蹤工作流、以及撰寫需求文檔和規(guī)格說明等。

不僅如此，定位和修復(fù) bug 的工作往往需要頻繁進行上下文切換，開發(fā)者在數(shù)據(jù)庫、IDE、代碼倉庫、監(jiān)控工具、云平臺之間疲于奔命，無法專注于代碼本身。

這正是全新 GitHub Copilot 可以發(fā)揮作用的地方。

它可以通過對話的方式將所有流程整合在一起，幫你調(diào)用所有工具和平臺，開發(fā)者只需要專注于 IDE 界面的核心代碼內(nèi)容，最大限度減少上下文切換。

不僅如此，基于強大的網(wǎng)絡(luò)搜索和推理決策能力，Copilot 還能回答關(guān)于開發(fā)過程的問題。

比如在下面這個 demo 中，用西班牙語描述需求，Copilot 就可以自動編寫出代碼，并為 Azure 上的部署提供建議。

GitHub 產(chǎn)品副總裁表示：「使用自然語言編程將繼續(xù)降低軟件開發(fā)的門檻。未來，10 億人可以利用 GitHub Copilot，以自然語言的方式與開發(fā)技術(shù)棧中的任何工具集成，在 GitHub 上構(gòu)建代碼?！?/span>

GitHub Copilot 支持各種各樣的開發(fā)工具和平臺，包括 DataStax, Docker, MongoDB, Octopus Deploy, Pangea, Pinecone, Product Science, ReadMe, Sentry, Stripe 以及微軟自家的 Office 全家桶、Azure 和 Teams。

GitHub 產(chǎn)品高級副總裁 Mario Rodriguez 表示：「我們的目標是使 GitHub Copilot 成為最集成、最強大、最智能的 AI 平臺?！?/span>

在此基礎(chǔ)上延伸出的 Copilot Workspace 更是提高了開發(fā)團隊使用 GitHub 管理項目代碼的效率。

之前，用戶只能通過 Git Bash 命令行上傳項目文件，圖形化界面能進行的操作非常有限。

有了 Copilot Workspace，各種時間線和代碼分支一目了然，上傳文件也容易很多。

而且還提供了非常清晰的代碼變動可視化界面，讓你自始至終都對項目有滿滿的掌控感。

截止目前，GitHub Copilot 仍處于內(nèi)測階段，之后將在 GitHub 插件市場中發(fā)布。

不僅如此，對開發(fā)者來說，更酷的是 —— 你可以定制自己的 Copilot 插件！

3 種方式，定義自己的 Copilot 插件

SharePoint

SharePoint 是微軟開發(fā)的用于組織內(nèi)部存儲、管理和共享內(nèi)容的平臺，每天上傳數(shù)量超過 20 億條。

為了減少工作中搜索和篩選內(nèi)容的時間，微軟開發(fā)了從 SharePoint 創(chuàng)建 Copilot 的功能。

任何擁有 SharePoint 網(wǎng)站編輯權(quán)限的人，只需點擊幾下就可以自定義 Copilot 功能，還可以通過 Teams 聊天框、電子郵件等方式將創(chuàng)建好的 Copilot 分享給團隊中其他成員。

點選好 SharePoint 中允許訪問的內(nèi)容范圍，以及 Copilot 的身份和行為等信息，它就可以立刻投入工作了。

比如內(nèi)容回答問題、總結(jié)信息或者查找文件，基于你之前授權(quán)給它的內(nèi)容，Copilot 可以提供最新、最準確的響應(yīng)。

想要在 SharePoint 之外創(chuàng)建自己的 Copilot?

沒問題！微軟還發(fā)布了 Copilot Studio，提供更靈活的自定義功能。

Copilot Studio

在 SharePoint 之外，Copilot Studio 支持超過 1000 個數(shù)據(jù)連接器，方便你將各種數(shù)據(jù)源導(dǎo)入 Copilot。

Copilot Studio 依舊采用類似 SharePoint 中「對話驅(qū)動」的界面，你可以像聊天一樣描述 —— 想要 Copilot 有什么樣的知識和功能，Copilot Studio 就可以立即創(chuàng)建，并支持實時的測試、修改和發(fā)布。

為了用戶更容易上手使用，Studio 中還內(nèi)置了各種 Copilot 模板，比如用于組織清晰度的 Organizatiion Navigator、用于員工健康管理的 Wellness 等，未來幾個月還會有更多 Copilot 模板發(fā)布。

使用 Copilot Studio，你會有一種一切盡在掌握的感覺。

VSCode

如果你是一個高端玩家，更喜歡用代碼優(yōu)先的方式構(gòu)建插件，也可以使用 Visual Studio Code 和 Teams Toolkit，編寫函數(shù)來精準定義 Copilot 的工作流。

Copilot 新能力解鎖

Copilot 早就不止步于代碼補全功能，而是已經(jīng)演變「個人助理」，成為打工人們的效率提升神器，而且與多種工具和平臺合作，構(gòu)建起一套完整的「Copilot 生態(tài)」。

本次 Build 大會上，微軟又為 Copilot 解鎖了一系列新功能。

Team Copilot

Team Copilot 將功能延伸到「個人助理」之外，開始成為團隊的一員。

它能承擔單獨的職責，提升整個團隊的工作效率，比如組織并記錄會議、跟蹤討論內(nèi)容等，甚至可以充當項目經(jīng)理，為成員分配任務(wù)并及時跟進 ddl。

對于聊天界面中團隊成員們的討論進展，Copilot 還能實時更新自己的記錄內(nèi)容。

可以在 Microsoft 自家開發(fā)的 Teams、Loop 或者 Planner 等協(xié)作辦公軟件中使用 Team Copilot。

這項功能將在今年晚些時候以預(yù)覽版形式向有 Copilot 許可證的用戶發(fā)布。

Agents Copilot

如果 Copilot 僅僅進化到團隊助手，你可能還是小看了微軟。

就像用戶可以自定義 Copilot 插件一樣，你也可以使用 Copilot Studio 自定義一個 Copilot Agent。

它不再像原來一樣被動地等著你問問題或者分配任務(wù)，而是變成「事件觸發(fā)」的智能體，像虛擬員工一樣工作并自動執(zhí)行任務(wù)。

這意味著，Copilot Agent 不僅需要記憶、上下文推理以及根據(jù)反饋學習的能力，而且需要更加主動，能夠在后臺自發(fā)執(zhí)行任務(wù)。

這樣的 Copilot 豈不是會讓一大批白領(lǐng)失業(yè)？

微軟業(yè)務(wù)應(yīng)用程序和平臺公司副總裁 Charles Lamanna 在采訪中表示，它可以消除一些重復(fù)、瑣碎的工作，例如數(shù)據(jù)輸入等，也許都是沒有人真正想做的事情。

GPT-4o 上新，多款基礎(chǔ)模型可用

除了 Copilot 華麗的演示之外，在開篇提到的三個平臺中，最核心的是構(gòu)建最完整的端到端堆棧 ——Copilot stack。

其中，最底層是基礎(chǔ)設(shè)施，然后是基礎(chǔ)模型層。

基礎(chǔ)設(shè)施

為了 AI 工作負載，微軟特意構(gòu)建了全新的數(shù)據(jù)中心。

因此，微軟可以用每一兆瓦的功率，來降低 AI 的成本和功耗。

截止 2024 年 5 月，Azure 超算能力已經(jīng)實現(xiàn)了 30 倍的增長！

可以說，他們提供了世界上最先進的 AI 加速器，開發(fā)者可以擁有最完整的 AI 加速器選擇。

從 GPT-4 到 GPT-4o，不僅模型的速度提高了 6 倍，成本更是便宜了 12 倍。

而這背后，是微軟與英偉達、AMD 的深度合作，以及自研芯片的大力推進。

英偉達關(guān)鍵平臺產(chǎn)品，都會引入微軟的云中。

而說到和 AMD 的合作，微軟是第一個提供最新 ND MI300X v5 虛擬機的云服務(wù)供應(yīng)商。

無論對于 AMD，還是對于微軟，這都是一個意義重大的里程碑。

自研 Azure Maia 100，只要你用過微軟的服務(wù)，或多或少都會接觸到。

而最新 Azure Cobalt 也開始進行公開預(yù)覽了，目前已經(jīng)為 Microsoft Teams 等服務(wù)提供了數(shù)十億次對話的支持。

基礎(chǔ)模型

在基礎(chǔ)模型方面，微軟與 OpenAI 展開了深度合作，而現(xiàn)在 GPT-4o 可以在 Azure 上進行訓練。

一張圖，展示了 GPT-4o 依舊是最強的模型。

而在如此強大的模型的加持下，Copilot 甚至已經(jīng)「進化」到指導(dǎo)我們怎么玩游戲了！

舉個例子，你想弄清如何在《我的世界》中制作一把劍，卻毫無頭緒。

Copilot 會從頭教你：為了造一把劍，你需要先收集材料。按 E 鍵，就能打開自己的材料庫了。

Copilot 發(fā)現(xiàn)，我們?nèi)鄙僦谱鲃θ械牟牧?，為此，需要收集木材、石頭、鐵、金或者鉆石。

忽然出現(xiàn)的小人，讓玩家嚇了一跳。

Copilot 提示道：這是一場僵尸賽跑，我們需要盡快擺脫它們。要么快速建一座方塊塔，或者快速找到一個避難場所，還可以挖到山的另一側(cè)。

此外，微軟首次介紹了十分強大的 Agent 能力。

想露營但找不到合適的鞋怎么辦？給它看一眼你的鞋，就能讓它給你提意見了。

Agent 分析道，這款非常適合夏季遠足、讓雙腳保持涼爽，然而卻不是這次的最佳選擇。

既然如此，我們就讓 Agent 直接挑一款最合適的。

Agent 發(fā)現(xiàn)，這次最合適的產(chǎn)品是 TrekReady Hawking，它為腳踝提供了支撐，還能在寒冷的山區(qū)為腳部提供保暖。然后，它還幫我們把這雙鞋添加到購物車中。

當然，除了 OpenAI 的模型之外，微軟 Azure 平臺還將提供多款可用的模型。

并且，微軟依舊擁抱開源社區(qū)，與 Hugging Face 合作。

最強小語言模型：Phi-3

除了引入外部模型之外，微軟一直以來都在押注小模型，并引領(lǐng)了一場 SLM 革命。

從去年 6 月 Phi-1 面世，到 Phi-1.5、Phi-2，再到如今 Phi-3，微軟小模型已經(jīng)完成四次迭代升級。

今天，Phi-3 家族正式官宣新成員：

Phi-3-vision、Phi-3-small，Phi-3-medium。

其實，Phi-3-small，Phi-3-medium 對于每個人來說，或許并不陌生了。

上個月，微軟首次亮相 Phi-3-mini，經(jīng)過 3.3 萬億 token 訓練僅有 38 億參數(shù)，而且還可以部署在手機上，性能與 Mixtral 8x7B 和 GPT-3.5 相媲美。

論文地址：https://arxiv.org/pdf/2404.14219

另外，技術(shù)報告中，還首次展示了經(jīng)過 4.8T token 訓練的 7B 模型 Phi-3-small，以及 14B 模型 Phi-3-medium。

具體來說，Phi-3-small 提供了 8k 和 128k 上下文，實力與 Llama-3-8B-In、Gemma 7B，以及 Mistral 7B 相當。

而提供了 4k 和 128k 上下文的 Phi-3-medium，性能可以超越 Mistral 8x7B。

而現(xiàn)在，這些模型已經(jīng)在 Hugging Face 上發(fā)布，開發(fā)者們可以下載權(quán)重并使用。

多模態(tài) Phi-3

真正引人關(guān)注的是，Phi-3 在今天正式推出了多模態(tài)模型 Phi-3-vision，有 42 億參數(shù)，128k 上下文。

它可以完成一般的視覺推理任務(wù)，比如現(xiàn)場演示中，詢問圖表中的信息。

甚至，人們還可以使用 Phi-3-vision 進行 OCR、表格理解、一般圖像理解等。

值得一提的是，這款輕量模型僅用了一天半的時間，在 512 塊 H100 上完成了訓練。

它使用了 500B 視覺和文本 token，其中「教科書數(shù)據(jù)集」一直以來是 Phi 系列模型的訓練核心。

這次，Phi-3-vision 的訓練的圖像數(shù)據(jù)來自，精選高質(zhì)量圖文搭配的內(nèi)容，還有新創(chuàng)建的「教科書」式的綜合數(shù)據(jù)。

其中包括，圖表、表格、示意圖、幻燈片等教授的數(shù)學、編碼、常識推理等。

盡管參數(shù)量級非常小，在多模態(tài)基準測試中，Phi-3-vision 的性能超越了 Claude 3 haiku、LlaVa 和 Gemini 1.0 Pro。

甚至，各項性能非常接近 GPT-4V。

一些開發(fā)者已經(jīng)上手體驗了，并稱令人印象極為深刻。

還有一些開發(fā)者們也決定嘗試一番。

以上 Phi-3 模型，不僅可以在云端運行，甚至可以在本地運行。

SOTA 小模型 Phi-Silica

此外，納德拉還在今天發(fā)布了 Phi 系列的 SOTA 模型 ——Phi-Silica。

微軟稱，這是一款專為 Copilot+ PC 設(shè)計的 33 億參數(shù)模型，每秒可以處理 650 token 的，功率消耗約為 1.5 瓦。

這就意味著，Phi-Silica 不會占用大量算力，并可以釋放 PC 的 CPU 和 GPU 來處理其他計算。

另外，它的 token 生成會重用 NPU 的 KV 緩存，并在 CPU 上運行，大約每秒可輸出 27 個 token。

微軟表示，「Phi-Silica 的不同之處在于，它是 Windows 首個本地部署的語言模型」。

它針對 Copilot+PC NPU 進行了優(yōu)化，可在本地設(shè)備上實現(xiàn)超快的推理響應(yīng)速度。

這是 Windows 將先進的 AI 技術(shù)直接帶給第三方開發(fā)者的一個里程碑時，為他們開發(fā)出色的 Windows 原生體驗和第三方體驗鋪平了道路。

Phi-3 模型最新的應(yīng)用，便是微軟還和可汗學院聯(lián)合打造教育模型。

在模型的幫助下，學生們不僅得到了個性化的 AI 指導(dǎo)，老師們也感受到了自己的價值。

更重要的是，在 Phi-3 的加持下，能夠免費提供給教育工作者的 Khanmigo，必將極大地改變美國的教育界。

Windows

Copilot+ PC 將重新定義任何一個人在 PC 所做的一切。

Pavan Davuluri 展示了 Copilot 加持下的玩家，不用谷歌搜索，詢問即可通過被卡住的關(guān)卡。

通過將 Copilot 集成到 Xbox 中，可以大幅提升游戲體驗。

此外，微軟還與 Quest 聯(lián)手，將 Copilot 帶進 VR 世界，并為 Quest 帶來可擴展到 3D 空間的 Windows 應(yīng)用程序。