英特爾張宇：軟硬結(jié)合創(chuàng)新助力邊緣智能應用落地

人工智能的發(fā)展一次又一次打破了人們對技術(shù)的認知。隨著行業(yè)數(shù)字化轉(zhuǎn)型，人們對于敏捷連接，實施的業(yè)務以及應用的智能等方面的訴求，推動了邊緣人工智能的發(fā)展。相比于火熱的大模型，張宇博士坦言，邊緣人工智能目前絕大部分的應用還處于邊緣推理階段。利用大量數(shù)據(jù)以及極大算力在數(shù)據(jù)中心訓練一個模型，把訓練的結(jié)果推送到前端去執(zhí)行一個推理操作，這是目前絕大部分在邊緣實現(xiàn)人工智能的使用模式。這種模式不可避免會限制模型更新頻率，但是很多智能行業(yè)對模型的更新實際上是有訴求的。

張宇博士認為人工智能發(fā)展的第二個階段應該是邊緣訓練階段，但是邊緣訓練并不是把數(shù)據(jù)中心的訓練方法照搬到邊緣來進行實現(xiàn)。因為在邊緣來實現(xiàn)訓練，有很多特定問題和特定挑戰(zhàn)需要解決。比如在智能制造領(lǐng)域或者是在自動駕駛領(lǐng)域?qū)崿F(xiàn)邊緣訓練，執(zhí)行這些操作的人員往往是產(chǎn)線工人或汽車駕駛?cè)藛T。這些人員往往沒有人工智能經(jīng)驗，同時也沒有精力幫你做人工智能操作。

邊緣人工智能的發(fā)展，從歷史上來看，它應該發(fā)展成三個階段：第一個階段是邊緣推理，第二個階段是邊緣訓練，第三個階段是邊緣的自主機器學習。邊緣人工智能的發(fā)展實際上面臨著眾多的挑戰(zhàn)，除了前面提到的有關(guān)邊緣訓練的挑戰(zhàn)以外，還有邊緣設備面臨的挑戰(zhàn)。由于提供的算力所能夠承載的功耗往往是有限的，所以如何在有限資源的情況下去實現(xiàn)邊緣的推理及訓練，這對芯片的性能、功耗比提出了更高的要求。另外，邊緣設備的碎片化非常明顯，如何利用軟件很好地實現(xiàn)在不同平臺之間的遷移，實際上也提出了更多要求。

張宇直言，如果我們要邊緣實現(xiàn)邊緣訓練，就需要有更加自動化的手段和工具去完成從數(shù)據(jù)標注到模型的訓練，以及模型部署一整套完整的開發(fā)流程。他認為邊緣人工智能下一步的發(fā)展方向應該是自主學習階段，也就是邊緣的auto machine learning。作為自主學習，人工智能應該能夠感知人的意圖。根據(jù)人的意圖，它能夠設計一個合理的網(wǎng)絡模型結(jié)構(gòu)，或選取一個合理的人工智能網(wǎng)絡模型，然后自主選擇相應訓練數(shù)據(jù)集進行訓練，再把訓練結(jié)果自主推送到前端去執(zhí)行相應推理操作，完成一整套自主化的過程。

人工智能的發(fā)展離不開算力，離不開數(shù)據(jù)，其實數(shù)據(jù)的背后又離不開通信技術(shù)以及存儲技術(shù)。應該說推動本輪人工智能發(fā)展最核心的要素，實際上是計算、通訊和存儲技術(shù)的不斷提升。張宇博士介紹，英特爾作為一家數(shù)據(jù)公司，產(chǎn)品恰恰涵蓋了計算、通訊和存儲的各個方面。在計算方面，英特爾提供的是包括CPU、GPU、FPGA和各種人工智能加速芯片在內(nèi)的多種產(chǎn)品，來滿足用戶對于算力的不同要求。在硬件方面，考慮到邊緣人工智能對于算力、功耗、安全的不同要求，英特爾所采取的思路是同時推動通用處理器和通用GPU并舉的方案。在前端方面，我們會根據(jù)不同場景的要求選擇不同的產(chǎn)品組合，包括獨立顯卡、集成顯卡、CPU以及Habana。

英特爾有不同的計算資源可供用戶使用，但這需要考慮資源分配和調(diào)度問題。對于資源調(diào)度，需要一個統(tǒng)一的API接口，否則不同的資源調(diào)度都需要不同的接口，這是不經(jīng)濟的。因此，英特爾正在考慮如何在異構(gòu)平臺上合理分配負載，以進行人工智能處理。在底層方面，英特爾采用了OneAPI的思路，它基于DPC++編程模式，利用OneAPI提供的優(yōu)化庫，在英特爾硬件平臺上高效調(diào)用底層資源。這是英特爾在底層方面的戰(zhàn)略，并且是我們目前一直在進行的工作。

在上層調(diào)度方面，我們首先需要考慮資源分配的問題。對于大模型的訓練，不同的應用有不同的算法模型和算力要求，因此我們不能使用至強處理器來進行訓練。目前，我們主要推薦使用專門為大模型訓練設計的Habana Gaudi 2。在最近的MLCommons公開的AI評測中，只有英特爾和另一家友商展示了在大模型訓練方面的良好性能，其中英特爾是其中之一。我們計劃不久將其引入中國，并發(fā)布相關(guān)活動，這對英特爾來說非常重要。

在軟件推理方面，英特爾提供的OpenVINO深度學習的部署工具套件，可以將開發(fā)人員在開放的人工智能框架上所設計和訓練好的網(wǎng)絡模型交給OpenVINO，它可以幫助開發(fā)人員完成從建模到優(yōu)化到部署的開發(fā)過程。在建模方面，OpenVINO提供三百多個預訓練好的網(wǎng)絡模型。開發(fā)人員可以在模型基礎(chǔ)之上直接進行應用的開發(fā)，或者在這些模型之上進行二次訓練，加速模型的構(gòu)建速度。在優(yōu)化方面，OpenVINO使用的是網(wǎng)絡壓縮的技術(shù)，能夠?qū)⒛Ｐ驮诒ＷC精度的情況下進行簡化。其實網(wǎng)絡壓縮是一個很大的概念，里面包含了若干技術(shù)。除了量化的技術(shù)以外，還包括低比特等一系列的技術(shù)。在訓練完成后，將訓練結(jié)果傳遞給OpenVINO進行硬件平臺的適配。在OpenVINO的新版本中，它提供了Auto插件，用戶只需告訴OpenVINO自己關(guān)注的性能指標，如延遲或吞吐量，OpenVINO就能夠自動探測硬件類型并進行硬件配置，將工作負載下發(fā)到相應的硬件上執(zhí)行人工智能操作。因此，我們希望通過OpenVINO來處理調(diào)度問題。

在調(diào)度之前，我們需要進行模型壓縮。壓縮不是普通的壓縮，而是根據(jù)使用場景、行業(yè)和關(guān)注特征等進行有針對性的優(yōu)化，以便于使用OpenVINO進行部署和分配硬件負載。因此，在底層方面，我們采用OneAPI來進行統(tǒng)一，而在推理方面，我們將利用OpenVINO來進行負載的分配。對于大模型的訓練，我們將使用Habana Gaudi 2來完成。