Xilinx為專業(yè)音視頻和廣播平臺增添高級機器學習功能

自適應和智能計算的全球領先企業(yè)賽靈思公司（Xilinx, Inc.) 近日于北京宣布，針對面向專業(yè)音頻/視頻（Pro AV）和廣播市場的賽靈思器件推出一系列全新的高級機器學習（ML）功能。此外，賽靈思還演示了業(yè)界首個基于7nm Versal? 器件的可編程 HDMI 2.1 實現方案。賽靈思將在本周于阿姆斯特丹舉辦的 2020 年歐洲集成系統(tǒng)展（ ISE ）上展出這些功能和更多其他功能。上述解決方案以及賽靈思面向 Pro AV 和廣播市場推出的其他高度自適應解決方案，旨在幫助客戶降低成本、適應未來，同時適應全新的使用模式以及不斷發(fā)展演進的產業(yè)標準。

面向 AI 邊緣處理的 高級ML功能

面向賽靈思 Pro AV 和廣播平臺全新推出的 ML 功能包括感興趣區(qū)域編碼（region-of-interest encoding）、智能數字標牌（intelligent digital signage）、自動對象跟蹤（automatic object tracking）和窗口剪切（window cropping）以及語音識別（speech recognition）。現在，客戶能夠充分運用賽靈思器件上的這些 ML 功能，包括已經高度集成的 Zynq^? UltraScale+^TM MPSoC 平臺，用于實現 AI 邊緣處理。將實時音視頻處理、AV 連接接口、編解碼器、IP 聯網、CPU 和 GPU 集成在可擴展的自適應單芯片解決方案中，能為用戶顯著節(jié)省空間、功耗和成本。

賽靈思 Pro AV 與廣播業(yè)務總監(jiān) Ramesh Iyer 表示：“機器學習作為一種快速發(fā)展的技術，正在激發(fā) Pro AV 與廣播領域的全新使用模式。在賽靈思自適應平臺中添加 ML 功能，實現了高度集成的 AV 處理器，為 8K 視頻、IP 音視頻和壓縮功能提供了業(yè)經驗證的支持?，F在通過增添多種高級功能，有助于開展商業(yè)化分析、提高工作流效率和增強可用性。最終，這些集成ML 功能將幫助企業(yè)加速創(chuàng)新、實現自身差異化，并加快產品上市進程?！?/p>

Pro AV 市場客戶能夠將這些全新的 ML 功能用于多種應用和工作負載。主要包括：

·         感興趣區(qū)域編碼 —— 借助 ML 和 Zynq UltraScale+ MPSoC 集成型 H.264/H.265 編解碼器，保持這些區(qū)域的高質量視頻畫質、加大背景壓縮幅度，從而更好地檢測人臉和特征。這種方法能降低總比特率，大幅節(jié)省實時視頻流的成本。

·         智能數字標牌 —— 使用 ML 模型檢測性別、年齡和手勢，在數字標牌上提供針對性的交互廣告。這種方法能為廣告商帶來更高的投資回報率以及可獲利的行為指標。

·         自動對象跟蹤與窗口裁剪 —— 使用 ML 功能，從單個 4K 攝像頭輸出多個高清窗口。這項功能尤其適用于在實況播報和控制室中提供畫面切換內容。

·         語音識別 —— 根據語音自動輸出文本，理想適用于會議記錄內容自動轉錄以及會議與協(xié)作中的語言翻譯。

首款在 7nm 器件上實現的的 HDMI 2.1 方案

在 ISE 2020 上，賽靈思將演示業(yè)界首款基于賽靈思 7nm Versal^TM 器件的可編程 HDMI 2.1 實現方案。該方案基于賽靈思首款自適應計算加速平臺（ ACAP ）構建。ACAP是一款具有變革意義的全新異構計算器件，其功能遠超常規(guī)的 CPU、GPU 和 FPGA。

HDMI 2.1 數據速率高達 48Gbps，支持 8K60 和 4K120 等一系列更高的視頻分辨率和幀率，從而幫助 LED 畫面墻、大幅面顯示屏、數字標牌以及運動賽事實況轉播等需要高速視頻功能的應用提供更加身臨其境的體驗?；赩ersal ACAP 的 HDMI 2.1 實現方案專門支持這項標準，可以幫助客戶發(fā)送、接收和處理高達 8K（7680 x 4320 像素）的超高分辨率（ UHD ）視頻。

7nm Versal ACAP 在軟件可編程芯片架構下提供了可擴展的自適應智能化引擎，將嵌入式軟件、多通道 AV 處理流水線和 AI 推斷緊密結合。此外，還將實時視頻處理、AV 連接接口、編解碼器、IP 聯網、CPU、GPU和其他功能集成在單芯片解決方案中，也能為客戶節(jié)省空間、功耗和成本。