Kria SOM：無需 FPGA 設(shè)計也可盡享其嵌入式設(shè)計優(yōu)勢

導(dǎo)語

我們常說“大道至簡”，因為往往用詞越多，想法就越具體、越瑣碎。所以當(dāng)我們在開發(fā) Kria? SOM (System-on-Module，系統(tǒng)模塊時，就大膽提出了“無需 FPGA 設(shè)計也可盡享賽靈思技術(shù)優(yōu)勢”這一概念，致力于通過全面審視整個 FPGA 設(shè)計流程，將一系列相當(dāng)普通、毫不張揚的概念糅合起來，構(gòu)建出一種獨特而多面的技術(shù)，讓那些希望利用 FPGA 技術(shù)的優(yōu)勢在量產(chǎn)系統(tǒng)中實現(xiàn)創(chuàng)新理念卻不知道或者特別想知道從哪里入手的嵌入式開發(fā)者和 AI 軟件開發(fā)者，也能盡享FPGA 高性能、靈活應(yīng)變的價值優(yōu)勢。

正文

Kria? 系統(tǒng)模塊 ( System-on-Module，SOM ) 是一款集成嵌入式、可插拔、信用卡尺寸的基于 Arm? SoC 的解決方案，可輕松支持各種預(yù)定義及用戶定義應(yīng)用。Kria SOM 和互聯(lián)的賽靈思應(yīng)用商店 (Xilinx App Store) ，旨在面向那些希望利用 FPGA 技術(shù)的優(yōu)勢在量產(chǎn)系統(tǒng)中實現(xiàn)創(chuàng)新理念卻不知道或者特別想知道從哪里入手的嵌入式開發(fā)者和 AI 軟件開發(fā)者，提供一個“歡迎”的標志。此外，對于傳統(tǒng)的賽靈思設(shè)計著而言，Kria SOM 是一個可用于量產(chǎn)設(shè)計的方便且高效的硬件平臺。

Kria SOM 簡介

FPGA 的功能在逐年擴展，始終圍繞著一個核心價值主張，那就是較其他嵌入式技術(shù)的靈活性與性能優(yōu)勢。毫無疑問，近年來 FPGA 的最主流趨勢是集成嵌入式處理器和外設(shè)，使設(shè)計人員能夠?qū)⒑线m的任務(wù)分配給合適的計算引擎。由此使得自適應(yīng) SoC 通過在不同規(guī)模 FPGA 架構(gòu)上，通過提供統(tǒng)一的處理子系統(tǒng)為用戶帶來三重自由度，即軟件可編程能力、硬件可編程能力和嵌入式平臺的可擴展能力。鑒于這些原因，

以及賽靈思白皮書 WP493 中闡述的其他原因，過去十年中 Zynq^?-7000 SoC 和 Zynq UltraScale+? MPSoC 在工業(yè)與醫(yī)療物聯(lián)網(wǎng)量產(chǎn)系統(tǒng)中已經(jīng)得到廣泛應(yīng)用。

這種廣泛應(yīng)用緣于 FPGA 技術(shù)顯而易見的、差異化的優(yōu)勢。然而，正如這種狀況所揭示的激動人心的前景，其應(yīng)用范圍還可以更加廣泛。那么，如何才能進一步釋放這種應(yīng)用潛力呢？

首先，讓我們看看阻礙其得到更廣泛采用的有哪些因素。兩個最常見的因素是：

1.不熟悉傳統(tǒng)的 FPGA 設(shè)計流程

2.用開發(fā)時間衡量FPGA 設(shè)計流程的迭代成本

很明顯，大量的系統(tǒng)架構(gòu)師和嵌入式及 AI 軟件開發(fā)者， 都對 FPGA 的優(yōu)勢有所耳聞，并希望有機會運用這類 FPGA。然而，他們不想花費漫長的過程克服學(xué)習(xí)“新”設(shè)計流程的困難，只想專注于嵌入式硬件方面的開發(fā)過程。即便對于 FPGA 專家而言，許多人也表示希望能為自己的嵌入式設(shè)計提供一種簡單且經(jīng)濟高效的的量產(chǎn)硬件部署選項。由于同地協(xié)作 （ 如電子實驗室） 中需要協(xié)作才能啟動嵌入式電路板，加之 2020 年和 2021 年的全球疫情肆虐對同地協(xié)作的局限，這種愿望也變得愈加強烈。

Kria SOM 是賽靈思量產(chǎn)型產(chǎn)品組合的最新成員。該產(chǎn)品組合的成員已包括面向 x86 應(yīng)用、FPGA 和自應(yīng) SoC 的加速器卡。Kria SOM 是一種集成嵌入式、可插拔、信用卡尺寸的基于 Arm SoC 的解決方案。賽靈思 SOM 架構(gòu)的初衷是簡化架構(gòu)，只包含 SoC、存儲器、電源和其他 SoC 的基本支持功能。當(dāng) SOM 與 最終用戶設(shè)計的低復(fù)雜度印刷電路板載卡搭配使用時，只需要采用一組簡單的開放連接器解決用戶終端系統(tǒng)的連接和附加組件需求，就可以將其集成到量產(chǎn)部署的系統(tǒng)中。針對開發(fā)和評估，賽靈思提供了入門套件。該套件由非量產(chǎn)型 Kria SOM 與預(yù)定義的載卡共同構(gòu)成，并提供各種接口選項以連接傳感器或其他外設(shè)。入門套件是初次使用 Kria SOM（特別是視覺 AI 應(yīng)用）的最便捷方法，它為面向目標應(yīng)用開發(fā)并由用戶定義的定制型量產(chǎn)載卡提供了實現(xiàn)途徑。

節(jié)省多達九個月的開發(fā)時間及相關(guān)成本

Kria SOM 為新接觸 FPGA 和 SoC 技術(shù)的開發(fā)者，提供了獨特的、簡化的用戶體驗，并向打算外購而非自行開發(fā)量產(chǎn)硬件的FPGA 長期用戶，提供了極具吸引力的效率提升。而對于 FPGA 專業(yè)人士而言，Kria SOM 可節(jié)省多達 9個月的開發(fā)時間和相關(guān)成本 —— 非常直接明了的價值主張。節(jié)省的這 9 個月時間主要來自器件選型、

錄入原理圖、布局電路板和啟動多學(xué)科協(xié)作電路板，有時也包括部分的重新設(shè)計。對于剛接觸自適應(yīng)計算的用戶而言，還有更值得關(guān)注、也更加顯著的效益。本白皮書將在下文中重點介紹這些效益。

Kria SOM 首個成員 SOM K26 和首個入門套件 KV260 視覺 AI 入門套件已經(jīng)推出，代表了全新賽靈思主流產(chǎn)品線。參見圖 1。

圖1 賽靈思 K26 Kria SOM 和 KV260 視覺 AI 入門套件

隨著時間的推移，開發(fā)者可以期待更多的 Kria SOM 和套件。而且雖然本白皮書重點講述的是第一批方案，但同樣的概念也適用于未來推出的解決方案。

借助賽靈思 Kria SOM 簡化嵌入式設(shè)計的關(guān)鍵實現(xiàn)技術(shù)，在于隨每個入門套件提供的應(yīng)用專用基礎(chǔ)架構(gòu)。它可以直接用于用戶的量產(chǎn)設(shè)計。首款 Kria 入門套件為 Kria KV260 視覺 AI 入門套件，它主要面向視覺 AI 應(yīng)用。未來的解決方案將重點關(guān)注由賽靈思和第三方開發(fā)的其他豐富多樣的應(yīng)用，并在 Xilinx App Store 中提供。Xilinx App Store提供成套的量產(chǎn)級參考設(shè)計，稱為 Kria 加速應(yīng)用。這種基于加速應(yīng)用的獨

特方法既為以軟件為基礎(chǔ)的設(shè)計提供了全新范例，同時也為目標應(yīng)用保持了 FPGA 的性能優(yōu)勢和系統(tǒng)級靈活性。

利用加速應(yīng)用方法簡化 FPGA 設(shè)計

自適應(yīng) SoC 是一把雙刃劍。它們雖然比任何其他主流半導(dǎo)體技術(shù)都更加靈活，但也會讓新用戶感到過于復(fù)雜。這種靈活性體現(xiàn)在眾多方面：可編程邏輯、可編程軟件、可編程 I/O、可編程 DSP 引擎、可編程嵌入式 RAM、可編程安全性、可編程功耗等。Kria SOM 以最常用、最主流的用例為重點，從設(shè)計上簡化了這種靈活性造成的復(fù)雜性。這些用例已開發(fā)到加速應(yīng)用中，方便用戶通過 Xilinx App Store加入設(shè)計者的行

列中。加速應(yīng)用的變革性影響，類似于自動擋的發(fā)明較之手動擋令汽車駕駛更簡便易行。雖然手動擋的熱衷者仍不乏其人，但是世界上大多數(shù)人會自然地選用最容易操縱、最方便的方式。然而，即使賽靈思器件的固有功能被做了這樣的簡化，但與市場上無論是基于微處理器或是 GPU 的 SOM 相比，Kria SOM 都能提供強得多的系統(tǒng)級靈活性。

除了預(yù)配置電源提供的關(guān)鍵的便利特性、具備“金版”鏡像回讀功能的自動化啟動流程和靈活的 I/O 分配以外，Kria SOM 還為加速開發(fā)提供了更多豐富功能。Kria SOM 支持預(yù)構(gòu)建、可擴展的 Linux 基礎(chǔ)設(shè)施，無論客戶傾向于 Canonical 提供的 Ubuntu 和 Ubuntu Core 版本，還是賽靈思通過 PetaLinux 工具管理的 Linux 內(nèi)核，以及使用 Yocto 進行定制構(gòu)建的功能。兩種方式都提供了一套非常實用的系統(tǒng)工具，如溫度監(jiān)控器、性能監(jiān)控器、DDR 內(nèi)存和其他外設(shè)的服務(wù)質(zhì)量配置、固件無線更新能力、內(nèi)置自檢測等。這些特性對于簡化 Kria SOM 的使用很有幫助。然而，Kria SOM 最突出的特點在于 Xilinx App Store 提供的不斷豐富的加速應(yīng)用庫。其中既有免費應(yīng)用，也有收費應(yīng)用，并且都可以輕松加載到 Kria SOM 中。參見圖 2。

圖二 預(yù)構(gòu)建的Linux 基礎(chǔ)架構(gòu)簡化嵌入式設(shè)計

預(yù)構(gòu)建的可編程邏輯與加速應(yīng)用

Kria 加速應(yīng)用旨在借助基礎(chǔ)軟件應(yīng)用創(chuàng)建穩(wěn)健的應(yīng)用專用 FPGA 硬件設(shè)計，方便最終用戶進行擴展。在加速應(yīng)用中，SoC 的可編程邏輯部分已經(jīng)為用戶預(yù)先構(gòu)建。不需要進行修改即可使用。當(dāng)然，如果需要也可以修改。 賽靈思已經(jīng)開發(fā)出一定數(shù)量的加速應(yīng)用，通過修改就能滿足設(shè)計者的多樣化需求。初始 Kria 加速應(yīng)用依據(jù)的是研究發(fā)現(xiàn)的用戶在開發(fā)過程中最常使用的視覺 AI 應(yīng)用。這些賽靈思提供的加速應(yīng)用可由用戶根據(jù)自身目標和需求進行修改。與從頭開發(fā)相比，幫助他們節(jié)省了軟件開發(fā)時間。賽靈思和賽靈思生態(tài)系統(tǒng) （運用自己在各自重點領(lǐng)域的專業(yè)知識交付應(yīng)用合作伙伴）將在Xilinx App Store上增加更多加速應(yīng)用。參見表 1.

表1 用于 Kria SOM 的加速應(yīng)用

對于首批入門套件解決方案，主要應(yīng)用是視覺 AI 應(yīng)用，例如安全、智慧城市、交通管理和零售分析。這些應(yīng)用推動了針對 KV260 入門套件的設(shè)計決策，包括為 I/O 接口選擇連接器等決策。這些連接包括 MIPI、HDMI、DisplayPort、USB 和以太網(wǎng)等接口。未來的入門套件將面向更多類型的應(yīng)用，如機器視覺、視覺引導(dǎo)機器人等。Kria 加速應(yīng)用幫助用戶快速從評估階段進入到設(shè)計階段以及部署階段。

從評估到量產(chǎn)部署的典型流程

這里是從評估到量產(chǎn)部署的典型流程：

1.最初數(shù)天（評估）：選擇滿足用戶需求，適合評估平臺功能的最為近似的賽靈思預(yù)構(gòu)建設(shè)計（加速應(yīng)用）。

2.最初數(shù)周（設(shè)計）：定制應(yīng)用軟件和 AI 模型，根據(jù)最終產(chǎn)品需求調(diào)試 Kria 加速應(yīng)用。此外，用戶還可以針對用戶的 AI 模型選擇，使用 Vitis? 庫的硬件加速器優(yōu)化完整的圖像數(shù)據(jù)路徑，最大限度提升性能。

3.最初數(shù)月（部署）：針對具體的用戶外設(shè)（如不同的攝像頭傳感器）定制硬件并啟動構(gòu)建定制載卡的流程。根據(jù)需要，參照豐富的在線教程和設(shè)計指南，在這個階段通過 Vitis 設(shè)計工具也可以修改 FPGA硬件。

4.數(shù)年（適配）：通過無線更新的方式對現(xiàn)場的軟硬件進行更新，從而最大化產(chǎn)品相關(guān)性，并通過這些 更新，有望為用戶的公司創(chuàng)造新的收益流。不斷演進的標準、威脅和客戶需求可能導(dǎo)致 AI 模型、視 覺流水線、控制環(huán)路、通信協(xié)議和加密引擎發(fā)生改變。Kria SOM 提供了在部署后做出這些改變的靈 活性與內(nèi)置功能。

參見圖3.

正如上述場景所呈現(xiàn)的，在評估階段無需安裝賽靈思工具。GNU 編譯器和 Vitis AI 等軟件工具用于第二步，即設(shè)計階段。第三階段是部署。如過有任何階段需要實現(xiàn)硬件定制，最有可能是在這個階段。因此有可能需要 Vitis 和/或 Vivado^? 設(shè)計套件等 FPGA 工具。

Kria 加速應(yīng)用的優(yōu)勢

Kria 加速應(yīng)用的重要之處在于，它們允許用戶在 Ubuntu 或 Yocto Linux 環(huán)境下從熟悉的嵌入式軟件和 AI 工具入手，而不必與可能不熟悉的 FPGA 工具打交道。要讓用戶充分發(fā)揮這種方便的流程的優(yōu)勢，前提是賽靈思應(yīng)用商店中有與用戶需求匹配的加速應(yīng)用（例如智能攝像頭、AI Box、配有 KV26 和 KV260 的機器視覺攝像頭，還有未來的機器人控制器和電驅(qū)動器）。應(yīng)用軟件和 AI處理是量產(chǎn)所需的主要修改。因此，雖然完全支持 FPGA 定制，但無需定制。

憑借軟件設(shè)計的便利性，預(yù)先構(gòu)建在這些系統(tǒng)內(nèi)的應(yīng)用專用 FPGA 加速塊提供了世界一流的性能和低時延。SOM還能根據(jù)加載到 SOM 中的具體加速應(yīng)用，通過改變用戶可用的加速塊，提供顯著的“個性化”加速。此外，每個加速應(yīng)用都可以使用 Vitis 加速庫實現(xiàn)定制化。定制范圍從 OpenCV 到豐富多樣的其他常用功能。這種靈活性是SOM 自適應(yīng)技術(shù)基礎(chǔ)的基本價值主張。

Kria SOM 的主要性能和特性

主要特性和標準隨使用的 Kria 加速應(yīng)用以及與該應(yīng)用相關(guān)的功能而有所變化。對于首批解決方案而言，K26 SOM 和 KV260 視覺 AI 入門套件重點關(guān)注 AI 吞吐量、性能功耗比和每通道成本。如欲了解更詳細的性能基準測試報告，敬請查詢相關(guān)白皮書：WP529，Kria K26 SOM：邊緣視覺 AI 的理想平臺。本白皮書概述了相對于競爭對手 SOM 產(chǎn)品的優(yōu)勢，重點介紹了具體的用例，如智慧城市應(yīng)用中的車牌/數(shù)字車牌識別等。

從純粹的每秒萬億次的運算(TOPS)來看，K26 SOM 可提供比 Nvidia Jetson Nano 高大約 3 倍的性能優(yōu)勢。此外，它也能提供比 Nvidia Jetson TX2 最多高 2 倍的性能功耗比優(yōu)勢。其低時延、高性能的深度學(xué)習(xí)處理單元(DPU)在機器學(xué)習(xí)性能基準測試套件的網(wǎng)絡(luò)上，可提供顯著優(yōu)于 Nano 和 TX2 的性能。參見圖 4。

圖4 賽靈思 Kria SOM 與英偉達 Jetson AI 性能對比

Kria K26 SOM 特性

K26 SOM 采用 Zynq UltraScale+ MPSoC 架構(gòu)。由此，K26 和所有 K2x 系列 SOM 均搭載一個 64 位四核 Arm^? Cortex?-A53 應(yīng)用處理器組、一個 32 位雙核 Arm Cortex-R5F 實時處理器和一個 Arm Mali?-400MP2 3D 圖形處理器。SOM 還內(nèi)置 4GB 的 64 位 DDR4 內(nèi)存以及 QSPI 和 eMMC 存儲器。通過外部 TPM2.0，內(nèi)置硬件信任根的固有安全啟動功能得到擴展，能進行測量啟動并符合 IEC 62443 的標準（參見 WP513，賽靈思 IEC 62443 合規(guī)產(chǎn)品實現(xiàn)）。此外，通過其 FPGA 架構(gòu)內(nèi)的 25.6 萬個系統(tǒng)邏輯單元，K26 SOM 還能支持最多 4096 個大小的 DPU，并為 H.264/H.265 提供內(nèi)置視頻編解碼器。K26 SOM 通過 四個 6Gb/s 收發(fā)器和四個 12.5Gb/s 收發(fā)器，支持大量的 1.8V、3.3V、單端和差分 I/O。整體上可以支持

多種類型的標準，如 MIPI、SLVS-EC、sub-LVDS、DisplayPort、HDMI、PCIe^? 、USB2.0/3.0 等，包括用戶定義的標準。K26 SOM 的大小是 77mm x 60mm x 11mm，在未來，計劃顯著縮小 SOM 的尺寸，以支持堅固型應(yīng)用。商用級 K26 SOM 支持的額定溫度范圍是 0°C 至 +85°C 結(jié)溫，以內(nèi)部溫度傳感器報告應(yīng)用處理器的溫度為準。SOM 上的所有其他器件均以該傳感器的測量值為準。類似地，工業(yè)級支持的額定溫度范圍是 –40°C 至 +100°C。SOM 通過兩個 240 引腳連接器與載卡相連。參見表 2。

表2 K26 SOM 概覽

KV260 入門套件特性

為了降低成本、簡化評估，盡管量產(chǎn)的 K26 SOM 上有兩個連接器，KV269 入門套件內(nèi)的 SOM 由于功能受限，因此只有一個連接器可以使用。量產(chǎn) SOM 和入門套件間的其他差異還有載卡上移除 eMMC 存儲器，用 SD 卡接口代替，以及入門套件只能在室溫下運行。

KV260 視覺 AI 入門套件支持三個 MIPI 傳感器接口，一個安森美半導(dǎo)體提供的成像器接入系統(tǒng)(IAS)連接器并配套一個板載圖像信號處理器(ISP)、一個補充 IAS 連接器和一個樹莓派連接器。提供多個 USB 2.0/3.0 接口以及以太網(wǎng)、HDMI、DisplayPort 和 Pmod 連接器，用于評估多種類型的視覺 AI 應(yīng)用。這種入門套件使用簡便，從開箱到開發(fā)應(yīng)用，用時不到一個小時。參見圖 5。

圖5 KV260 視覺 AI 入門套件原理圖

Kria SOM 系統(tǒng)級靈活性實現(xiàn)面向未來的產(chǎn)品

成套的應(yīng)用專用解決方案和固有的性能優(yōu)勢令 Kria SOM 成為全新嵌入式設(shè)計的理想選擇。除此之外，它還可為工業(yè)市場提供多項長期商業(yè)以及技術(shù)優(yōu)勢。

工業(yè)市場的特征是要求嚴苛環(huán)境下的長生命周期。這里的長生命周期是指在更寬泛的工作溫度范圍下承受濕度、沖擊和振動的長使用壽命。工業(yè)級 Kria SOM 能在 100°C 結(jié)溫、80% 相對濕度下提供 10 年的使用壽命。此外，它還能承受最高 40g 的沖擊和 5g RMS的振動。

對一些客戶而言，長生命周期也指長期供貨。就賽靈思 SOM 產(chǎn)品而言，工業(yè)級解決方案的供貨期至少為 10 年。這是 Kria SOM 的一項重大優(yōu)勢，因為 DDR4、QSPI、eMMC、TPM2.0 等各類組件和電源管理器件的價格和供貨可能存在諸多變數(shù)。賽靈思可幫助用戶減少對這些細節(jié)的關(guān)注，因為長生命周期只是Kria SOM 的眾多價值之一。Kria SOM 模型還可內(nèi)在地允許客戶根據(jù)出貨量漲跌造成的業(yè)務(wù)需求，從 SOM過渡到成品芯片。

從技術(shù)的角度，Kria SOM 具備自適應(yīng)器件基礎(chǔ)，可為用戶提供重大的靈活性優(yōu)勢。這些系統(tǒng)級靈活性可通過加速應(yīng)用的未來更新得到進一步強化。例如，一項對 DPU 性能的研究揭示，從 INT8 升級到 INT4 能提高硬件性能 77%，同時減少邏輯占用和片上存儲器占用。也能部署高速可擴展的量化神經(jīng)網(wǎng)絡(luò)推斷(FINN)這樣的降低精度的推斷架構(gòu)，因為 Kria SOM 硬件會隨著時間的推移不斷改進，可以在部署到實地后進行升級。這與固定的 GPU 架構(gòu)相比完全相反。

靈活適應(yīng)市場趨勢

有時候在市場的推動下，可能發(fā)生從一種技術(shù)或接口向另一種技術(shù)或接口遷移的情況。而 Kria SOM 也能適應(yīng)這些外部力量的作用。賽靈思可編程 I/O 和內(nèi)部可編程邏輯能支持從 MIPI 等成像標準向 SLVS-EC 轉(zhuǎn)型，乃至從 SLVS-EC 1.0 版向 2.0 版轉(zhuǎn)型，從而支持 2 倍的數(shù)據(jù)速率。

Kria SOM 靈活性的另一個環(huán)節(jié)是它們是云原生的。它們可以讓用戶迅速、無縫地在邊緣和云之間靈活分配工作負載。在需要加快響應(yīng)速度的時候，其他物聯(lián)網(wǎng)解決方案所受限制過大，無法可靠地處理云工作負載。但是 Kria SOM 可支持許多最常用的云框架。就部分云解決方案而言，比如采用 Greengrass 框架的AWS，運行在云上的應(yīng)用可以無縫遷移到邊緣，反之亦然。根據(jù)大多數(shù)工業(yè)資產(chǎn)的預(yù)期使用壽命和耐久度，Kria SOM 專為滿足工業(yè)級使用壽命的要求量身打造。

從 Kria SOM 入手

正如本白皮書通篇所介紹的那樣，對于希望在量產(chǎn)系統(tǒng)中發(fā)揮 FPGA 技術(shù)的優(yōu)勢，但不知道從何著手的嵌入式開發(fā)者和 AI 軟件開發(fā)者來說，Kria SOM 是理想的解決方案。此外，Kria SOM 還能消除設(shè)計流程中一些比較耗時的環(huán)節(jié)，從而為 FPGA 專家提高了自適應(yīng) SoC 硬件的設(shè)計效率并降低了風(fēng)險。

隨著賽靈思和合作伙伴的不懈努力，Kria SOM 開發(fā)者生態(tài)系統(tǒng)將持續(xù)增長，不斷提供更多加速應(yīng)用，強化 Kria SOM 系列和入門套件，大幅縮短掌握賽靈思自適應(yīng)計算技術(shù)的性能和靈活性所需的時間。設(shè)計者通過https://china.xilinx.com/products/som/kria.html，可以立即開始評估當(dāng)前的 Kria SOM 產(chǎn)品組合。為幫助設(shè)計者入門，賽靈思還提供文檔、視頻和培訓(xùn)資料。設(shè)計者可以在賽靈思應(yīng)用商店購買入門套件和附件包，查看 Kria 加速應(yīng)用，然后找出最適合自己的應(yīng)用。