PYNQ中實現(xiàn)SoftMax函數(shù)加速器

　　孫齊偉

　?。ㄎ髂辖煌ù髮W(xué) 信息科學(xué)與技術(shù)學(xué)院，四川 成都 611756）

　　摘要：SoftMax函數(shù)通常在深度學(xué)習(xí)中作為激活函數(shù)使用，但其計算涉及自然指數(shù)和除法運算，傳統(tǒng)PC機上計算較慢，拖累了一個神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。本文針對自然指數(shù)運算的特點，提出了一種名為基底拆分法的新方法。該方法將SoftMax函數(shù)中自然指數(shù)計算拆分為多個由查找表實現(xiàn)的特定基底上，通過這種方法，一個復(fù)雜的自然指數(shù)計算過程即可由查找表過程和乘法過程實現(xiàn)。這種方法有效的降低了硬件復(fù)雜度以及邏輯傳播延時。由于該方法中使用了自定義的數(shù)據(jù)結(jié)構(gòu)，因此本文采用了CPU + FPGA的架構(gòu)，通過合理分工，加速SoftMax函數(shù)計算。同時，本文將基于這種方法設(shè)計的IP核在PYNQ-Z2開發(fā)板上進行了板級調(diào)試。

　　關(guān)鍵詞：PYNQ，ZYNQ，SoftMax，AXI總線，異構(gòu)計算

　　* 本作品獲得第二屆“全國大學(xué)生集成電路創(chuàng)新創(chuàng)業(yè)大賽”全國一等獎

　　0 引言

　　Xilinx推出的ZYNQ系列FPGA中嵌入了一顆雙核ARM，既能發(fā)揮FPGA的定制特性，也能發(fā)揮處理器的通用特性，而且兩個部分之間接口豐富、官方文檔齊全，可玩性極高。同時相應(yīng)的開發(fā)板也很多。傳統(tǒng)的ZYNQ開發(fā)板（Zedboard等）需要結(jié)合vivado和SDK兩大工具分別對PL、PS端進行硬件和軟件開發(fā)。本次我介紹的平臺為PYNQ開發(fā)板可使用Python將軟件操作和硬件控制進行無縫銜接，目前已經(jīng)出到Z2版本，由依元素進行代理銷售，999塊極具性價比。

　　PYNQ是Xilinx一項旨在使用Python和一些lib讓SoC開發(fā)更加簡單的開源項目，以我的理解其本質(zhì)是Python的一些第三方庫，是對PS端操作的封裝。傳統(tǒng)的ZYNQ開發(fā)板也能使其變?yōu)镻YNQ開發(fā)板，當(dāng)引入Python后就可以使用一些Python中強大的第三方庫了例如Numpy、Matplotlib等。

　　1 SoftMax函數(shù)介紹及計算方案介紹

　　SoftMax 函數(shù)是神經(jīng)網(wǎng)絡(luò)中的一種輸出層函數(shù)，計算輸出層的值，主要用于神經(jīng)網(wǎng)絡(luò)最后一層。其表達式如下所示：

　　設(shè)計中的關(guān)鍵問題是 自然指數(shù)的計算 ，傳統(tǒng)的方案有：

　?。?）查表法：同等規(guī)格定點數(shù)下精度極高，但若要在較大范圍上計算需要消耗大量資源。

　?。?）CORDIC：利用迭代特性，資源復(fù)用，占用資源極小，常用于計算器中，但在大規(guī)模計算中需要進行流水線化改造，且需要想辦法克服最大旋轉(zhuǎn)角度限制的問題。

　?。?）泰勒級數(shù)展開：也即多項式擬合，該法較為靈活，多項式次數(shù)越高精度越高，劃分區(qū)間越細(xì)精度越高，是較為常用的方法。

　　本文針對指數(shù)計算的特性，設(shè)計了一種原理簡單的計算方案，并且通過了板級測試。根據(jù)其計算特性稱其為基底查表法。

　　在十進制中，若要計算3.68的自然指數(shù)我們可以通過公式（1）分別計算e3，e0.6，e0.08，所以可以事先將需要的自然指數(shù)值存在ROM表中，計算時將待計算數(shù)字通過基底拆分分別得到個位、十分位、百分位，并作為ROM的尋址地址，最后將查表得到的值進行乘法操作即可得到最終結(jié)果。但數(shù)字電路中實現(xiàn)十進制取整取余操作時較為復(fù)雜的，因此實際使用時對二進制情況進行了優(yōu)化。

　　圖2為基于二進制移位操作的基底拆分示意圖，待計算的16bit數(shù)據(jù)，高三位表示的是小數(shù)點的位置信息，低十三位為數(shù)據(jù)位。經(jīng)過左移并按照人為設(shè)計的格式輸出即可還原數(shù)據(jù)。這種方法僅采用移位操作進行基底劃分，因此硬件結(jié)構(gòu)簡單、傳播延時小。

　　工程中設(shè)計的IP核內(nèi)部結(jié)構(gòu)，見圖3。

　　其中的關(guān)鍵流水線如圖4。

　　大致原理就是如此，可以看出這種方法也是很靈活的，可以通過簡單地增加ROM和乘法器數(shù)量即可擴大計算范圍，而且精度可以通過增減ROM表存儲的定點數(shù)位寬進行改變，乘法器可以使用ZYNQ中的DSP資源來提高性能。本次設(shè)計的范圍針對[-10,10]。

　　2 誤差結(jié)果

　　測試時分別使用[-10,10],[-5,5]兩個區(qū)間中4096個點進行誤差分析，大致過程如圖5。

　　最后得到的絕對誤差圖，見圖6。

　　誤差在10^-7數(shù)量級上，可以說是很小了。

　　3 IP核接口介紹

　　深度學(xué)習(xí)又被稱為煉丹，究其原因就是其訓(xùn)練速度較慢，因此考慮深度學(xué)習(xí)中的加速問題十分有意義。FPGA由于其定制特性，可以通過邏輯門電路十分高效的完成計算過程。

　　本次我使用FPGA實現(xiàn)了一款A(yù)XI接口的激活函數(shù)softmax的加速器，并且通過PYNQ開發(fā)板對其進行驗證同時完成了精度測試。輸入輸出均為AXI總線形式，內(nèi)部采用了一個AXI_S和一個AXI_M，其中，輸入AXI_S用于ARM端向ip核傳遞寫地址、讀地址、數(shù)據(jù)個數(shù)、輸出數(shù)據(jù)16/8bit切換，AXI_M完成對PS端DDR的讀寫操作，這樣設(shè)計的目的是為了最大化減小ARM端的工作量，使整個系統(tǒng)更加高效，因為AXI_M可以主動的讀寫AXI_S并且AXI_S只能被動的被AXI_M進行讀寫，這個過程設(shè)計好后無需ARM端干預(yù)。其結(jié)構(gòu)圖如圖7所示。

　　因此涉及的操作為 GPIO口操作，AXI寫操作，DDR操作。這里原本設(shè)計采用ZYNQ上的AXI-HP端口，但是調(diào)試時發(fā)現(xiàn)該端口在數(shù)據(jù)格式配置為32 bit時仍采用的64bit數(shù)據(jù)位，估計是個bug，因此不得不換成AXI-GP端口了。

　　（1）從ARM引出的兩個GPIO一個作為復(fù)位信號，另一個作為觸發(fā)信號

　　（2）AXI_M接口，用于配置ip核的一些信息。

　　4 任務(wù)劃分

　　為了充分發(fā)揮ARM對通用任務(wù)的處理特性以及PL的定制特性，本次設(shè)計的系統(tǒng)中PS完成了讀取數(shù)據(jù)、數(shù)據(jù)的定點化和數(shù)據(jù)移動任務(wù)，PL端利用其定制化特性完成計算的加速。整體結(jié)構(gòu)框圖如圖8。

　　圖中的CPU即為ARM，工作時將模擬輸入的數(shù)據(jù)寫入DDR，并且完成定點化工作。圖中硬件即為PL端設(shè)計的加速器，其工作分為兩個階段，一是計算元素的自然指數(shù)值并對其進行求和，二是利用第一個階段的自然指數(shù)值和和做除法求得每個元素的softmax值。

　　5 PYNQ平臺的優(yōu)勢

　　我的設(shè)計在曾在傳統(tǒng)的ZYNQ開發(fā)板上進行過調(diào)試。設(shè)計好硬件后需要結(jié)合SDK工具對ARM核進行C語言開發(fā)，結(jié)果最后需要通過串口返回PC機進行處理。

　　在SDK中返回的數(shù)據(jù)，返回的數(shù)據(jù)經(jīng)過上位機的處理才能得到想要的誤差數(shù)據(jù)，較為繁瑣。

　　但PYNQ不一樣，PYNQ上使用了Jupyter可以使用瀏覽器進行在線Pyhthon編程，而且Python中numpy科學(xué)計算庫可以只使用3句話就實現(xiàn)softmax的高精度計算，結(jié)合pynq的相應(yīng)庫可以實現(xiàn)軟件處理和硬件控制的無縫銜接，PL端加載bit文件、PL端控制、軟件計算、matplotlib繪制均使用Python完成,最后的結(jié)果都可以在網(wǎng)頁中顯示出來，極其方便。

　　圖中我使用了matplotlib庫將軟件計算結(jié)果與硬件計算結(jié)果進行了絕對誤差計算，可直接在網(wǎng)頁中顯示出圖像，更加形象化。本次我的設(shè)計中，使用PYNQ完成了 從SD卡中讀入數(shù)據(jù)，數(shù)據(jù)定點化，數(shù)據(jù)寫入DDR，控制PL端進行加速計算，讀DDR，將軟件結(jié)果與硬件結(jié)果對比通過誤差散點圖來測試設(shè)計的IP核的精度。

　　ZYNQ與PYNQ平臺的差異可通過對比兩個平臺的系統(tǒng)框圖得到

　　可以看出，傳統(tǒng)ZYNQ通常為裸機開發(fā)，而且PYNQ一般為在自身運行的Ubuntu上進行Python開發(fā)，因此PYNQ相對而言上手簡單加上一些強大的第三方庫的支持使用起來也十分方便、有趣。

　　6 PYNQ使用方法

　　一些基礎(chǔ)操作可以參考官方Get Start我總結(jié)有如下步驟：

　?。?）vivado中設(shè)計PL端的硬件結(jié)構(gòu)--PC操作，如圖13。

　?。?）vivado導(dǎo)出設(shè)計tcl文件和bit文件--PC操作

　　write_bd_tcl -force C:/Users/Administrator/Desktop/test.tcl

　　（3）將tcl文件和bit文件放入PYNQ中--PC操作，如圖14。

　　windows上運行 \pynq 即可通過sdb功能連接PYNQ開發(fā)板，進行文件移動

　　（4）使用Overlay將bit文件進行加載--PYNQPython操作

　　overlay = Overlay('/home/xilinx/pynq/overlays/softmax/design_1.bit')

　　至此設(shè)計就初始化在PL端，使用Python控制相應(yīng)外設(shè)即可。

　　7 Python中相關(guān)lib的基本使用

　　1.Overlay

　　from pynq import Overlayov

　　overlay = Overlay('/home/xilinx/pynq/overlays/softmax/design_1.bit')

　　用于加載比特流文件至PL端

　　2.GPIO

　　from pynq import GPIO

　　rst = GPIO(GPIO.get_gpio_pin(0), 'out')

　　triggle = GPIO(GPIO.get_gpio_pin(1), 'out')

　　triggle.write(1)

　　rst.write(1)

　　rst.write(0)

　　rst.write(1)

　　操作PS端的GPIO口，操作的是64bit的PS-PL端的EMIO

　　3.Xlnk

　　from pynq import Xlnk

　　xlnk = Xlnk()

　　buf = xlnk.cma_array(shape=(num,), dtype=np.uint32, cacheable=0)

　　addr = buf.physical_address

　　結(jié)合numpy在DDR中分配空間，用于PL端AXI_M使用其中physical_address可以得到DDR中的物理地址在分配空間時，有個cacheable屬性，由于PS和PL端都要對DDR進行操作，所以為了防止PS的cache導(dǎo)致讀到的數(shù)據(jù)未被更新，所以通常需要關(guān)閉緩存功能。

　　4.AXI從端操作

　　myip = overlay.axi_s_control_0

　　myip.write(0x00,addr)

　　myip.write(0x04,addr)

　　myip.write(0x08,num)

　　myip.write(0x0c,bool_16)

　　myip.read(0x08)

　　其中axi_s_control_0是我AXI_S的模塊名稱，這個是python從導(dǎo)出的原理圖tcl文件讀出的，因此需要保證tcl和bit文件的一致性，而且需要兩者同名

　　注：這些信息都在上文提到的Get Start連接中可以找到，具體請參考官方的說明。

　　8 結(jié)論

　　此次借助“全國大學(xué)生集成電路創(chuàng)新創(chuàng)業(yè)大賽”契機，我們分別在傳統(tǒng)ZYNQ和PYNQ平臺上完成了SoftMax函數(shù)的異構(gòu)計算加速，獲得了比較好的效果。

　　在傳統(tǒng)的ZYNQ平臺上開發(fā)SoC需要具備數(shù)字電路和ARM嵌入式開發(fā)知識，比較偏向于底層。反觀PYNQ平臺，利用Python這一優(yōu)美的語言對ZYNQ操作的封裝極大的降低了開發(fā)難度，同時結(jié)合Python強大的第三方庫，可玩性極高。

　　當(dāng)今數(shù)字電路工程師僅僅掌握數(shù)字集成電路的知識是遠(yuǎn)遠(yuǎn)不夠的，項目開發(fā)更加需要復(fù)合型人才。我在項目中采用Verilog作為硬件開發(fā)語言，使用HLS做雛形開發(fā)，同時使用Python及Matlab進行建模及數(shù)據(jù)分析，使用的軟件工具有Xilinx的VIVADO、ISE，以及Synopsys的DC，ICC，Synplify?？梢钥闯鰞H僅掌握一門技能是遠(yuǎn)遠(yuǎn)不夠支撐一個項目的。時代在進步，科技在發(fā)展，因此數(shù)字IC工程師應(yīng)該保持住學(xué)習(xí)的狀態(tài)，就比如說近幾年大火的深度學(xué)習(xí)，十幾年前這個領(lǐng)域還是沒有人愿意去碰的，但現(xiàn)在該領(lǐng)域已經(jīng)讓很多停滯不前的方向又迎來新春。

　　世界上還是存在很多機會的，但機會都是留給有準(zhǔn)備的人。

　　附件：本文設(shè)計的softmax ip核在PYNQ運行所需的所有文件https://pan.baidu.com/s/1OuaoS34nIp4Ci96gMCEmug 密碼:ifme

　　本文來源于科技期刊《電子產(chǎn)品世界》2019年第6期第69頁，歡迎您寫論文時引用，并注明出處