不用寫程序也能輕松上手─DL Workbench圖形化接口工具（下）

＊實際案例操作：SSD對象檢測

接下來就用一個實際的例子來說明如何操作DL Workbench。

1.數(shù)據(jù)集預(yù)處理

    如果手上沒有現(xiàn)成的數(shù)據(jù)集可供測試，可以參考官網(wǎng)[6]的說明下載需要的公開數(shù)據(jù)集及標(biāo)注檔(Annotations)。這里以COCO 2014數(shù)據(jù)集舉例說明。點選網(wǎng)頁[6]上Download COCO Dataset下的[2014 Val images](約6.2G Byte)和[2014 Train/Val annotations](約241M Byte)下載圖像集(val2014.zip)和標(biāo)注文檔(annotations_trainval2014.zip)。

    接著建立一個文件夾(/home/<用戶名稱>/Work)來存放這兩個文件。

    選擇網(wǎng)頁[6]Cut COCO Dataset下的[the script to cut datasets](cut_dataset.py)另存新文件到剛才建立的文件夾中。最后執(zhí)行數(shù)據(jù)集減量(cut)操作，只保留少部份文件，方便DL Workbench導(dǎo)入(import)測試，完成后會自動產(chǎn)生新的壓縮文件并存放在/home/<使用名稱>/Work/subsets/coco_subset_10_29.tar.gz。完整執(zhí)行命令如下所示。

#先將數(shù)據(jù)集和標(biāo)注文件及剪切程序復(fù)制到/home/用戶名稱/Work路徑下

#再執(zhí)行cut_dataset.py，根據(jù)指定路徑（*_dir）獲得源文件，設(shè)置指定數(shù)量(output_size)的圖像，最后輸出到output_archive_dir路徑下。

#這里的python是指3.x不是2.x，若計算機中同時有兩種版本請改用python3

python/home/<User Name>/Work/cut_dataset.py

--source_images_archive_dir=/home/<User Name>/Work/val2014.zip

--source_annotations_archive_dir=/home/<User

Name>/Work/annotations_trainval2014.zip

--output_size=20

--output_archive_dir=/home/<User Name>/Work/subsets

--dataset_type=coco

--first_image=10

    如果想自行準(zhǔn)備數(shù)據(jù)集，可參考官網(wǎng)[7]，其中Common Objects in Context(COCO)就有說明COCO文件安排格式，如Fig.5所示。

Fig.5 DL Workbench自備COCO數(shù)據(jù)集格式，

(a)一般分類/對象檢測

(b)圖像語義分割

(c)超分辨率

2.導(dǎo)入模型及轉(zhuǎn)換參數(shù)精度

    為了方便后續(xù)同時測試CPU及Neural Compute Stick 2(MYRIAD)，可使用下列命令啟動DLWorkbench。

./start_workbench.sh-IMAGE_NAME openvino/workbench-TAG latest-ENABLE_MYRIAD

    不過這里經(jīng)測試后發(fā)現(xiàn)，如果你的計算機上沒安裝標(biāo)準(zhǔn)版的Distribution of OpenVINO toolkit for Linux[8]，而只有安裝Linux Docker環(huán)境時，將無法使用iGPU和NCS2(MYRIAD)。如果使用Windows Docker環(huán)境（Windows 10+Widnows Subsystem for Linux 2[WSL2]+Ubuntu 18.04）時則只能使用CPU，因為目前微軟在WSL2上GPU和USB驅(qū)動程序支持性仍不完整。

    接著就可以進(jìn)入DL Workbench網(wǎng)頁操作界面，開始設(shè)置主動配置(Active Configurations)。這里需要設(shè)置四個項目，包括模型(Models)、目標(biāo)(Target)、環(huán)境(Environment)及數(shù)據(jù)集(Dataset)。使用前要確保網(wǎng)絡(luò)暢通，因為接下來的工作需要從網(wǎng)絡(luò)上下載許多數(shù)據(jù)。

    首先按下“Create”鍵創(chuàng)建一組新的配置，導(dǎo)入(Import)現(xiàn)成的公開模型及預(yù)訓(xùn)練好的模型，由于在線預(yù)訓(xùn)練好的模型項目太多，可以直接輸入模型名稱快速檢索想要的模型。由于這個范例要測試對象檢測功能，所以選用「ssd_mobilenet_v2_coco」，再來選擇模型的參數(shù)精度(FP16/FP32)進(jìn)行轉(zhuǎn)換(Convert)，完成后就會在模型區(qū)出現(xiàn)模型名稱、產(chǎn)生日期、參數(shù)精度、模型大小，狀態(tài)區(qū)會顯示是否還在傳輸中，完成后會產(chǎn)生一個綠色的對勾。完整流程如

Fig.6所示。

Fig.6設(shè)置DL Workbench推理模型流程。(OmniXRI Feb.2021整理制作)

    如果不想使用現(xiàn)成的模型，也可切換到原始模型(Original Model)頁面，根據(jù)系統(tǒng)要求自行提供對應(yīng)格式的模型（網(wǎng)絡(luò)）及參數(shù)（權(quán)重值），再按“Import Model”即可導(dǎo)入自定義模型。

目前可支持OpenVINO IR,Caffe,MXNet,ONNX,TensorFlow等格式。

Fig.7 DL Workbench導(dǎo)入自定義模型。(OmniXRI Mar.2021整理制作)

3.導(dǎo)入數(shù)據(jù)集

    點選Validation Dataset旁的“Import”鍵，進(jìn)入導(dǎo)入驗證數(shù)據(jù)集頁面，按“Choose File”鍵，選擇歩驟1產(chǎn)生的coco_subset_10_29.tar.gz，按下“Import”，即可完成導(dǎo)入數(shù)據(jù)集。如Fig.8所示。

Fig.8 DL Workbench導(dǎo)入數(shù)據(jù)集。(OmniXRI Mar.2021整理制作)

4.設(shè)置目標(biāo)/環(huán)境

    這里可看到目前有CPU和MYRIAD(NCS2)兩種裝置可供選擇，可先選擇其中一種(CPU)，點擊模型和數(shù)據(jù)集后即可按下頁面最下方的“Create”建立第一種配置。如Fig.9所示。這里要注意的是，模型及數(shù)據(jù)集沒有準(zhǔn)備好之前（尚在傳輸或轉(zhuǎn)換中）是無法設(shè)置目標(biāo)及環(huán)境。

Fig.9 DL Workbench設(shè)置目標(biāo)環(huán)境并建立配置。(OmniXRI Mar.2021整理制作)

5.建立基準(zhǔn)點

    按下“Create”建立第一組配置后，就會進(jìn)入配置頁面，并進(jìn)行第一次推理，自動產(chǎn)生第一個基準(zhǔn)點。推理時根據(jù)執(zhí)行硬件的不同，可能需要等待一小段時間，完成后會得到最佳的輸出速度(Best Throughout,FPS)、延遲時間(Respective Latency,ms)及推理精確度(Accuracy)，并在效率綜合圖表上繪出一個參考點。

    通常預(yù)設(shè)為單獨推理(Single Inference)，用戶可自由定義要測試的并行推理(Parallel Infers)及批次大小(Batch Size)，再按下“Execute”鍵來測試不同條件的推理效果。如果覺得一直手動調(diào)整太麻煩，也可使用組推理(Group Inference)，直接點擊要測試的組合，按下“Execute”鍵，然后泡杯咖啡慢慢等結(jié)果出來。從產(chǎn)出的圖表就可一眼看出哪種組合的效果最好，做為后續(xù)打包輸出的依據(jù)，如Fig.10所示。

Fig.10 DL Workbench建立基準(zhǔn)點及結(jié)果圖。(OmniXRI Mar.2021整理制作)

6.基準(zhǔn)點效能比較

    測試效果除了可以使用單獨或組測試外，也可進(jìn)行多種硬件的推理效果比較。首先點擊頁面上方的“Create”重新回到步驟4，此時只需改選裝置為[Intel Movidius Myriad X VPU](NCS2)，其它模型和數(shù)據(jù)集不變，移到頁面最下方按下“Create”鍵就能新增一組配置，再次回到步驟5。此時可參考步驟5，將所有操作重復(fù)一遍，得出相同參數(shù)結(jié)果方便進(jìn)行比較。

    接著按下“Compare”就能進(jìn)入比較頁面進(jìn)行兩組配置的測試結(jié)果比較，若有兩組以上配置，則一次只能勾選兩組進(jìn)行比較。這里除了基本效果圖表外，還有平均延遲時間、各層運行時間及更多圖表信息，可根據(jù)需求自行參考，如Fig.11所示。

Fig.11 DL Workbench多配置基準(zhǔn)點效能比較。(OmniXRI Mar.2021整理制作)

7.上傳圖像測試

    經(jīng)過上面一連串設(shè)置及找到最優(yōu)配套后就可以來測試一下模型推理能力，這里支持直接上傳單張測試圖像來實驗。首先切換到“Test”頁面，按下“Select Images”上傳待測試的圖像，或者直接把圖像拉到這個框里面。接著按下“Test”進(jìn)行測試，預(yù)測(Predicitions)結(jié)果就會出現(xiàn)在右方。顯示結(jié)果內(nèi)容包括一組可調(diào)的臨界值(Threshold)和高于臨界的對象，同時會顯示對象的分類編號(Class ID#)和置信度(Confidence)。點擊對象編號時，左側(cè)還會繪制出對應(yīng)的內(nèi)容。若覺得檢測出的對象太少，可將臨界值調(diào)低，再確認(rèn)一下。

    另外目前COCO檢測結(jié)果只有用數(shù)字編號(Class#00)表示，并沒有直接卷標(biāo)(Label)文字標(biāo)示，不容易直接確認(rèn)結(jié)果。如果想更確認(rèn)編號對應(yīng)內(nèi)容，可參考[9]說明。一般COCO有91分類和80分類（從91類刪除部份），而現(xiàn)在對應(yīng)的是91分類的標(biāo)簽。

    接著就用幾張圖來實驗一下結(jié)果，第一組貓和狗，一張對象重迭(Ex.1-1)、一張物件分開(Ex.1-2)。第二組蘋果和香蕉，一張對象重迭(Ex.2-1)、一張物件分開(Ex.2-2)。初步實驗結(jié)果可看出SSD_MobileNet_v2_COCO這組預(yù)練訓(xùn)模型對于重迭的對象似乎分辨能力較弱，而較大的對象則辨識能力尚可接受。不過這樣的實驗數(shù)據(jù)太少，所以結(jié)論可能不完全正確，僅供參考。測試內(nèi)容如Fig.12所示，而測試結(jié)果如Fig.13～16所示。

Fig.12 DL Workbench進(jìn)行對象檢測流程及測試樣本圖像。(OmniXRI Mar.2021整理制作)

Fig.13 Ex.1-1對象檢測實驗結(jié)果。(OmniXRI Mar.2021整理制作)

Fig.14 Ex.1-2對象檢測實驗結(jié)果。(OmniXRI Mar.2021整理制作)

Fig.15 Ex.2-1對象檢測實驗結(jié)果。(OmniXRI Mar.2021整理制作)

Fig.16 Ex.2-2對象檢測實驗結(jié)果。(OmniXRI Mar.2021整理制作)

8.打包輸出

    為了后續(xù)更方便地部署到對應(yīng)目標(biāo)工作環(huán)境，并且讓編程人員能直接編寫及呼叫對應(yīng)函數(shù)，這里還提供打包輸出，不過目前只支持Linux。打包內(nèi)容包含所選擇執(zhí)行目標(biāo)（硬件）相關(guān)函數(shù)、模塊、Python API及安裝腳本。首先切換到“Pack”頁面，勾選所需項目，再按下“Pack”就會開始打包成一個壓縮文件(*.tar.gz)并詢問要存放的路徑，如此即完成所有程序。如Fig.17所示。

Fig.17 DL Workbench打包選項及程序。(OmniXRI Mar.2021整理制作)

＊小結(jié)

    通過以上的說明及實例操作，相信大家應(yīng)該對Intel OpenVINO Toolkit中的DL Workbench有了一些初步的認(rèn)識，圖形化的接口更是讓用戶可以輕松上手，一目了然。對于那些不會或不想編程就想要快速實驗想法的人，及需要耗費大量心力調(diào)參的工程師來說，該工具確實縮短了開發(fā)及測試時間。后續(xù)還有更多優(yōu)化及提升推理效果的工作，敬請期待。

＊參考文獻(xiàn)

[1]許哲豪，”【Intel OpenVINO教學(xué)】如何利用Docker快速創(chuàng)建OpenVINO開發(fā)環(huán)境”

http://omnixri.blogspot.com/2021/01/intel-openvinodockeropenvino.html

[2]Intel OpenVINO Toolkit,"Install the DL Workbench"

https://docs.openvinotoolkit.org/latest/workbench_docs_Workbench_DG_Install_Workbench.html

[3]Intel OpenVINO Toolkit,"Download and Cut Datasets"

https://docs.openvinotoolkit.org/latest/workbench_docs_Workbench_DG_Download_and_Cut_Datasets.html

[4]Intel,“DL(Deep Learning)Workbench|OpenVINO?toolkit|Ep.42|Intel Software”

https://youtu.be/20ROqz5j1y8

[5]Intel,“DL(Deep Learning)Workbench-The Full Flow|OpenVINO?toolkit|Ep.43|

Intel Software”https://youtu.be/DaR49bs8qwk

[6]Intel OpenVINO Toolkit,"Download and Cut Datasets"

https://docs.openvinotoolkit.org/latest/workbench_docs_Workbench_DG_Download_and_Cut_Datasets.html

[7]Intel OpenVINO Toolkit,"Dataset Types"

https://docs.openvinotoolkit.org/2021.2/workbench_docs_Workbench_DG_Dataset_Types.html

[8]Intel OpenVINO Toolkit,"Install Intel?Distribution of OpenVINO?toolkit for Linux*"

https://docs.openvinotoolkit.org/2021.2/openvino_docs_install_guides_installing_openvino_linux.html

[9]Amikelive Technology Blog,"What Object Categories/Labels Are In COCO Dataset?"

https://tech.amikelive.com/node-718/what-object-categories-labels-are-in-coco-dataset/

＊延伸閱讀

[A]許哲豪，”【Intel OpenVINO?教學(xué)】GStreamer串流視頻智能分析不再慢吞吞─了解Intel OpenVINO DL Stream如何加速視頻推理”http://omnixri.blogspot.com/2021/02/intelopenvinogstreamerintel-openvino.htm