嵌入式視覺(jué)設(shè)計(jì)要?jiǎng)?chuàng)新，選擇FPGA成關(guān)鍵

　　因此，BDTI 開(kāi)發(fā)的針對(duì)特定應(yīng)用定制的算法可用于進(jìn)一步處理賽靈思提供的元數(shù)據(jù)。例如，BDTI 的算法知道什么樣的標(biāo)志看上去應(yīng)該是怎么樣的(大小、形狀、顏色、圖案、在幀中的位置等)，故而能夠?qū)⑾嚓P(guān)的像素集群組合成更大的群組。類似的，這些算法也能判斷什么時(shí)候應(yīng)該去除看似顏色相近但并非標(biāo)志的像素集群，比如前面提及的車輛剎車燈。

　　第二階段：行人檢測(cè)與跟蹤

　　在項(xiàng)目的第一階段中，攝像頭處于運(yùn)動(dòng)狀態(tài)而待識(shí)別的對(duì)象(即道路標(biāo)志)處于靜止?fàn)顟B(tài)。第二階段主要針對(duì)安全應(yīng)用，攝像頭處于靜止?fàn)顟B(tài)而對(duì)象(本例中為行人)則未必。對(duì)這種情況，視頻分析算法就不能依靠預(yù)設(shè)的顏色、圖案或其它對(duì)象特征，因?yàn)樾腥丝梢源┲鞣N衣物，可以高矮胖瘦各異，可以膚色、頭發(fā)顏色和發(fā)型不同(另外還可能戴著遮擋頭發(fā)的帽子、墨鏡等裝飾物)。軟件還需要解決另一個(gè)難題，不僅需要識(shí)別和跟蹤行人，還需要在行人穿越一道數(shù)字“絆網(wǎng)”，進(jìn)入視頻幀的特定區(qū)域時(shí)發(fā)出警報(bào)(見(jiàn)圖 3)。

圖3：在行人檢測(cè)和跟蹤功能中包括一項(xiàng)“絆網(wǎng)”警報(bào)功能，當(dāng)行人進(jìn)入視頻幀的
有界部分的時(shí)候就會(huì)發(fā)出警報(bào)

　　項(xiàng)目第二階段與第一階段采用的硬件配置完全相同，只是軟件有所變化。視頻流饋送到視頻分析 IP 核的仿真模型中，所生成的元數(shù)據(jù)傳輸?shù)蕉?jí)算法器件供進(jìn)一步處理。此時(shí)面臨的難題包括：

　　• 解決不必要的噪聲和適當(dāng)?shù)膶?duì)象分割之間根本性的權(quán)衡取舍問(wèn)題
　　• 對(duì)象不斷變化的形態(tài)(外形和結(jié)構(gòu))
　　• 對(duì)象不斷變化的運(yùn)動(dòng)狀態(tài)，包括行人間的運(yùn)動(dòng)狀態(tài)變化以及特定行人隨時(shí)間的運(yùn)動(dòng)狀態(tài)變化
　　• 元數(shù)據(jù)消失。比如當(dāng)行人停止行走，被中間的障礙物遮擋或者是與背景圖案混為一體
　　• 有其他對(duì)象出現(xiàn)在場(chǎng)景中，包括靜態(tài)和動(dòng)態(tài)的
　　• 行人與攝像頭之間的距離不斷發(fā)生變化
　　• 人群中個(gè)別行人與群體的運(yùn)動(dòng)矢量對(duì)比，主體運(yùn)動(dòng)矢量和反向運(yùn)動(dòng)矢量的對(duì)比

　　就“絆網(wǎng)”的實(shí)現(xiàn)，四種不同的視頻流對(duì)視頻分析算法的調(diào)試和優(yōu)化尤其有效：

　　• 以相反方向行走的“近處”行人
　　• 以不同方向行走的“近處”行人
　　• 一個(gè)“遠(yuǎn)處”行人和一輛行駛的卡車，從某種角度看，兩者大小相仿
　　•“遠(yuǎn)處”的多名行人與一輛駛近的卡車，卡車看上去比人群大

　　第三階段：硬件轉(zhuǎn)換及未來(lái)發(fā)展

　　項(xiàng)目的最后階段采用賽靈思真正的視頻分析 IP 模塊(代替之前使用的仿真模塊)，運(yùn)行在 Spartan ®-3A 3400 視頻入門套件上。MicroBlaze™軟核處理器嵌入在 Spartan-3A FPGA內(nèi)，采用額外的專用功能模塊予以強(qiáng)化，并實(shí)現(xiàn)了網(wǎng)絡(luò)協(xié)議棧。該網(wǎng)絡(luò)協(xié)議棧主要負(fù)責(zé)處理高數(shù)位率和以太網(wǎng)分組的元數(shù)據(jù)并將其傳輸?shù)?BDTI 開(kāi)發(fā)的第二級(jí)處理算法，同時(shí)實(shí)現(xiàn)道路標(biāo)志檢測(cè)和行人檢測(cè)與跟蹤功能。雖然這些算法之前在基于 X86 的 PC 上運(yùn)行，BDTI 已成功地將它們移植到基于ARM® Cor tex TM-A8 的硬件平臺(tái)(BeagleBoard) 上(見(jiàn)圖 4)。

　　對(duì)已經(jīng)熟悉賽靈思產(chǎn)品計(jì)劃的用戶來(lái)說(shuō)，可能立即就會(huì)想到將 FPGA 和Cortex-A8 CPU 集成在單個(gè)芯片上的ZynqTM 可擴(kuò)展處理平臺(tái)。能不能在單個(gè) Zynq 器件上運(yùn)行整個(gè)視頻分析參考設(shè)計(jì)呢? 答復(fù)顯然是肯定的， 因?yàn)閆ynq 產(chǎn)品系列的各器件包含有足夠的可編程邏輯資源，同時(shí) BDTI 算法對(duì)ARM CPU 核來(lái)說(shuō)負(fù)載適中。

　　嵌入式視覺(jué)正在為系統(tǒng)開(kāi)發(fā)商及其半導(dǎo)體和軟件供應(yīng)商書(shū)寫(xiě)新一篇重大的技術(shù)成功篇章。正如本文中介紹的案例研究所示，FPGA 以及 FPGA 與 CPU組合的 SoC 能夠成為實(shí)現(xiàn)嵌入式視覺(jué)算法極富吸引力的芯片平臺(tái)。