物聯(lián)網(wǎng)邊緣的智能視頻分析技術(shù)

作者 / Tyler Jesiel ADI公司自主慣性MEMS部的產(chǎn)品工程師　　

      1對(duì)數(shù)成像和節(jié)點(diǎn)分析組合

　　使用節(jié)點(diǎn)分析和對(duì)數(shù)成像器可改進(jìn)物聯(lián)網(wǎng)(IoT)中的視頻分析應(yīng)用。視頻分析應(yīng)用試圖利用日常世界中豐富的信息資源，出于幾個(gè)原因考量。包括日常監(jiān)控的人臉識(shí)別，但大部分原因集中在預(yù)測(cè)分析和行為分析上。這些應(yīng)用中收集到的信息可通過(guò)云計(jì)算進(jìn)行更高端的廣泛處理。然而，深度處理有其局限性，并且可以通過(guò)往組合中增加節(jié)點(diǎn)分析和對(duì)數(shù)成像器在很多方面加以改進(jìn)。

　　通過(guò)往組合中增加節(jié)點(diǎn)分析，減輕與云之間的通信，可以改進(jìn)數(shù)據(jù)分析。云計(jì)算的帶寬需求比節(jié)點(diǎn)分析應(yīng)用多出兩個(gè)(或三個(gè))數(shù)量級(jí)。因此，節(jié)點(diǎn)分析的計(jì)算能力要求更低，并可減少延遲。人口稠密的市場(chǎng)、交通混亂的地區(qū)以及城市停車場(chǎng)都是一些環(huán)境錯(cuò)綜復(fù)雜的地方，可使用節(jié)點(diǎn)分析進(jìn)行檢測(cè)，以進(jìn)行預(yù)測(cè)和行為分析。在云中對(duì)這些環(huán)境進(jìn)行高級(jí)處理有助于制定業(yè)務(wù)策略，疏導(dǎo)交通流量，并可提高政府管理的停車場(chǎng)的效率。然而，在傳感器節(jié)點(diǎn)處采用低端軟件，而不是執(zhí)行云分析，可改進(jìn)這些場(chǎng)景的延遲、帶寬、安全和功耗。

　　除了節(jié)點(diǎn)處實(shí)現(xiàn)智能化，在組合中增加對(duì)數(shù)成像器對(duì)于傳統(tǒng)成像器不符合要求的領(lǐng)域也具有優(yōu)勢(shì)，從而增強(qiáng)系統(tǒng)功能。除了減少對(duì)亮度變化的依賴性，對(duì)數(shù)成像器還提供更高的圖像處理動(dòng)態(tài)范圍。例如：在陰影、反光、光線突變以及高對(duì)比度場(chǎng)景中，對(duì)數(shù)成像器的表現(xiàn)都優(yōu)于傳統(tǒng)成像器。在視頻應(yīng)用中，這些問(wèn)題的解決有利于數(shù)據(jù)捕捉，從而加強(qiáng)節(jié)點(diǎn)的分析能力。通過(guò)提高數(shù)據(jù)捕捉能力，整個(gè)視頻分析應(yīng)用都可得到顯著改進(jìn)。

　　節(jié)點(diǎn)分析技術(shù)和對(duì)數(shù)成像器實(shí)現(xiàn)的改進(jìn)有助于解決物聯(lián)網(wǎng)中的視頻分析應(yīng)用問(wèn)題。安全、決策制定延遲、數(shù)據(jù)帶寬和計(jì)算能力是物聯(lián)網(wǎng)應(yīng)用中常見(jiàn)的一些工程難題。通過(guò)減少數(shù)據(jù)傳輸可大大減少這些工程問(wèn)題，而這也是節(jié)點(diǎn)分析對(duì)物聯(lián)網(wǎng)應(yīng)用具有吸引力的原因。在視頻分析應(yīng)用中，有限的對(duì)比度和亮度依賴性是需要共同解決的難題。對(duì)數(shù)成像器是視頻分析應(yīng)用的關(guān)鍵，幾乎可以解決這一難題?？偟貋?lái)說(shuō)，使用節(jié)點(diǎn)分析技術(shù)和對(duì)數(shù)成像器可增強(qiáng)物聯(lián)網(wǎng)中的視頻分析應(yīng)用。

　　2邊緣智能

　　通過(guò)處理基于預(yù)期視覺(jué)事件的數(shù)據(jù)，可迅速地將測(cè)量數(shù)據(jù)轉(zhuǎn)換為適當(dāng)?shù)膭?dòng)作，不必向云服務(wù)器傳輸任何數(shù)據(jù)，或傳輸少量數(shù)據(jù)。對(duì)視頻數(shù)據(jù)進(jìn)行快速分析，而不是將其傳至云，可在本地做出決策，從而改進(jìn)系統(tǒng)的延遲性。通過(guò)減少傳輸具有攔截風(fēng)險(xiǎn)的數(shù)據(jù)，不僅能夠明顯減少?zèng)Q策延遲，而且安全性也得以提高。

　　只有最有價(jià)值的信息需要傳輸至節(jié)點(diǎn)之外的云中，以進(jìn)行預(yù)測(cè)或行為處理。經(jīng)過(guò)優(yōu)化的數(shù)據(jù)劃分可充分發(fā)揮云價(jià)值，因?yàn)橥ǔ２恍枰珟挼囊曨l分析幀。在固定安裝的攝像機(jī)上，幀與幀之間的大部分可視數(shù)據(jù)為靜態(tài)數(shù)據(jù)，并可在節(jié)點(diǎn)進(jìn)行濾波處理。邊緣節(jié)點(diǎn)視頻分析可提供多種濾波解讀來(lái)區(qū)分各種預(yù)期的對(duì)象類型：汽車、卡車、自行車、人類和動(dòng)物等。這種抽取操作減少了云服務(wù)器上所需的數(shù)據(jù)帶寬和相關(guān)的計(jì)算能力，而如果要分析下游發(fā)送的全幀速率視頻數(shù)據(jù)，則會(huì)占用大量的數(shù)據(jù)帶寬和計(jì)算能力。與云計(jì)算應(yīng)用相比，這種帶寬的減少可實(shí)現(xiàn)兩個(gè)或三個(gè)數(shù)量級(jí)的改進(jìn)，而這是節(jié)點(diǎn)分析技術(shù)實(shí)現(xiàn)的一個(gè)關(guān)鍵性能改進(jìn)。

　　3對(duì)數(shù)成像

　　通過(guò)替換為對(duì)數(shù)成像技術(shù)可解決與傳統(tǒng)成像器相關(guān)的常見(jiàn)問(wèn)題，從而進(jìn)一步改進(jìn)視頻分析應(yīng)用。大多數(shù)傳統(tǒng)成像器都是線性成像器，其使用像素生成的電壓作為光的線性函數(shù)，而此類像素則會(huì)導(dǎo)致有限的對(duì)比度。線性成像器還利用統(tǒng)一的曝光相位，限制了其相對(duì)于幀速率范圍內(nèi)像素曝光時(shí)間的動(dòng)態(tài)范圍。最后，傳統(tǒng)成像器的對(duì)比度取決于亮度，從而可能導(dǎo)致反光相關(guān)的對(duì)比度問(wèn)題。通過(guò)替換成對(duì)數(shù)成像器可消除這些常見(jiàn)的問(wèn)題，對(duì)數(shù)成像器使用像素生成的電壓作為光的對(duì)數(shù)函數(shù)。傳統(tǒng)成像器與對(duì)數(shù)成像器之間的區(qū)別請(qǐng)參見(jiàn)圖1、圖2和圖3。

　　圖1 傳統(tǒng)的圖像曝光

　　圖2 ADIS17002對(duì)數(shù)圖像曝光

　　圖3 使用內(nèi)置邊緣檢測(cè)技術(shù)的ADIS17002對(duì)數(shù)圖像曝光

　　一些傳統(tǒng)的成像器在努力解決阻礙用戶全面捕捉其目標(biāo)環(huán)境數(shù)據(jù)的對(duì)比度相關(guān)問(wèn)題。這些對(duì)比度問(wèn)題源于每個(gè)像素中生成電壓的線性特性。線性成像像素中生成的電壓與照射的光子數(shù)成正比;因此，與對(duì)數(shù)成像相比，其動(dòng)態(tài)范圍是有限的。降低與這些線性成像器相關(guān)的對(duì)比度就意味著縮小動(dòng)態(tài)范圍。對(duì)比度降低會(huì)對(duì)物聯(lián)網(wǎng)應(yīng)用中傳感器節(jié)點(diǎn)的分析產(chǎn)生不利影響，最終影響系統(tǒng)的整體性能。對(duì)數(shù)成像器提供更廣泛的亮度級(jí)范圍，從而增加因?qū)?shù)生成的像素電壓產(chǎn)生的對(duì)比度。然而，對(duì)比度的增加導(dǎo)致更高的感光性，這在有些應(yīng)用中可能并不是期望的效果?；蛘?，感光性的提高也可能是一種優(yōu)勢(shì)，具體取決于應(yīng)用。

　　陽(yáng)光充足或明亮環(huán)境下產(chǎn)生的反光可能會(huì)進(jìn)一步阻礙使用傳統(tǒng)成像器進(jìn)行視頻捕捉。例如：當(dāng)擋風(fēng)玻璃上存在反光時(shí)，汽車內(nèi)部的人臉識(shí)別就會(huì)變得益發(fā)困難。這種視頻捕捉障礙會(huì)將錯(cuò)誤引入系統(tǒng)或丟失重要數(shù)據(jù)，從而對(duì)視頻分析產(chǎn)生不利影響。由于線性成像器像素之間的對(duì)比度取決于亮度，所以會(huì)產(chǎn)生反光;因此，線性成像器的反光更加突出。這種對(duì)亮度的依賴性見(jiàn)等式1。另外，對(duì)數(shù)成像器的對(duì)比度則由于其本身的對(duì)數(shù)特性而與亮度無(wú)關(guān)，從而有助于減少反光或光線的突變。對(duì)數(shù)成像器與亮度無(wú)關(guān)的特性見(jiàn)等式2。

　　線性圖像對(duì)比度AB= 像素AI – 像素BI = I(像素A – 像素B) (1)

　　對(duì)數(shù)圖像對(duì)比度AB= log(像素AI)– log(像素BI) (2)

　　4超越單個(gè)組件的研發(fā)

　　為了提供平臺(tái)級(jí)解決方案，ADI公司開(kāi)始超越單個(gè)組件的研發(fā);這些解決方案可幫助客戶快速部署經(jīng)過(guò)驗(yàn)證的智能解決方案，以更低的系統(tǒng)成本實(shí)現(xiàn)更高的性能。智能應(yīng)用始于準(zhǔn)確可靠的數(shù)據(jù)，通過(guò)ADI先進(jìn)的檢測(cè)和測(cè)量功能可獲得此類數(shù)據(jù)。此外，ADI還與客戶合作，共同開(kāi)發(fā)能夠解決所有問(wèn)題的獨(dú)特系統(tǒng)級(jí)解決方案。ADIS1700x是其中一種解決方案，它能夠?qū)崿F(xiàn)四分之一的視頻圖形陣列(QVGA)成像分析。

　　圖4 功能框圖

　　圖5 ADIS17002：對(duì)角方向(左)、電路板鏡頭側(cè)俯視(中)和背側(cè)(右)

　　ADIS1700x是一個(gè)小尺寸且具有對(duì)數(shù)敏感性的QVGA分析成像器模塊，具有能夠優(yōu)化視頻性能的數(shù)字信號(hào)處理功能。除了用于圖像穩(wěn)定、傾斜和沖擊檢測(cè)的加速度計(jì)，該模塊還采用低功耗Blackfin處理器進(jìn)行節(jié)點(diǎn)分析。此外，它還采用內(nèi)置邊緣檢測(cè)技術(shù)跟蹤和計(jì)算對(duì)象運(yùn)動(dòng)。與傳統(tǒng)成像器不同的是，對(duì)數(shù)成像器的每個(gè)14 μm × 14 μm像素都具有一個(gè)獨(dú)一無(wú)二的曝光相位。針對(duì)室外操作的保形涂層使其非常適用于大規(guī)模部署，從而可創(chuàng)建新興智能城市和建筑應(yīng)用。ADIS17001配備110°視場(chǎng)(FOV)鏡頭，而ADIS17002則配備67°FOV鏡頭。這兩個(gè)選項(xiàng)適用于各種目標(biāo)應(yīng)用，包括停車場(chǎng)監(jiān)控、停車違章執(zhí)法、車流長(zhǎng)度檢測(cè)和工業(yè)分析。

　　5結(jié)論

　　總的來(lái)說(shuō)，使用節(jié)點(diǎn)分析技術(shù)和對(duì)數(shù)成像器可顯著改進(jìn)物聯(lián)網(wǎng)領(lǐng)域的視頻應(yīng)用，這也是ADI公司與ADIS1700x模塊產(chǎn)品一起推出的方法。節(jié)點(diǎn)分析而不是云計(jì)算有利于物聯(lián)網(wǎng)應(yīng)用的發(fā)展。對(duì)數(shù)成像器具有其競(jìng)爭(zhēng)產(chǎn)品無(wú)法匹敵的優(yōu)勢(shì)，可更進(jìn)一步改進(jìn)物聯(lián)網(wǎng)應(yīng)用?？傊?，物聯(lián)網(wǎng)領(lǐng)域的視頻分析應(yīng)用與節(jié)點(diǎn)分析技術(shù)和對(duì)數(shù)成像器相結(jié)合，共同構(gòu)成一個(gè)魯棒的系統(tǒng)級(jí)解決方案。