面向現(xiàn)代視覺系統(tǒng)的低功耗圖像傳感器

在更快的連接速度、更高的自動(dòng)化程度和更智能系統(tǒng)的推動(dòng)下，工業(yè)4.0加快了視覺技術(shù)在制造業(yè)中的應(yīng)用，并將智能化引入到以往簡(jiǎn)單的數(shù)據(jù)采集系統(tǒng)中。上一代視覺系統(tǒng)負(fù)責(zé)捕捉圖像，對(duì)其進(jìn)行封裝以供傳輸，并為后續(xù)的FPGA、ASIC或昂貴的SoC等器件提供圖像數(shù)據(jù)進(jìn)行處理。如今，工業(yè)5.0更進(jìn)一步，通過(guò)在整個(gè)數(shù)據(jù)通路中融入人工智能（AI）與機(jī)器學(xué)習(xí)（ML），實(shí)現(xiàn)大規(guī)模定制化。攝像頭變得智能化，具備在應(yīng)用層面處理的圖像數(shù)據(jù)，僅輸出用于決策的元數(shù)據(jù)。

這兩代之間的關(guān)鍵發(fā)展是關(guān)注邊緣端發(fā)生的變化。我們世界本質(zhì)上以模擬為主，許多幫助我們?nèi)粘Ｉ畹碾娮优c機(jī)電（EEM）系統(tǒng)都是由各類感知輸入驅(qū)動(dòng)的。視覺（光）、溫度（熱）、音頻（聲）、距離與位置、壓力（觸覺）等系統(tǒng)邊緣端的電子傳感器采集這些物理輸入，并將其轉(zhuǎn)化為處理后的數(shù)據(jù)，以實(shí)現(xiàn)智能化并方便決策制定。工業(yè)4.0提出了對(duì)這類傳感器智能和高效的需求。如今，非工業(yè)及商業(yè)應(yīng)用領(lǐng)域的眾多傳感器不斷發(fā)展，從基礎(chǔ)類型發(fā)展到符合工業(yè)自動(dòng)化流程和標(biāo)準(zhǔn)的增強(qiáng)版本。

在大規(guī)模采用傳感器的同時(shí)，人們也在推動(dòng)更低功耗的電池驅(qū)動(dòng)智能設(shè)備廣泛應(yīng)用。功耗給視覺系統(tǒng)帶來(lái)了不同的挑戰(zhàn)，而圖像傳感器如何以創(chuàng)新的方法解決這些挑戰(zhàn)，同時(shí)提供卓越的性能，將成為視覺系統(tǒng)的差異化因素。

圖像傳感器—視覺感知的輸入機(jī)制

視覺感知已成為在邊緣端采集數(shù)據(jù)的重要方式之一，收集到的圖像數(shù)據(jù)能夠被快速且高效地用于決策制定。例如，若無(wú)視覺傳感器，場(chǎng)景中的物體需要無(wú)數(shù)個(gè)特定的傳感器來(lái)傳達(dá)場(chǎng)景的構(gòu)成。這會(huì)產(chǎn)生大量數(shù)據(jù)并需要龐大的處理工作，或許還得靠好運(yùn)氣，才能得到場(chǎng)景的真實(shí)呈現(xiàn)。另外，在高效的系統(tǒng)中，一張圖像就可以在一幀數(shù)據(jù)中傳達(dá)場(chǎng)景中的所有信息。

這種簡(jiǎn)便的數(shù)據(jù)表現(xiàn)形式使圖像傳感器得以加速發(fā)展，為智能手機(jī)等消費(fèi)類移動(dòng)產(chǎn)品提供支持，其分辨率超過(guò)一億像素，在硬件和軟件的支持下，為靜態(tài)圖像和視頻流提供卓越的細(xì)節(jié)特征。由于移動(dòng)產(chǎn)品主要服務(wù)于娛樂(lè)和個(gè)人應(yīng)用，因此其制定決策的目標(biāo)略有不同。然而，面向汽車、工業(yè)和商業(yè)應(yīng)用的視覺系統(tǒng)服務(wù)于高度以目標(biāo)為導(dǎo)向的需求，其中許多系統(tǒng)使用（傳感器）輸出進(jìn)行基于機(jī)器的決策，并要求在分辨率、幀率和功耗之間達(dá)到精細(xì)平衡。

隨著邊緣智能的重要性日益增強(qiáng)，這些應(yīng)用必須適應(yīng)不同用例需求?，F(xiàn)在，許多應(yīng)用都需要更高的分辨率和更出色的整體性能，以輔助計(jì)算機(jī)視覺、機(jī)器視覺和自動(dòng)化決的策系統(tǒng)。很多情況下，人們非?？释@得更豐富的細(xì)節(jié)，因?yàn)檫@些細(xì)節(jié)有助于減少錯(cuò)誤決策。隨著分辨率的提高，圖像傳感器中的像素?cái)?shù)量也會(huì)增加，相應(yīng)地，傳感器向圖像信號(hào)處理器（ISP）或系統(tǒng)芯片（SoC）提供的圖像數(shù)據(jù)量也會(huì)增加。傳感器產(chǎn)生的大量圖像數(shù)據(jù)以及ISP/SoC對(duì)這些數(shù)據(jù)的處理會(huì)導(dǎo)致高功耗，從而給視覺系統(tǒng)設(shè)計(jì)帶來(lái)巨大負(fù)擔(dān)。

圖1 圖像傳感器產(chǎn)生的數(shù)據(jù)隨分辨率和幀速率成指數(shù)增長(zhǎng)

現(xiàn)在，設(shè)計(jì)人員需要應(yīng)對(duì)高功率電子元件帶來(lái)的高功率傳輸、功耗和系統(tǒng)物料清單（BOM）成本等問(wèn)題。雖然降低功耗是大勢(shì)所趨，但熱管理也是一個(gè)挑戰(zhàn)，因?yàn)榇蠖鄶?shù)視覺系統(tǒng)都依賴對(duì)流氣流來(lái)散發(fā)系統(tǒng)中產(chǎn)生的熱量。圖像傳感器對(duì)熱量高度敏感，如果不能選擇適當(dāng)?shù)脑O(shè)計(jì)并有效管理上述因素，就會(huì)產(chǎn)生不可靠的視覺系統(tǒng)。

一切始于量子效率

圖像傳感器的量子效率（QE）是指光電二極管最大限度地將入射光子轉(zhuǎn)換成電子的能力。眾所周知，QE 越高，圖像亮度越好。更高的 QE 值在弱光條件下非常重要，這通常通過(guò)使用更大的像素尺寸或在場(chǎng)景中添加可見光或不可見光來(lái)實(shí)現(xiàn)。無(wú)論哪種方法，都會(huì)增加視覺系統(tǒng)必須支持的成本、功耗和空間，并可能會(huì)根據(jù)圖像傳感器的性能和場(chǎng)景條件呈指數(shù)級(jí)增長(zhǎng)。

圖2 不同波長(zhǎng)下可比較像素尺寸的歸一化量子效率曲線

這在通常使用紅外發(fā)光二極管（IR LED）的不可見照明情況下尤其嚴(yán)重，其產(chǎn)生的光波長(zhǎng)為850nm和940nm。這些波長(zhǎng)能被圖像傳感器探測(cè)到，但人眼無(wú)法察覺。在行業(yè)中，這通常被稱為 "主動(dòng)照明"。 紅外發(fā)光二極管需要供電并產(chǎn)生功耗，占用大量空間，并顯著增加系統(tǒng) BOM成本。在近紅外光譜中具有高量子效率的圖像傳感器能夠在不犧牲圖像質(zhì)量的前提下，減少其使用數(shù)量、降低光照強(qiáng)度以及總體BOM成本。

圖像質(zhì)量更高，總體擁有成本更低

重要的是要確保圖像傳感器像素提供的高 QE 不會(huì)受到數(shù)據(jù)通路其他部分噪聲的影響，從而影響整體圖像質(zhì)量。例如，如果像素結(jié)構(gòu)沒(méi)有足夠的像素間隔，像素間串?dāng)_就會(huì)降低調(diào)制傳遞函數(shù)（MTF）和對(duì)圖像的對(duì)比度/清晰度，最終影響圖像質(zhì)量。另一個(gè)可能造成損害的因素是讀出電路性能不佳導(dǎo)致的高讀取噪聲。

圖像質(zhì)量不佳會(huì)給ISP/SoC帶來(lái)不必要的負(fù)擔(dān)，使其需要處理更多的數(shù)據(jù)，從而降低視覺系統(tǒng)的整體幀率，或者以更高的時(shí)鐘頻率運(yùn)行來(lái)維持相同的端到端時(shí)序。在前一種情況下，視覺系統(tǒng)的效率會(huì)大大降低，而無(wú)論哪種情況，系統(tǒng)最終都會(huì)產(chǎn)生更多的功耗。為了應(yīng)對(duì)處理負(fù)擔(dān)，可能需要配備更先進(jìn)資源的ISP/SoC，這將進(jìn)一步增加總體BOM成本。而優(yōu)秀的圖像輸出質(zhì)量能夠緩解上述種種不足，降低視覺系統(tǒng)的總體擁有成本。

子采樣模式

安森美（onsemi）公司的圖像傳感器（例如HyperluxTM LP產(chǎn)品系列）已經(jīng)意識(shí)到這些操作需求，并集成了多種子采樣模式。這些模式，如合并（Binning）、裁剪（Cropping）和跳采（Skipping），能夠大大減少生成和傳輸所需的帶寬。

安森美Hyperlux LP系列產(chǎn)品

這些功能使視覺系統(tǒng)變得非常智能，能夠根據(jù)用例需求選擇最優(yōu)的功耗/性能配置。例如，在生物識(shí)別掃描儀中，現(xiàn)在可以利用配備500萬(wàn)像素傳感器陣列的單個(gè)系統(tǒng)，以逐漸增強(qiáng)的掃描方式，完成子采樣模式下的單個(gè)指紋掃描到全分辨率面部掃描。最重要的是，ISP/SoC接收到的數(shù)據(jù)量減少，從而降低了其自身及整個(gè)視覺系統(tǒng)的功耗。

縮減數(shù)據(jù)規(guī)模

高分辨率圖像傳感器會(huì)占用大量帶寬來(lái)輸出數(shù)據(jù)。例如，以60幀/秒速度工作的2000萬(wàn)像素傳感器將傳輸12 Gbps圖像數(shù)據(jù)，這些數(shù)據(jù)不僅需要在傳感器內(nèi)部的高速接口中妥善處理，還需要由接收這些數(shù)據(jù)的ISP/SoC進(jìn)行處理。處理如此龐大的數(shù)據(jù)需要在這些處理引擎中投入昂貴且專用的資源和電力，并可能導(dǎo)致大量的功耗/熱管理問(wèn)題。此外，接口速度的限制也增加了這一挑戰(zhàn)。

在大多數(shù)應(yīng)用中，可能只有小部分時(shí)間需要在全分辨率下全速運(yùn)行，其余時(shí)間則僅需較低分辨率。雖然子采樣模式可以降低帶寬并有其自身優(yōu)勢(shì)，但在分辨率選擇或場(chǎng)景完整性方面會(huì)受到一定的限制。

傳感器內(nèi)的縮放器有助于克服這些限制，有效滿足低分辨率操作的需求。它們能夠在源頭控制帶寬，而不是由 ISP/SoC 管理。它們能夠在最大程度上提供精細(xì)的粒度控制，同時(shí)保持完整的視場(chǎng)角（FOV）。安森美 AR2020 圖像傳感器（Hyperlux LP 產(chǎn)品系列的 2000萬(wàn)像素成員）的圖像縮放算法非常復(fù)雜，即使在分辨率大幅縮放的情況下，也能提供出色的圖像質(zhì)量。舉例來(lái)說(shuō)，雖然獲取遠(yuǎn)距離物體的細(xì)節(jié)確實(shí)需要 2000 萬(wàn)像素，但可能只需要圖像的某個(gè)特定區(qū)域，而不是整個(gè)圖像。通過(guò)對(duì)這一動(dòng)態(tài)定義的區(qū)域進(jìn)行裁剪或縮放，就可以獲得 2000萬(wàn)像素傳感器的優(yōu)勢(shì)，而無(wú)需持續(xù)處理相當(dāng)于 2000萬(wàn)像素的數(shù)據(jù)。

圖4 scaling比binning產(chǎn)生的偽影更少，從而提高圖像輸出效果

盡可能休眠，按需喚醒

傳感器可以處于極低的工作狀態(tài)，在大多數(shù)工作時(shí)間內(nèi)以低分辨率、最低幀速率運(yùn)行。當(dāng)檢測(cè)到運(yùn)動(dòng)時(shí)，它會(huì)切換到預(yù)定的配置--運(yùn)動(dòng)喚醒（WOM）模式。圖像傳感器有能力處理這些變化，并讓 ISP/SoC 將其切換到所需的模式/配置。它還能進(jìn)一步屏蔽與應(yīng)用無(wú)關(guān)的運(yùn)動(dòng)區(qū)域，從而使傳感器和視覺系統(tǒng)更加精準(zhǔn)、高效。以前，這一功能是在處理器中完成的，但在傳感器上實(shí)現(xiàn)這一功能可減少系統(tǒng)資源和功耗。

圖5 運(yùn)動(dòng)喚醒等功能使視覺系統(tǒng)具有高度的目標(biāo)驅(qū)動(dòng)性

我們可以看到這些功能在電池供電的應(yīng)用、智能門禁系統(tǒng)、零售掃描儀、醫(yī)療監(jiān)測(cè)系統(tǒng)等類似應(yīng)用中產(chǎn)生的深遠(yuǎn)影響。電池供電的應(yīng)用從這些傳感器中獲得了最大的好處，因?yàn)樗鼈兛梢宰畲笙薅鹊亟档拖到y(tǒng)功耗。在4K視頻門鈴應(yīng)用中，像安森美AR0830這樣的800 萬(wàn)像素圖像傳感器在滿負(fù)荷狀態(tài)下會(huì)傳輸6G數(shù)據(jù)，但現(xiàn)在它可以在WOM模式下運(yùn)行超過(guò)98%的工作時(shí)間。在預(yù)檢測(cè)階段，它產(chǎn)生/傳輸?shù)臄?shù)據(jù)量極低，整個(gè)視覺系統(tǒng)的運(yùn)行功耗僅為全工作模式下的一小部分。

迄今為止，圖像傳感器作為數(shù)據(jù)捕捉和數(shù)據(jù)傳輸器件一直表現(xiàn)出色。正如安森美 Hyperlux LP 產(chǎn)品系列中所展現(xiàn)的那樣，上述趨勢(shì)和進(jìn)步使這些傳感器成為內(nèi)置智能應(yīng)用的強(qiáng)大邊緣器件。通過(guò)集成更好的像素技術(shù)、可配置的智能關(guān)注區(qū)域、運(yùn)動(dòng)檢測(cè)等功能，現(xiàn)在可以被設(shè)計(jì)用來(lái)滿足特定的用例需求，從而打造出性能卓越且功耗極低的差異化高效視覺系統(tǒng)。