基于FPGA的雙圖像傳感器設(shè)計(jì)方案

　　摘要：本文介紹了在Lattice FPGA平臺(tái)上實(shí)現(xiàn)的雙圖像傳感器設(shè)計(jì)方案。該方案通過處理兩個(gè)圖像傳感器的數(shù)據(jù)來對(duì)改善最終的圖像數(shù)據(jù)。

　　當(dāng)人們考慮有兩個(gè)圖像傳感器的應(yīng)用時(shí)，首先很可能想到的是一個(gè)三維攝相機(jī)。不過，也有許多設(shè)計(jì)可以通過使用來自兩個(gè)圖像傳感器的數(shù)據(jù)進(jìn)行改善;一個(gè)例子是汽車司機(jī)錄像機(jī)(CDR)的黑盒子，這通常是安裝在后視鏡附近，擁有兩個(gè)攝像機(jī)(圖1)。一個(gè)攝像機(jī)朝向擋風(fēng)玻璃，而另一個(gè)攝像機(jī)指向司機(jī)。在本地的存儲(chǔ)器芯片中存儲(chǔ)攝像機(jī)的視頻，如果有意外事故或疑問，可以進(jìn)行檢索。　　

 

　　兩個(gè)攝像機(jī)和其數(shù)據(jù)的其他應(yīng)用包括對(duì)監(jiān)視的精確分析，在車中對(duì)行人的檢測(cè)。在這些設(shè)計(jì)中，這兩個(gè)相機(jī)的輸出被用來創(chuàng)建一個(gè)包括深度感知的算法。有了這些數(shù)據(jù)，處理器可以非常精確地“看到”圖像和從陰影或其他物體中辨別出人。

　　所有這些設(shè)計(jì)都要求有一個(gè)圖像信號(hào)處理器(ISP)。然而，一個(gè)ISP支持兩個(gè)傳感器并不簡(jiǎn)單。雖然大多數(shù)ISP可以支持兩個(gè)圖像傳感器的吞吐量，絕大多數(shù)ISP器件已經(jīng)設(shè)計(jì)成只有一個(gè)傳感器接口。即使有兩個(gè)端口的ISP往往不能組合在一起，同時(shí)處理兩個(gè)圖像，或者，如果他們能做到，往往是非常昂貴的。

　　除了這個(gè)ISP接口被限制為只處理一個(gè)圖像傳感器之外，更高分辨率的圖像傳感器構(gòu)成了另一個(gè)設(shè)計(jì)挑戰(zhàn)。從歷史上看，通過統(tǒng)一的CMOS并行總線(圖2)，所有高達(dá)720p30分辨率的圖像傳感器都被連接到ISP?！　?/p>

 

　　對(duì)于720p60和更高的分辨率，圖像傳感器無法通過CMOS并行總線進(jìn)行高質(zhì)量的傳輸。因?yàn)椴⑿锌偩€速度必須高于70MHz，開關(guān)噪聲導(dǎo)致圖像傳感器的質(zhì)量下降。為了解決這個(gè)問題，圖像傳感器供應(yīng)商引入串行而非并行總線來傳輸數(shù)據(jù)。然而，由于許多ISP器件只設(shè)計(jì)成采用并行總線，需要將新的傳感器的串行總線轉(zhuǎn)換到這個(gè)并行總線(圖3)。

　　最后，對(duì)于需要3D算法的應(yīng)用，這兩個(gè)圖像傳感器必須同步工作。這不容易做到，因?yàn)槊總€(gè)傳感器的制造商都有自己的方法和格式。例如，一些圖像傳感器使用I/O引腳來進(jìn)行觸發(fā)，而其他制造商則使用I2C，SPI或兩者兼而有之。幾乎所有的ISP都面臨著設(shè)計(jì)挑戰(zhàn)，以支持多種模式，從而確保各種傳感器是同步的。

　　一些ISP廠商都試圖來解決這個(gè)問題，通過提供兩個(gè)獨(dú)立的接口和兩個(gè)處理引擎來支持兩個(gè)圖像傳感器。但是，結(jié)果是構(gòu)成了一個(gè)非常昂貴的ISP器件，不僅圖像處理能力遠(yuǎn)遠(yuǎn)超過實(shí)際的需求，而且對(duì)軟件開發(fā)人員而言，配置和編程更加復(fù)雜。