基于C54x DSP的數(shù)碼相機(jī)和相關(guān)產(chǎn)品設(shè)計(jì)
加入技術(shù)交流群
1983年，美國TI公司的TMS32010 DSP上市。32010采用了3mm線寬的工藝，運(yùn)算速度為5MIPS，功耗為0.9W，即180mW/MIPS，價(jià)格約500美元/片。當(dāng)時(shí)的主要用途是做簡單的語音編碼，如ITU-G.711和ITU-G.721；還有做低速的Modem，如ITU-V.21。
本文引用地址：http://www.ex-cimer.com/article/2893.htm1989年，TI公司推出了TMS320C50，采用0.8mm線寬工藝，速度為40MIPS，功耗降至12.5 mW/MIPS，價(jià)格降至15美元/片。C50大大擴(kuò)展了DSP的應(yīng)用范圍，如低碼率聲碼器、回聲抵消器、中速Modem、音頻編碼等。
1997年，TI開始推出全新一代的定點(diǎn)DSP TMS320C54x，采用0.18mm線寬工藝，速度達(dá)到100～200MIPS，功耗降至0.5 mW/MIPS。
2000年春季TI又推出了最新一代的定點(diǎn)DSP C55x系列，采用0.15mm線寬工藝，速度為320/400MIPS，功耗降至0.25 mW/MIPS。C54x DSP不僅可作語音、音頻處理和通信、特別是移動(dòng)通信應(yīng)用，更可以用于圖象編碼，當(dāng)前主要是用于做數(shù)碼相機(jī)和數(shù)字圖像監(jiān)控系統(tǒng)。
最近數(shù)碼相機(jī)(DSC)已成為非常普通的消費(fèi)類電子產(chǎn)品。它已經(jīng)被攝影愛好者、網(wǎng)頁開發(fā)者、地產(chǎn)開發(fā)商、保險(xiǎn)評定員、攝影記者等廣泛使用。與傳統(tǒng)的膠卷相機(jī)相比，數(shù)碼相機(jī)具有數(shù)據(jù)存儲、處理和傳輸?shù)墓δ?。?shù)碼相機(jī)可以當(dāng)場看到拍攝效果，當(dāng)場決定是否需要存儲或重拍，又可將圖像數(shù)據(jù)直接輸給計(jì)算機(jī)進(jìn)行校正、變換和修飾，還可以通過Internet傳送到各地。
圖1是采用C549定點(diǎn)DSP的數(shù)碼相機(jī)的系統(tǒng)功能框圖。絕大多數(shù)DSC都采用CCD光電變換器獲取景物的圖像信息。CCD傳感器需要驅(qū)動(dòng)電路和定時(shí)電路。CCD將光信號轉(zhuǎn)換成電信號，然后通過雙取樣校正電路和AGC后得到高質(zhì)量的圖像信號，再經(jīng)過10～12bit的A/D變換為數(shù)字信號。A/D變換器輸出的是線性PCM信號，數(shù)據(jù)量很大，例如對于一幅640×480分辨率(30萬像素)的彩色照片，數(shù)據(jù)量為7.37Mbit，對于一幅1024×768（80萬像素)的彩色照片，數(shù)據(jù)量達(dá)到18.87Mbit。如果直接將這些數(shù)據(jù)寄存到半導(dǎo)體存儲器中，需要非常大容量的存儲器。為減少存儲器的容量，必須采取壓縮處理。在數(shù)碼相機(jī)中現(xiàn)在大多采用JPEG編碼算法。
在進(jìn)行JPEG壓縮編碼前，還須對圖像數(shù)據(jù)進(jìn)行一系列預(yù)處理。包括：
黑電平箝位 因?yàn)槊總€(gè)CCD單元起始電流不一定在零狀態(tài)，會有失調(diào)，一定要箝位在同一起始電流上。
透鏡畸變補(bǔ)償 因?yàn)橥哥R的非線性引起圖像中心區(qū)和邊緣區(qū)的亮度差，要根據(jù)每個(gè)像素的空間位置調(diào)節(jié)其亮度。
缺損像素內(nèi)插 因?yàn)?/font>CCD陣列像素很多，不可避免會有不好的像素?？梢圆捎脤⒃撊睋p像素臨近像素的數(shù)據(jù)進(jìn)行內(nèi)插計(jì)算，算出該缺損像素的亮度值。
彩色濾波陣列CCD原始圖像是經(jīng)過彩色濾光器得到的，對任何像素只有一種顏色信息(R、G、B中的一種），但在處理時(shí)需要全彩色信息。所以要通過臨近像素的內(nèi)插重建另兩種丟失的顏色。
r-矯正 由CCD傳感器產(chǎn)生的圖像與顯示器顯示或打印機(jī)打印的圖像之間總有不同，要采用Gamma矯正。
彩色空間轉(zhuǎn)換 JPEG算法要求的彩色空間是亮度(Y)和色差（Cb、Cr)信息，所以要將R、G、B轉(zhuǎn)換成Y、Cb、Cr。
其他預(yù)處理還有邊緣的增強(qiáng)、偽彩色抑制、自動(dòng)聚焦、自動(dòng)曝光。以上所有的預(yù)處理工作都由DSP完成。
預(yù)處理工作結(jié)束后數(shù)據(jù)流又由同一塊DSP進(jìn)行JPEG壓縮處理。壓縮的目的是減少圖像的數(shù)據(jù)量，從而降低存儲的存儲量，或在一定的存儲容量下存放更多的照片。JPEG是一種極其通用的靜止圖像壓縮算法。在DSC典型應(yīng)用中壓縮倍率為10:1至15:1，在這個(gè)壓縮倍率范圍內(nèi)，能保持優(yōu)良的重建圖像質(zhì)量,使其基本可與原始圖像質(zhì)量一致。當(dāng)然還可增大壓縮倍率到20:1甚至30:1。但重建的圖像質(zhì)量明顯變差，不適用于DSC。JPEG的壓縮算法由數(shù)據(jù)組塊、離散余弦變換(DCT)、量化、可變長編碼（Huffman編碼)等部分組成。
上述圖像預(yù)處理和JPEG壓縮編碼都由C549 DSP完成。TMS320C549 是TI在1999年推出的定點(diǎn)高性能低功耗DSP。其運(yùn)算速度為100MIPS。片內(nèi)RAM為32K×16bit。ROM為16K×16bit。功耗0.45mA/MIPS。在進(jìn)行預(yù)處理和壓縮編碼時(shí)毋需外接昂貴的高速存儲器。表1詳細(xì)列出了進(jìn)行上述一系列處理時(shí)所需的指令數(shù)。由于C549的指令集和結(jié)構(gòu)的效率高，所以整個(gè)預(yù)處理和JPEG壓縮編碼只開銷150周期/像素，所以對于100萬像素的CCC圖像，用100MHz的C549處理時(shí)只需1.5s就可以完成。所以兩次拍攝的時(shí)間間隔只需2s左右。經(jīng)過壓縮后的圖像數(shù)據(jù)存入Flash卡。照片回放時(shí)可以通過RS232或USB串口進(jìn)入計(jì)算機(jī),用軟件做JPEG的解壓縮。數(shù)碼相機(jī)本身的DSP也具有解壓縮功能，由C549回放。解壓縮的軟件開銷為100周期/像素，所以100萬像素的照片只需1s就完成解壓縮了。
表2列出了完成所有處理任務(wù)所需的程序存儲器和數(shù)據(jù)存儲器的容量，該容量遠(yuǎn)小于C549片內(nèi)提供的存儲器容量，所以毋需外擴(kuò)高速存儲器，也省去了對外部存儲器存取的要求，降低了DSC的系統(tǒng)成本和功耗。
在圖1所示的DSC總體框圖中還有一些周邊電路，如LCD顯示器，可作為取景和照片回放；有NTSC/PAL電視編碼器，可以在電視機(jī)上觀看照片回放。
目前市場上很多圖像監(jiān)控系統(tǒng)都是以PC機(jī)為平臺。但在PC機(jī)中插入圖像采集卡或圖像壓縮卡，完全要依靠PC機(jī)工作，在許多場合不是很方便。
我們所研制的圖像采集壓縮系統(tǒng)是不需PC機(jī)的便攜式數(shù)字圖像傳輸系統(tǒng)。由DSP完成圖像壓縮處理，再通過通信接口與MODEM連接進(jìn)入公用電話網(wǎng)。只要電話能通的地方都可以運(yùn)用，接收端采用PC軟件解壓縮，由計(jì)算機(jī)控制、存儲、建立數(shù)據(jù)庫，以及與Internet連接。
考慮到成本要低，所以采用定點(diǎn)的C54xDSP芯片。而100MIPS的DSP要做活動(dòng)圖像處理幾乎是不可能的，況且還有MODEM和通信線路傳送數(shù)據(jù)率的瓶頸問題，所以像數(shù)碼相機(jī)一樣采用JPEG壓縮方式，傳送靜止圖像。其實(shí)在很多場合靜止圖像傳輸也是很有用的，例如事故發(fā)生的現(xiàn)場、商品廣告和實(shí)樣展示、無人機(jī)房、機(jī)器儀表面板或控制開關(guān)位置的監(jiān)視等等。
圖2為圖象發(fā)送端的硬件方框圖，圖像的采集與數(shù)字化由攝像頭和A/D芯片完成，可以通過軟件靈活地控制數(shù)字圖像的輸出大小和格式，可以有176×144、353×288、704×576等彩色圖像。場緩存是片外高速RAM，完成暫存圖像的功能。正常工作時(shí)攝像頭與A/D芯片處于常開狀態(tài)，原始圖像數(shù)據(jù)不斷地寫入場緩存，但場緩存處于常關(guān)狀態(tài)，只有收到來自C54X的取圖命令時(shí)，才取出一幅圖像數(shù)據(jù)儲存起來。C54X芯片將原始圖像按JPEG壓縮，生成的碼流經(jīng)過信道傳送到接收點(diǎn)。發(fā)送和接收方(PC機(jī))都接有MODEM，通過控制8251芯片，設(shè)定傳送速率，發(fā)送AT指令，以及Modem和DTE之間的信息握手，從而實(shí)現(xiàn)撥號、連接、摘機(jī)等電話的基本功能。
作為監(jiān)控用的圖像傳輸系統(tǒng)對重建圖像質(zhì)量要求可比DSC低，故采用20：1的壓縮倍率。對于352×288×2字節(jié)/像素，共計(jì)198kb，經(jīng)過20：1的壓縮將數(shù)據(jù)量降至10kb左右。如用33.6kb的Modem傳送，約需2. 4s，而實(shí)際壓縮時(shí)間小于1s，所以瓶頸的原因在于信道帶寬窄。
最近我們又在圖2所示系統(tǒng)的基礎(chǔ)上進(jìn)行了改進(jìn)，采用CMOS攝像頭，DSP采用廉價(jià)的C5409。增加了Flash存儲器，可以存儲10幅左右的圖像。如果與其他安保探頭相連，經(jīng)觸發(fā)就可以自動(dòng)撥號告警，并將當(dāng)時(shí)記錄的幾幅圖象發(fā)送給監(jiān)控中心。系統(tǒng)按照小型化設(shè)計(jì)，體積僅90mm(L)×70mm（W)×35mm(H），便于隱蔽和偽裝。
目前數(shù)碼相機(jī)也有專用芯片，如TI公司的TMS320DSC21 和TMS320DSC24具有強(qiáng)大的音視頻編碼功能，可以與話筒、喇叭、耳機(jī)等接口，并已植入MP3回放功能的軟件。HP公司采用此芯片的數(shù)碼相機(jī)已經(jīng)上市，不久市場上就可以看到Kodak公司采用TI方案的、可以播放MP3音樂的Kodak mc3數(shù)碼相機(jī)了。
無論是TMS320DSC21還是TMS320DSC24，其核心均為C54X并集成一個(gè)ARM核。采用DSP的最大優(yōu)點(diǎn)就是極其靈活。因?yàn)镈SC和ISS目前都沒有標(biāo)準(zhǔn)，需要不斷地修改、升級。采用DSP后修改和升級只需改動(dòng)軟件，硬件平臺不必更換，即可不斷地增加新的功能。因此在現(xiàn)階段，基于DSP平臺開發(fā)數(shù)碼相機(jī)和圖像監(jiān)控系統(tǒng)（ISS)還是大有可為的，特別是針對一些的特殊應(yīng)用和需求。未來的DSC系統(tǒng)會具有許多新的功能，如用文字或聲音做照片注解，可以包括Modem和TCP/IP接口，直接與Internet連接。 新的JPEG2000圖像壓縮算法標(biāo)準(zhǔn)已經(jīng)出來，壓縮倍率比JPEG高10倍以上，相信DSP將發(fā)揮越來越重要的作用?！?/font>
評論