基于RK3399的AI攝像頭軟硬件設計

隨著智能電視的普及和家庭視頻會議、家庭娛樂健身的需求，本文開發(fā)了一款基基于RK3399 方案的AI攝像頭，通過USB 連接線直連智能電視，即可實現(xiàn)AI攝像頭和智能電視連接，滿足人們家庭視頻會議、家庭娛樂健身的需求，AI 攝像頭應用系統(tǒng)見圖1。

圖1 AI攝像頭應用系統(tǒng)框圖

1 整機系統(tǒng)方案

整體系統(tǒng)方案將索尼IMX335 采集圖像信息輸入到海思RK3399 中，RK3399 對圖像進行編解碼后經(jīng)過USB 接口輸入到電視，電視顯示圖像，并通過IO 口控制電機，實現(xiàn)AI攝像頭的升降。為了防止升降電機體驗效果不佳，預留反饋電路，整機系統(tǒng)方案見圖2。

圖2 整機系統(tǒng)方案

2 硬件系統(tǒng)設計

硬件主控采用RK3399 方案，傳感器使用索尼IMX335，硬件系統(tǒng)框圖見圖3。

圖3 硬件系統(tǒng)框圖

RK3399 芯片是一款低功耗、高性能的處理器， 集成雙核Cortex-A72+ 四核Cortex-A53 CPU， 集成ARM NEON 技術(shù)，可增強較多的多媒體應用體驗。另外集成高性能Mali-T860 MP4 GPU， 嵌入式3D GPU 使RK3399 完全兼容OpenGL ES1.1/2.0/3.0/3.1、OpenCL 和DirectX11.1，并且?guī)в蠱MU 的專用二維引擎將最大限度地提高顯示性能并提供非常平穩(wěn)的操作。RK1608 用于對MIPI CSI 信號進行DSP 加速等預處理。方案支持各主流的多媒體解碼、USB3.0、SD3.0、TYPE C 信源輸入；視頻解碼支持H.264/H.265/VP9 等，支持H.264/MVC/VP8 1080P@30HZ 視頻編碼，同時可支持多屏異顯。

索尼傳感器芯片IMX335 是一款CMOS 固態(tài)的有源像素型圖像傳感器。芯片內(nèi)部有模擬電壓、數(shù)字電壓和IO電壓3種類型，其中模擬電壓2.9 V，數(shù)字電壓1.2 V，IO電壓1.8 V。它具有無污跡，低暗電流和高靈敏度等效果。IMX335 內(nèi)置始終反饋電路，串行驅(qū)動電路，寬動態(tài)電路，12 位A/D 轉(zhuǎn)換器。

3 軟件系統(tǒng)設計

軟件采用 DB 架構(gòu)方案。業(yè)務邏輯功能代碼通過媒體處理抽象層調(diào)用平臺芯片相關(guān)代碼, 根據(jù)編譯選項編譯對應平臺芯片的實現(xiàn)。業(yè)務邏輯代碼主要分為 Media，UVC, UAC，Upgrade 等模塊; 使用生產(chǎn)者消費者模式來處理圖像幀數(shù)據(jù), 生產(chǎn)者與消費者之間通過幀隊列進行數(shù)據(jù)交互，AI 攝像頭軟件框圖見圖4。

圖4 AI攝像頭軟件框圖

攝像頭數(shù)據(jù)處理主要包括Media模塊和UVC 模塊。Media 模塊包含YUV Service，Encode Service 和Media Manager。YUV Service: 負責從 VPSS 獲取 YUV 幀數(shù)據(jù)并放到Y(jié)UV 幀隊列。Encode Service： 負責從 VENC 獲取 H264 幀數(shù)據(jù)放到H264 幀隊列。Media Manager: 負責管理 YUV Service 及 Encode Service 的創(chuàng)建，初始化及銷毀。并給外部其他模塊提供分辨率切換，圖像參數(shù)設置等接口。UVC 模塊包括UVC Event Service，UVC Data Service和UVC Manager。UVC Event Service: 負責從 V4L2 中獲取解析 TV 端的 UVC 請求事件。比如打開關(guān)閉預覽，設置分辨率等。UVC Data Service：負責從 H264 幀隊列中獲取幀數(shù)據(jù)，通過V4L2 接口發(fā)送給TV。UVC Manager: 負責管理 UVC Event Service及 UVC Data Service 的創(chuàng)建，初始化及銷毀。

4 結(jié)束語

本文硬件采用RK3399 方案，軟件采用 DB 架構(gòu)，通過傳感器采集圖像，用RK3399 編解碼，通過USB傳輸?shù)街悄茈娨曪@示。實驗結(jié)果表明，本方案設計的AI 攝像頭應用于家庭視頻會議、家庭娛樂健身，得到消費者的一致好評。

（本文來源于《電子產(chǎn)品世界》雜志2023年7月期）