基于機(jī)器學(xué)習(xí)的虛擬門把手設(shè)計(jì)與實(shí)現(xiàn)

摘要：為了提高安全性和便捷性，尤其是在疫情背景下，應(yīng)避免使用者因接觸門把手而造成交疾病的叉污染。本文設(shè)計(jì)了一種非接觸式的虛擬門把手，可用來代替?zhèn)鹘y(tǒng)門把手在現(xiàn)實(shí)生活中的作用。該虛擬門把手采用樹莓派作為主控芯片，通過攝像頭采集實(shí)時(shí)畫面和用戶手勢(shì)，門鎖模塊用于實(shí)現(xiàn)開鎖和反鎖的功能；該虛擬門把手還具有人臉識(shí)別功能，保障用戶的安全和隱私。測(cè)試結(jié)果表明，該虛擬門把手能夠?qū)崿F(xiàn)人臉識(shí)別，并在用戶做出指定手勢(shì)時(shí)實(shí)現(xiàn)開鎖或反鎖的功能，達(dá)到了預(yù)期的設(shè)計(jì)目標(biāo)。

關(guān)鍵詞：人臉識(shí)別；手勢(shì)識(shí)別；樹莓派；卷積神經(jīng)網(wǎng)絡(luò)

項(xiàng)目支持：本課題得到廣西自治區(qū)區(qū)級(jí)大學(xué)生創(chuàng)新創(chuàng)業(yè)計(jì)劃項(xiàng)目支持

項(xiàng)目編號(hào)：202010595090

據(jù)調(diào)查顯示，高校的公共設(shè)施存在不同程度的微生物污染，門把手上的污染最為嚴(yán)重，其中大腸菌群有可能造成腸道外感染或急性腹瀉 ^[1]；2020 年 2 月，廣州市疾病預(yù)防控制中心在一名確診患者家中門把手上發(fā)現(xiàn)了新型冠狀病毒的核酸，專家提醒我們?nèi)粘＜揖蛹?xì)節(jié)中，有許多可能造成病毒間接傳播的途徑，容易為人所忽略。對(duì)于普通社區(qū)居民，風(fēng)險(xiǎn)更多來自于間接接觸：如果病毒附著在物體表面，自己的手觸摸到被污染的物體表面后進(jìn)食、揉眼睛等動(dòng)作，可能會(huì)造成自己感染 ^[2]。

門把手作為日常中使用頻繁的設(shè)施，通常與門鎖結(jié)合以實(shí)現(xiàn)開門、關(guān)門和反鎖的功能。傳統(tǒng)的門把手需要與人員發(fā)生手部接觸，因此細(xì)菌病毒等會(huì)附著在門把手上，造成交叉感染。為了防止細(xì)菌病毒通過門把手傳播，降低人民群眾的感染風(fēng)險(xiǎn)，本項(xiàng)目設(shè)計(jì)了一款基于機(jī)器學(xué)習(xí)的虛擬門把手，可通過開關(guān)門手勢(shì)實(shí)現(xiàn)開門、關(guān)門和反鎖的功能，避免人員與門把手的直接接觸。此外，本項(xiàng)目設(shè)計(jì)的虛擬門把手有人臉識(shí)別功能，通過與磁吸式門鎖結(jié)合，保障了用戶的隱私與安全，更具有方便快 捷、操作方法簡單等優(yōu)點(diǎn)。

1 設(shè)計(jì)思路

對(duì)本項(xiàng)目的需求進(jìn)行分析后，畫出了該系統(tǒng)的原理框圖，如圖 1 所示。本項(xiàng)目采用了模塊化的思想，方便結(jié)構(gòu)搭建和測(cè)試。其中，攝像頭模塊用于采集獲取用戶的實(shí)時(shí)畫面圖像信息，并將圖像信息傳輸給嵌入式主控板，以進(jìn)行人臉識(shí)別和手勢(shì)判斷。門鎖模塊用于實(shí)現(xiàn)開門、關(guān)門和反鎖的功能，當(dāng)用戶進(jìn)入攝像頭區(qū)域內(nèi)喚醒主控，點(diǎn)亮顯示屏并人臉識(shí)別成功后，用戶可做出開關(guān)門的手勢(shì)，門鎖模塊可以做出相應(yīng)的反應(yīng)，即能夠完成非接觸式開門和關(guān)門的動(dòng)作，降低了因接觸門把手而感染細(xì)菌病毒的風(fēng)險(xiǎn)；執(zhí)行反鎖手勢(shì)指令后，只能通過用戶在門的這一側(cè)做出開鎖的手勢(shì)來打開門鎖，而在門的另一側(cè)無法打開。顯示模塊用于顯示實(shí)時(shí)畫面和提示信息，用戶根據(jù)顯示模塊上的提示完成指定手勢(shì)，避免因手勢(shì)不規(guī)范或超出檢測(cè)范圍而發(fā)生手勢(shì)識(shí)別錯(cuò)誤。電源模塊用于對(duì)整套裝置供電，保證裝置正常運(yùn)行。

2 方案選擇

本設(shè)計(jì)主控采用高速微處理器第三代樹莓派計(jì)算模塊，擁有 1 GB RAM（ 隨機(jī)存取存儲(chǔ)器，Random Access Memory），1.2 GHz 主頻的博通 BCM2837 處理器。其體積微小，板載外設(shè)接口豐富，包括 4 個(gè) USB（通 用串行總線，Universal Serial Bus）端口、DSI（顯示串行接口，Display Serial Interface）顯示、HDMI（高清多媒體接，High Definition Multimedia Interface）、以及 40 個(gè) GPIO（通用輸入輸出端口，General Purpose Input/ Output Port）接口，是一款運(yùn)算能力強(qiáng)勁的基于 Linux 的微型計(jì)算機(jī)。

開門、關(guān)門功能通過門鎖模塊實(shí)現(xiàn)。常用的門鎖有插芯式門鎖和電磁門鎖兩種。插芯式門鎖有單設(shè)按鈕插芯門鎖和雙舌插芯門鎖等分類，安裝復(fù)雜，不便于控制。電磁門鎖利用電磁鐵的原理，依靠電力產(chǎn)生磁力，拉住門鎖，具有安裝簡單，易于控制的優(yōu)點(diǎn)。因此，本設(shè)計(jì)中采用的是常閉式電磁門鎖，通過磁力使門鎖閉合，收到單片機(jī)控制信號(hào)后門鎖打開。本設(shè)計(jì)選用的磁吸式門鎖具有 280 kg 直線拉力，吸力穩(wěn)定，且配備 220 V 交流轉(zhuǎn) 12 V 直流供電，電源裝配簡單。

采集用戶面部和手部信息通過攝像頭模塊實(shí)現(xiàn)。本項(xiàng)目中，攝像頭模塊選用 1 080 P 高清攝像頭，并具有 130° 廣角，可以充分滿足信息采集需要。兼容樹莓派和 Windows 等多種系統(tǒng)，采集到的圖像數(shù)據(jù)通過 USB 接口能夠直接傳遞給樹莓派主控芯片。

顯示模塊采用 4.3" IPS（橫向電場(chǎng)效應(yīng)顯示技術(shù)）顯示屏，分辨率為 800×480 像素，具有 MIPI（移動(dòng)產(chǎn)業(yè)處理器接口，Mobile Industry Processor Interface）DSI 接口，與樹莓派模塊相匹配。3.3 V 電源供電時(shí)，功耗 300 mW，是一款低功耗顯示屏。顯示模塊用于顯示攝像頭拍到的實(shí)時(shí)畫面和提示信息，形成良好的人機(jī)交互。

3 方案實(shí)施

3.1 主程序流程

如圖 2 所示，該系統(tǒng)由電磁門鎖、攝像頭和顯示屏組成。電磁門鎖用于控制門的開關(guān)，攝像頭固定于門上，S1 為用戶到攝像頭的距離。

圖 2人臉識(shí)別、手勢(shì)識(shí)別示意圖

圖 3 是主程序流程圖。當(dāng)有用戶進(jìn)入檢測(cè)區(qū)域時(shí)，首先對(duì)其進(jìn)行人臉識(shí)別，判斷是否為合法用戶，若為非法用戶，則在顯示屏上顯示非法操作；若判斷為合法用戶，則等待其手勢(shì)指令，如開門或反鎖指令。

圖3 主程序流程圖

3.2 人臉識(shí)別和手勢(shì)識(shí)別

通過攝像頭拍攝實(shí)時(shí)畫面，對(duì)用戶進(jìn)行人臉識(shí)別和手勢(shì)識(shí)別。

人臉識(shí)別采用了 OpenCV（開源計(jì)算機(jī)視覺）自帶的人臉特征分類器 haarcascade_frontalface_alt2.xml。首先錄入合法用戶的人臉照片信息并保存，接著直接調(diào)用人臉特征分類器進(jìn)行人臉識(shí)別。

手勢(shì)識(shí)別采用了自制數(shù)據(jù)集和自制訓(xùn)練模型。自制數(shù)據(jù)集邀請(qǐng)了 4 位不同手形大小的實(shí)驗(yàn)參與者采集其做出的手勢(shì)，每人做出 3 種手勢(shì)，每種手勢(shì)錄入 240 張 64×64×3 的 RGB（紅綠藍(lán)）圖像，共 2 880 張圖像。打亂順序后，隨機(jī)抽取 2 160 張圖像作為訓(xùn)練集，其余 720 張圖像作為測(cè)試集。為了增加樣本數(shù)量，增強(qiáng)模型的泛化性，項(xiàng)目中采用了數(shù)據(jù)增強(qiáng)，降低了過擬合的風(fēng)險(xiǎn)。建立好每張圖片對(duì)應(yīng)的標(biāo)簽后，構(gòu)建 CNN（卷積神經(jīng)網(wǎng)絡(luò)，Convolutional Neural Network）網(wǎng)絡(luò)。本項(xiàng) 目的 CNN 網(wǎng)絡(luò)模型如圖 3 所示，模型順序連接，四次卷積池化，再接一個(gè)全連接隱藏層和一個(gè)輸出層。其中兩次卷積核均為 3×3 像素，使用 ReLU 激活函數(shù)，兩次池化均采用最大池化。全連接隱藏層使用 ReLU 激活函數(shù)，輸出層采用 softmax 激活函數(shù)，由于本項(xiàng)目種共有 3 種手勢(shì)需要識(shí)別，所以輸出層神經(jīng)元個(gè)數(shù)為 3。

圖4 神經(jīng)網(wǎng)絡(luò)模型

為了防止其他未知的手勢(shì)引起識(shí)別錯(cuò)誤，程序?qū)M(jìn)行手勢(shì)判斷做出了改進(jìn)。得益于 softmax 激活函數(shù)，使得模型預(yù)測(cè)的三個(gè)輸出值都在 0 到 1 之間，且三個(gè)輸出值相加等于 1。于是只需判斷預(yù)測(cè)結(jié)果中的輸出值是否大于某個(gè)規(guī)定值，若大于才能被判斷為有效手勢(shì)，若為無效手勢(shì)，則不執(zhí)行操作。

3.3 門鎖開鎖和反鎖

門鎖的開鎖與反鎖由樹莓派主控芯片控制電磁門鎖實(shí)現(xiàn)。

圖 5 為門鎖電源接線示意圖。電磁門鎖的正、負(fù)極分別連接 NC 和 COM 端，在此連接方式下，門鎖為常閉狀態(tài)。門打開后，兩磁鐵靠近自動(dòng)吸合關(guān)閉。樹莓派主控芯片控制門鎖 IO 口接到 PUSH 端，用于控制門鎖打開或反鎖。執(zhí)行開鎖指令時(shí)，控制 IO 口輸出高電平，經(jīng)過變壓器升壓后達(dá)到 12 V，控制門鎖打開。接收到反鎖命令后，程序記錄反鎖標(biāo)志位，從另一側(cè)開門時(shí)若反鎖標(biāo)志位為 1，則不能打開門。

圖5 門鎖電源接線示意圖

4 調(diào)試與測(cè)試

在訓(xùn)練自制模型的過程中，使用一臺(tái)處理器為 Intel Core i7-1065G7、主頻 1.30 GHz，機(jī)帶 RAM 為 32.0 GB 的計(jì)算機(jī)。圖 4 給出了模型訓(xùn)練時(shí)的參數(shù)變化，從中可以看出，15 輪內(nèi)模型訓(xùn)練集和測(cè)試集的準(zhǔn)確率都達(dá)到 95% 以上，損失率均為 15% 以下。

在基于樹莓派計(jì)算模塊的系統(tǒng)功能測(cè)試中，邀請(qǐng)了 5 位同學(xué)在不同背景、不同光照環(huán)境下對(duì)系統(tǒng)進(jìn)行了測(cè)試。測(cè)試結(jié)果表明，本系統(tǒng)能夠?qū)崿F(xiàn)對(duì)用戶的手勢(shì)識(shí)別和人臉識(shí)別，當(dāng)S1在30 cm~50 cm之間時(shí)識(shí)別效果最好，人臉識(shí)別成功率為 95%，手勢(shì)識(shí)別成功率為 93%，手勢(shì)解鎖指令識(shí)別成功后，門鎖解鎖時(shí)間為 1 s。

5 結(jié)語

本項(xiàng)目基于樹莓派單片機(jī)和卷積神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)了可以用手勢(shì)控制的虛擬門把手功能。經(jīng)過測(cè)試，該虛擬門把手具有人臉識(shí)別、手勢(shì)識(shí)別的功能，可以根據(jù)用戶的手勢(shì)執(zhí)行指令，完成對(duì)門鎖的控制。未來將收集更多手部圖像作為訓(xùn)練數(shù)據(jù)集以進(jìn)一步提高模型準(zhǔn)確率，提高系統(tǒng)在不同環(huán)境下的適應(yīng)能力，并嘗試用電插芯門鎖代替電磁門鎖，以完善門鎖的安全性問題。

圖6 模型訓(xùn)練參數(shù)

參考文獻(xiàn)：

[1] 白婧.濟(jì)南市某高校公共設(shè)施和公共用品微生物污染狀況調(diào)查[J].科技視界,2017,(34):22+15.

[2] 喬靖芳,王楠 .門把手上檢測(cè)出病毒![N].健康時(shí)報(bào),2020-02-07(002).

[3] RS Com ponents和Allied Electronics現(xiàn)可供貨樹莓派3計(jì)算模塊[J].單片機(jī)與嵌入式系統(tǒng)應(yīng)用,2017,17(03):74.

[4] 邵曉康,張恒,田春子,等.OpenCV算法的人臉識(shí)別在課堂簽到系統(tǒng)上的分析與研究[J].電子世界,2021(23):31-32.

[5] 王強(qiáng)宇.基于深度神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)手勢(shì)識(shí)別技術(shù)研究[D].徐州:中國礦業(yè)大學(xué),2019.

(注：本文轉(zhuǎn)載自《電子產(chǎn)品世界》2022年7月期)