Google 解釋 Pixel 4 手勢雷達(dá)背后的技術(shù)

Soli 動作感應(yīng)系統(tǒng)是 Pixel 4 系列的一大賣點，理論上它可以快速地識別用戶手勢然后執(zhí)行相應(yīng)的操作。不過這套方案背后的工作原理可能未必如許多人所想像，而在日前發(fā)布的一篇博客中 Google 專門對此進(jìn)行了一番解釋。

首先，Soli 的短距離雷達(dá)主要是被用來做兩件事，其一是探測到人的存在從而讓面部辨識組件迅速做好掃描人臉的準(zhǔn)備，其二則是認(rèn)清滑動之類的隔空手勢。這第二項是體現(xiàn) Soli 功能性的核心，而為了讓相關(guān)組件小到可以被塞進(jìn)手機(jī)，Google 在雷達(dá)識別傾向上的優(yōu)先級是將動作放在形狀前面的。

這種做法還帶來了一項額外的好處，那就是 Soli 相對來說不容易對用戶的隱私構(gòu)成侵犯。因為它沒有辦法記錄清楚的圖像，因此 Google 就「沒有足以辨別出人臉或身體的照片可供利用」了。而為了能在各種使用場景下更快更準(zhǔn)確地捕捉使用者一閃而過的動作，Soli 是以一種 3D 視圖的方式來觀察周圍的世界。如下圖所示，它會用縱軸來代表對象的距離，同時以橫軸來代表對象靠近或遠(yuǎn)離手機(jī)的速度。而每個像素的亮度反映的是探測對象的相對尺寸，下圖左中右分別是用戶走近設(shè)備、用手伸向設(shè)備和在設(shè)備上方做滑動動作時 Soli 看到的景象。

Google 以此為基礎(chǔ)建立了 AI 模型，并招募了大量志愿者結(jié)合 TensorFlow 機(jī)器學(xué)習(xí)框架來幫助 Soli 進(jìn)行手勢識別的訓(xùn)練。由此得來的成果還需要經(jīng)過專門的優(yōu)化，最終才能依靠 Pixel 4 定制的低功耗 DSP 直接在手機(jī)上加以運用。雖然就目前的情況來看，Soli 還只能認(rèn)出一些相對簡單的動作，但在 Google 眼中這項技術(shù)未來還有相當(dāng)大的潛力可挖。他們相信 Soli 日后也有望被整合到諸如智能手表這樣尺寸更小，因而更適合通過手勢來操作的設(shè)備之中，另外在安全、娛樂、教育等領(lǐng)域它或許也能起到更多的作用。