無人零售中的傳感器技術(shù)

自去年亞馬遜推出Amazon Go以來，無人售貨就成了大家津津樂道的話題以及資本青睞的對象。其實國內(nèi)也不乏鉆研無人售貨技術(shù)的企業(yè)，比如宗慶后的Take go、F5未來商店、繽果盒子、quiXmart等等。

如今阿里巴巴也來湊熱鬧了。阿里的第二屆造物節(jié)即將于7月8日-12日舉辦。阿里即將在7月初的第二屆淘寶造物節(jié)上推出阿里無人超市“淘咖啡”。

無人零售除了應用了計算機視覺等 AI 技術(shù)外，還涉及到大規(guī)模的和智能設備，在整個入店、購物到結(jié)算的環(huán)節(jié)，可以說，沒有無人零售那只是一個傳說。

阿里的淘咖啡

“淘咖啡”是阿里宣布進軍新零售計劃后首次亮相的產(chǎn)品，阿里實驗室籌劃許久的無人咖啡店“淘咖啡”已經(jīng)進入了現(xiàn)場搭建階段。“淘咖啡”將是一個占地達 200 平方線下實體店，集商品購物、餐飲于一身，可容納用戶達50人以上;而實際容納規(guī)模可隨場地面積而增加。在體驗方面，“淘咖啡”對比亞馬遜超市毫不遜色，而且更加智能!

消費者進入淘咖啡的整個購物過程大致分為三個步驟，首先是進店，用戶首次進店需打開“手機淘寶app”，掃碼獲得電子入場碼，同時簽署數(shù)據(jù)使用、隱私保護聲明、支付寶代扣協(xié)議等條款，然后通過閘機，開始購物(注冊是首次消費時進行)。

接著是選購，用戶可在店內(nèi)拿起任何一件或者多件商品，或者在餐飲區(qū)點餐，這個過程與日常的購物并無二致。

最后是支付， 離店前，用戶必須經(jīng)過一道結(jié)算門 。它由兩道門組成，當?shù)谝坏篱T感應到用戶的離店需求時，它便會自動開啟;幾秒鐘后，第二道門將開啟，此時結(jié)算門已經(jīng)完成了扣款。然后，旁邊的提示器會說：支付寶共計扣款XX元，　然后你就可以瀟灑地離開了。

阿里的這套無人零售技術(shù)主要涉及三大核心技術(shù)，即生物特征自主感知和學習系統(tǒng)、結(jié)算意圖識別和交易系統(tǒng)及目標檢測與追蹤系統(tǒng)。

生物特征自主感知和學習系統(tǒng)主要解決在開放空間里對消費者身份的識別問題，將顧客的生物特征與淘寶ID進行綁定，以實現(xiàn)對顧客的身份確認。

結(jié)算意圖識別和交易系統(tǒng) ，如前文所言的結(jié)算門，它是由兩道門組成，對商品的識別過程就是在這兩道門之間完成的，阿里的這套系統(tǒng)究竟是通過RFID技術(shù)還是機器視覺識別來完成對商品識別的，目前謎底還未揭曉，但是機器視覺識別的可能性更大一些。

目標檢測與追蹤系統(tǒng)則主要是追蹤消費者在店內(nèi)的行為及運動軌跡，該功能主要依賴多路監(jiān)控攝像頭。通過捕捉消費者的行為判斷其對特定商品的態(tài)度，或通過對諸多消費者在店內(nèi)的運動軌跡、或在特定貨架前的停留時間來指導商家調(diào)整貨品的陳列方式等。

阿里的淘咖啡與Amazon Go有非常相似支出，原來這主要歸咎于Amazon Go的研發(fā)負責人任小楓帶領(lǐng)團隊加入阿里的緣故了，所以淘咖啡相比于Amazo升級改進。

亞馬遜的Amazon Go

這場無人零售店的競賽，在2016年底由亞馬遜開出第一槍。當時，亞馬遜籌備4年后正式推出帶實驗性質(zhì)的Amazon Go，“拿了就走”是其核心賣點。盡管是個半成品，但無不體現(xiàn)黑科技范：消費者進門、選購、結(jié)算、離開全流程實現(xiàn)無人化操作。具體來說，亞馬遜的免結(jié)賬購物體驗利用了與無人駕駛汽車同樣類型的技術(shù)：計算機視覺、和深度學習。

Amazon Go 的商品擺設與普通零售店亦基本一致，主要銷售即食早餐、午餐和晚餐，以及每天新鮮的小點心。此外還包括面包、牛奶、手工奶酪和本地制作的巧克力等。

消費者在進入Amazon Go進行購物時首先需要一個亞馬遜帳號，并在自己的智能手機上安裝亞馬遜的應用軟件，用戶打開手機并進入商店后，在入口處會對顧客進行人臉識別，確認用戶身份。當消費者在貨架前停留并選擇商品時，攝像頭會捕捉并記錄顧客拿起或放下的商品，同時，置于貨架上的攝像頭會通過手勢識別判斷顧客是否將貨物置于購物籃還是只是看看然后放回原處。

對于用戶購物信息的統(tǒng)計，則是通過貨架上的、壓力感應裝置(確認哪些商品被取走)及荷載傳感器(用于記錄哪些商品被放回原處)，用戶所采購的商品數(shù)據(jù)會實時傳輸至 Amazon Go商店的信息中樞，不會有任何延遲，顧客付賬時直接離店就可，傳感器會掃描并記錄下消費者購買的商品，同時自動在消費者的賬戶上結(jié)算出相應的金額。

Amazon Go最大的亮點是顧客拿走或者放回物品的同時，用戶手機里的系統(tǒng)(該系統(tǒng)與Amazon Go商店的信息中樞無延遲地同步進行更新)會自動更新清單，然后用戶直接離開商店即可。

從技術(shù)上講，Amazon Go主要運用了機器視覺、深度學習算法和傳感器融合技術(shù)。據(jù)悉，早在2013年、2014年，亞馬遜就提交了兩份核心專利，即“偵測物體互動和移動”(Detecting item interaction and movement)和“物品從置物設備上的轉(zhuǎn)移”(Transitioning items from the materials handling facility)，現(xiàn)在看來，正是這兩項專利技術(shù)促成了Amazon Go的誕生。

一般而言，如果從顧客的角度來判斷購買行為顯然會非常復雜，但從貨架的角度來看就要簡單得多，此時的核心動作只有兩種，即拿走或放回，Amazon Go是如何做到的呢?首先貨架前的攝像頭會采集用戶手在進入貨架平面前的圖像，當用戶手在貨架上拿上商品離開時，此時的圖像亦會被采集，然后將兩次采集的圖像進行對比，判斷出用戶是拿出貨物還是放入貨物。

前述只探討了物品的拿出與放回，那么如何判斷被拿出或者放回的物品是什么呢?對被拿走的商品，可分兩種情況，即物品處于原本所在的位置上，此時商品直接被標識于系統(tǒng)中，只需利用傳感器即可感知到該物品被拿走;當商品與原本位置不一致時(通過圖像識別該位置與現(xiàn)有商品不一致時)，盡管Amazon Go系統(tǒng)會對錯放商品進行圖片對比檢索(與數(shù)據(jù)庫內(nèi)的圖片進行比較)識別，但Amazon Go此時往往無法很好地對商品進行識別，這是Amazon Go的一個BUG，當然出現(xiàn)這種情況時，Amazon Go會提醒工作人員將商品放回正確的位置了。

最后，Amazon Go內(nèi)的商品是如何實現(xiàn)與人關(guān)聯(lián)的?這就需要依靠室內(nèi)定位技術(shù)。Amazon Go定位依靠的是圖像分析以及音頻來實現(xiàn)的，首先通過店內(nèi)的攝像頭檢測用戶及其方位，同時商店貨架或者天花板內(nèi)的多個音頻根據(jù)各聲音時差分析出用戶的位置，此外，用戶手機的GPS以及WIFI信號亦能協(xié)助定位的實現(xiàn)。

需要說明的是，Amazon Go目前定位上存在一些技術(shù)問題，比如較多顧客擁擠在一個區(qū)域時，此時的圖像分析會對系統(tǒng)GPU形成高負荷，而其他定位技術(shù)亦會因精度問題導致誤差，此時定位的可靠性會大打折扣，這也是后續(xù)Amazon需要持續(xù)解決的問題。

據(jù)海外媒體報道，Amazon Go在2017年3月就打算在海外開店，但由于技術(shù)原因有所延遲。此外，該店無法在20人以上同時進入時保持正常工作，且無法識別出商品被放到錯誤的位置

宗慶后的Take go

一向在經(jīng)營理念上跟馬云有分歧的宗慶后，曾在2016年底央視的《對話》節(jié)目上放言稱，馬云的新零售就是胡說八道，把實體經(jīng)濟搞的亂七八糟。 對于宗慶后的批評，他的回應是：娃哈哈思想太保守，自以為是會被淘汰。

互懟之后，娃哈哈在6月25日，卻用行動展示了自己的“前衛(wèi)”。娃哈哈和人工智能企業(yè)深蘭科技簽訂了3年10萬臺、10年百萬臺TakeGo無人店協(xié)議，協(xié)議內(nèi)容主要圍繞深蘭科技的支付系統(tǒng)“快貓智能零售系統(tǒng)”，這項技術(shù)應用在終端無人售貨機上。宗澤后表示，在線下鋪自動售貨機是娃哈哈去年就有的計劃，預計投入金額為20億元。

深蘭科技的無人智能店快貓quiXmart 系統(tǒng)，應用了人工智能領(lǐng)域的前沿技術(shù)，實現(xiàn)了掃手進店、直接購物、拿了就走、無需結(jié)賬的無人店全智能化操作，整個過程不再有支付環(huán)節(jié)。TakeGo就像是亞馬遜去年12月展示的未來實體商店Amazon Go的中國版。

Take go系統(tǒng)之所以能實現(xiàn)“拿了就走”主要應用了卷積神經(jīng)網(wǎng)絡、Deep learning深度學習、機器視覺、生物識別、生物支付等人工智能領(lǐng)域前沿技術(shù)，這其中涉及兩個關(guān)鍵的技術(shù)，一個是生物識別技術(shù)，從take go的應用場景視頻中可以看到，顧客進入take go 無人店需要手掌按在生物識別讀寫器上，這個識別器不是掌紋或者指紋識別器，應該是靜脈識別器，靜脈識別技術(shù)要比指紋識別精確很多，也更大程度地避免了被冒用的可能性，很好地確保了用戶資金的安全性。

另外一個關(guān)鍵技術(shù)是基于深度學習(Deep learning)的卷積神經(jīng)網(wǎng)絡技術(shù)，該技術(shù)主要用于對整個無人零售店內(nèi)物品的監(jiān)測、識別與跟蹤，它可能是一系列技術(shù)的融合，包含了視頻/圖像識別技術(shù)、定位技術(shù)等。其中，對商品的識別是通過機器學習，然后對圖像進行識別，也就是說每次商店進貨新品類時，都需要對該商品進行機器學習，將該商品的一些特征數(shù)據(jù)信息記錄到數(shù)據(jù)庫中，然后圖像識別系統(tǒng)依據(jù)特征數(shù)據(jù)信息對該商品進行識別。

當顧客走進take go無人零售門店并拿起商品時，不管商品的位置是在顧客手上、懷中、口袋還是背包內(nèi)，系統(tǒng)都能監(jiān)測與識別，顧客離開商店時會收到對應的賬單，并被系統(tǒng)自動扣款。Take Go還有人店對話系統(tǒng)，通過定向聲源原理和算法，Take Go零售店還可以向顧客一對一進行語音產(chǎn)品推薦，根據(jù)顧客之前的購買記錄判斷出其喜好、偏向，向其推薦類似商品。

繽果盒子

歐尚、大潤發(fā)相繼在上海推出無人零售商店繽果盒子，一時之間，繽果盒子儼然成了零售業(yè)界的“超級網(wǎng)紅”，其背后的研發(fā)公司中山市賓哥網(wǎng)絡科技有限公司亦受到業(yè)界廣泛關(guān)注。

入口

繽果盒子的購物流程較為簡單，首先顧客進入商店需要掃描二維碼。用戶在商店內(nèi)選好商品后，需將商品整齊放置于收銀臺檢測區(qū)，然后，檢測臺邊上的顯示屏會自動顯示一個收費二維碼，用戶可以利用微信或者支付寶掃描二維碼即可完成付賬，然后離店即可。

收銀臺

繽果盒子采用的技術(shù)相對簡單，但可靠穩(wěn)定。繽果盒子主要采用了RFID技術(shù)、人臉識別技術(shù)等。店內(nèi)商品包裝上皆貼有RFID標簽，這就避免了像Amazon Go、take go那樣需要進行復雜的圖像識別過程，內(nèi)置的全視角視頻監(jiān)控，可有效震懾顧客在店內(nèi)的作弊行為(比如破壞商品、撕毀RFID標簽等)。

繽果盒子優(yōu)勢是減輕了對人的依賴，提升管理效率。據(jù)官方介紹，4個人可完成40個盒子的管理(盒子最大的SKU為800)，這個相對優(yōu)勢在Amazon Go及take go未被大規(guī)模普及前有其存在的合理性與必要性。

Wheelys

來自瑞典的初創(chuàng)公司W(wǎng)heelys在上海開設了一家無人零售商店，該商店主要由應用程序控制，首先，顧客需要在智能手機上安裝一個允許訪問該無人商店的應用，進入商店后，顧客只需要掃描想要購買貨物的條形碼，離店時可以使用信用卡支付。

該無人商店由 AI 控制——稱為“Hol”的全息商店助理，可幫助客戶進行購買或提供使用服務的說明。此外，無人店的屋頂還配備了 4 臺無人機，顧客可通過app訂購，無人機就會帶著商品送至你家(跟京東正在嘗試的送貨方式相當，但這個功能仍在測試中)。

防盜防損方面，該門店主要采用攝像機監(jiān)控+入店進行身份驗證，此外還有Wheelys公司的一些專利授權(quán)技術(shù)的加入，Wheelys公司的盈利大頭很可能就是向第三方零售商授權(quán)該技術(shù)，至于具體是何種技術(shù)，Wheelys公司并沒有透露更加詳細的信息。

Wheelys公司的這套無人商店技術(shù)同樣處于測試階段，Wheelys公司對一系列核心技術(shù)的遮遮掩掩，一定程度上也透露出該技術(shù)似乎并無太多亮點，能不能在國內(nèi)大范圍推廣尚未可知，況且國內(nèi)已有這么多的無人商店競爭者了。

小e微店等準無人超市

號稱企業(yè)員工“身邊的便利店”的小e微店，目前，其主要分布在高端寫字樓、科技園區(qū)等區(qū)域，其入口主要是官方app、微信公眾號及微信小程序，用戶通過上述入口掃描門店二維碼進入無人店，與此同時，實際上也完成了門店的定位，用戶選好商品后，用手機掃描商品的二維碼，進行結(jié)算支付，然后離開。

和小e微店相似的還有便利蜂等，都采用了低成本的二維碼解決方案，二者的購物流程也有頗為相似。

無人零售的技術(shù)難點

無人零售已成為線上線下商家的共同搶占的市場高地，而最終的勝利者必將是看誰先完全具備了先進成熟、穩(wěn)定可靠的技術(shù)體系，這里我們來關(guān)注一下無人零售的技術(shù)難點。

1、無人零售的核心問題

打造 無人零售商店最核心的是要解決“什么商品被誰怎么處理了”這個問題，需要處理的因素有5個：人、人的位置、商品、商品的位置、動作。

動作主要是通過商品與手或貨架的狀態(tài)來識別的，例如手進入或退出貨架的手勢、物品在手的狀態(tài)識別拿取或放回商品。

商品識別主要是通過初始狀態(tài)的選擇，中間狀態(tài)通過購物清單核對來縮小識別范圍，降低難度，同時通過雇員保證初始狀態(tài)不被破壞。

位置主要通過手機定位、定位和圖片定位，利用人體姿態(tài)識別可以很好的將動作定位到人。

對于超市而言，商品存在兩種狀態(tài)——賣掉或沒賣掉;對貨架而言，商品的狀態(tài)是在或不在;對顧客而言，商品的狀態(tài)是買或不買;對人的手而言，商品的狀態(tài)是在手或不在手，進一步簡化成拿起或放回。

它們的關(guān)系鏈如下表：

那么如何表示或測量這兩種狀態(tài)呢?用相機和都可以表示該狀態(tài)。

a、相機如何處理

在手進入貨架拿取商品前和拿取商品后，對手拍攝 1 組圖片，記為第一圖片和第二圖片，對貨架拍攝 1 組圖片，記為第三圖片和第四圖片。比較第一圖片和第二圖片的差異，此時需要利用到 CV 算法識別出膚色找到手，從而知道第一和第二圖片手勢的差異，識別握姿和舒展姿態(tài)，根據(jù)兩個姿態(tài)在第一第二圖片出現(xiàn)的順序可以判斷拿取還是放回。例如，第一圖片是握姿，第二圖片是舒展，即放回;第一圖片是舒展，第二圖片是握姿，即拿取。

隨后利用膚色找到手后，再識別第一第二圖片手邊緣的色差識別商品是否在手，根據(jù)前后順序可以判斷拿取或放回。例如，第一圖片手邊緣色差較淺，表示沒有商品，第二圖片手邊緣色差較深，表示有商品，即商品在手且是拿取過程。放回同理。

利用第三第四圖片，對貨架進行處理，同樣可以判斷拿取或放回。例如第四圖片比第三圖片多了一個或多個商品，那么就是放回;如果第四圖片比第三圖片少一個或多個商品就是拿取。

b、傳感器如何處理

對重來說，商品被拿取，商品減少，重量減少;商品被放回，商品增加，重量增加。所以重量數(shù)值變化可以表示拿取或放回。

對于紅外來說，在特定地方，商品被放回，紅外會被遮擋，商品被拿取，紅外不會被遮擋?？梢酝ㄟ^紅外遮擋狀態(tài)表示拿取或放回。

2、如何有效識別商品

商品的識別應該是難度最大的關(guān)鍵點之一。

在初始狀態(tài)，特定品類的商品被放在特定位置，由相機和傳感器偵測。對相機和傳感器而言，它們只需優(yōu)先識別少數(shù)且特定的商品類及數(shù)量。這個相對而言是簡單的。即使圖片無法識別，也可以根據(jù)重量識別和篩查。在品類擺放的時候可以選擇易區(qū)分的品類擺放一起，所有被拿取的商品記錄在顧客的購物清單里。

困難在中間狀態(tài)。由于顧客放回會破壞初始狀態(tài)，導致識別難度急劇上升。因為顧客可能放回任意商品，所以商品的識別范圍又擴大到無法解決的情況。

先討論放回后的最終狀態(tài)，一般分成 2 種：放回正確或錯誤。

對于放回正確，識別難度在初始狀態(tài)的水平。

對于放回錯誤，存在 3 種情況：放回錯誤但可識別;放回錯誤無法識別;放回錯誤且識別錯誤。

放回錯誤但可識別的情況是因為商品本身易通過圖像和重量識別，此種情況較少。大多數(shù)情況是放回錯誤且無法識別或識別錯誤。放回錯誤且無法識別的情況可以給用戶發(fā)送消息，讓用戶確認。識別錯誤的情況只能提高算法精度，同時調(diào)整判斷極限值，將部分識別錯誤的情況向無法識別裝換，同時及時通知雇員來整理回到初始狀態(tài)。

一般而言拿取商品后放回的情況較多，且不放回正確的位置情況也不少，其中放回錯誤且無法識別或識別錯誤又占大多數(shù)，放回錯誤但可識別是少數(shù)。總的來說無法識別和誤判比例不容忽視，甚至導致整個系統(tǒng)無法工作。

剛才說到，由于顧客放回商品，導致識別范圍擴大到所有商品，這是可以部分解決的。因為商品的每次放回都是基于顧客的前 N 次拿取，他放回的商品必須是之前拿取的商品，所以優(yōu)先識別顧客的購物清單即可，在這種情況下，識別難度又回到初始狀態(tài)相當?shù)乃健?/p>

3、如何知道動作發(fā)起者的身份?

將商品記錄到動作的發(fā)起者身上是一件較為復雜的工程。

識別人大體通過 2 種方式：身體特征或附帶物，例如人臉和手機。人臉識別的精度在室內(nèi)還在可接受范圍，幾乎可以當做唯一標識。手機也是一個人的唯一標識，通過判斷是誰的手機從而判斷顧客是誰。

4、如何匹配顧客 ID 與商品 ID?

要匹配顧客和商品的 ID，首先要確定人和商品的定位。

關(guān)于人的定位，可以用到追蹤系統(tǒng)。手機的 GPS、wifi、藍牙也可以提供較準確豐富的位置信息。

關(guān)于商品的定位，紅外、重量感應、相機、商品和貨架初始的問題都是已知的，可以推測出來。例如，通過隔板，將同類商品分在不同的網(wǎng)格種，每個網(wǎng)格對應不同的紅外或重量感應器，可以知道被拿取或放回商品的位置。

通過人和商品的位置匹配，連接了“什么商品”“被誰”兩個因素。

因為成本和技術(shù)問題，位置精度是一個很大的問題，再加上這個定位人和商品位置的方案本身的缺陷，顧客和商品的匹配誤差較大。例如，顧客 A 站在商品 A 前，顧客 B 站在商品 B 前，顧客 A 伸手去拿商品 B，這種情況系統(tǒng)是無法準確判斷的。當然可以由顧客確認，但是這僅僅是無力的補救措施。

之前有人提到過 Amazon Go 可能利用多角度的完整的人體姿態(tài)識別來定位匹配人—動作—商品的關(guān)系。這種方法的關(guān)鍵是攝像頭需要很好的視野和足夠的攝像頭。從宣傳視頻來看， Amazon Go 的貨架設計使得最低層和中間層是無法獲取足夠好的視野，可能的解決方式是依靠對面貨架和天花板的攝像頭。Amazon Go 的貨架構(gòu)造非常重要，只要再提供一份貨架結(jié)構(gòu)圖或者實物圖就可以進一步推測實施方案。貨架結(jié)構(gòu)包括是否每層都有設想頭，承載商品的承重面的形狀及尺寸，特殊開口和螺絲位置等。

5、總結(jié)

通過上述方法，難度沒有憑空想象的難，但是工程量不小。即使動作和商品識別能達到 100%，因為定位方案和精度問題，導致整體的識別存在一定的誤差，而使整個方案無法使用，或者只能部分依靠顧客協(xié)助實現(xiàn)。所以 Amazon Go 以及未來的其他無人零售店還只能在小部分范圍內(nèi)對特定人群使用，例如信用度較高的會員。

顯然，無人商店已成為全球零售業(yè)的新風口，甚至可說是全球零售業(yè)一個新的戰(zhàn)略高地，誰能夠在第一時間占據(jù)無疑會具備先發(fā)優(yōu)勢，這也是目前像亞馬遜、阿里巴巴這些巨頭涉足的最大原因，但它距真正全面落地尚需時日，技術(shù)是其最大的瓶頸!