利用汽車微控制器上的邊緣AI檢測駕駛條件

高級駕駛員輔助系統(tǒng) (ADAS) 能夠檢測車輛運(yùn)動和道路狀況，這種解決方案可以提醒駕駛員路面不平坦或是車輛正在發(fā)生側(cè)滑，從而提升車內(nèi)外人員的安全性。這種靈活的AutoDevKit系統(tǒng)解決方案套件 (AEKD-AICAR1) 基于在SPC58 C系列汽車微控制器上運(yùn)行的長短時(shí)期記憶單元 (LSTM) 遞歸神經(jīng)網(wǎng)絡(luò) (RNN)。

為駕駛模式部署邊緣AI——TinyML如何轉(zhuǎn)變駕駛狀態(tài)檢測？

根據(jù)最新研究，對于希望創(chuàng)造終極駕駛體驗(yàn)的汽車制造商來說，駕駛模式可能是新的埃爾多拉多（西班牙語“理想國度“的意思）。在2021年發(fā)表的一篇論文中，研究人員表明，某些駕駛模式會使在高速公路上行駛的電動汽車的耗電量增加15%至30%。

根據(jù)J.D.Power 2023年的一項(xiàng)研究，由于消費(fèi)者仍然存在續(xù)航里程焦慮，如果在最佳續(xù)航條件下能夠?qū)㈦姵貕勖岣呒s三分之一可以顯著提高客戶滿意度。駕駛模式還需要應(yīng)對潮濕、結(jié)冰或雪地等危險(xiǎn)條件做出調(diào)整，以提供更安全的駕駛。問題是，在模式之間切換需要駕駛員手動選擇適當(dāng)?shù)脑O(shè)置。

駕駛模式太好了！為什么它們不能是自動的？

本質(zhì)上，駕駛模式代表了旨在創(chuàng)造或強(qiáng)調(diào)特定駕駛體驗(yàn)的各種傳動系配置，例如通過修改轉(zhuǎn)向系統(tǒng)的響應(yīng)、懸架的靈活性或再生制動的積極性，該系統(tǒng)將創(chuàng)造截然不同的駕駛體驗(yàn)，以專注于特定目標(biāo)。

傳統(tǒng)的Eco模式降低響應(yīng)能力并改變傳動比以優(yōu)先考慮節(jié)能，而Comfort模式則調(diào)整懸架以更多地吸收顛簸。相反，運(yùn)動模式確保了強(qiáng)大的油門、更重的轉(zhuǎn)向和更嚴(yán)厲的懸架，使駕駛員體驗(yàn)到更接近比賽而非巡航的體驗(yàn)。

汽車制造商不會自動從一種模式轉(zhuǎn)換到另一種模式，因?yàn)椴煌Ｊ街g形成了鮮明的對比，自動切換模式可能會嚇到司機(jī)。然而，除非在人煙稀少的高速公路上一次性長時(shí)間行駛，否則駕駛條件很少是一致的。通常情況下，用戶會體驗(yàn)到緩慢的交通，這將需要Eco模式；然后是一個正在進(jìn)行的顛簸區(qū)域，這將非常適合舒適模式；再然后需要快速加速才能擺脫靜止?fàn)顟B(tài)，這將在返回Eco之前從短時(shí)間的運(yùn)動模式中受益匪淺。這甚至還不包括天氣的突然變化。雪地模式調(diào)整變速器，降低油門響應(yīng)，以降低功率和扭矩。其目的是通過保護(hù)駕駛員免受惡劣天氣和自身的影響，防止汽車被卡住。該系統(tǒng)通過減緩響應(yīng)并強(qiáng)制更穩(wěn)定的加速，即使駕駛員突然踩下油門，也能限制車輪進(jìn)入雪地的風(fēng)險(xiǎn)。

然而，高度關(guān)注道路的駕駛員不應(yīng)該考慮切換駕駛模式。隨著天氣的突然變化，汽車應(yīng)該幫助用戶專注于周圍環(huán)境，而不是通過模式和設(shè)置來分散他們的注意力。

為機(jī)器學(xué)習(xí)和ST量身定制的問題

這個問題的解決方案可能在于機(jī)器學(xué)習(xí)。由于有了無數(shù)的傳感器，汽車能夠比任何人都更準(zhǔn)確地檢測道路、天氣和其他情況。事實(shí)上，車輛在管理濕滑或危險(xiǎn)條件方面非常精確和精明，幾十年來，牽引力控制和防抱死制動系統(tǒng)等功能一直是強(qiáng)制性的。 系統(tǒng)也變得如此智能，牽引力控制可以在正常情況下幫助駕駛員避免轉(zhuǎn)彎時(shí)轉(zhuǎn)向不足或轉(zhuǎn)向過度。因此，使用機(jī)器學(xué)習(xí)來檢測路況并自動選擇最佳模式是多年來塑造汽車創(chuàng)新的自然演變。

然而，建立一個自動駕駛模式系統(tǒng)和道路檢測機(jī)制可能具有挑戰(zhàn)性，工程師們經(jīng)常想知道他們從哪里開始。ST首款機(jī)器學(xué)習(xí)解決方案，可識別四種汽車狀態(tài)：停車、正常路況、顛簸路面、打滑或轉(zhuǎn)彎。以下是三個簡單的步驟，可以讓項(xiàng)目走上正軌，并減少向市場發(fā)布產(chǎn)品所需的時(shí)間。

步驟1 獲取AEKD-AICAR1套件

創(chuàng)建一個機(jī)器學(xué)習(xí)應(yīng)用程序似乎是一項(xiàng)艱巨的任務(wù)。當(dāng)團(tuán)隊(duì)考慮在微控制器上收集數(shù)據(jù)、訓(xùn)練神經(jīng)網(wǎng)絡(luò)和實(shí)現(xiàn)算法時(shí)，甚至在第一次概念驗(yàn)證之前，他們就會氣餒。

小公司甚至可能沒有數(shù)據(jù)科學(xué)家，也沒有處理神經(jīng)網(wǎng)絡(luò)的專業(yè)知識。因此，我們發(fā)布了AEKD-AICAR1評估試劑盒，以揭開這一過程早期階段的神秘面紗。

線束包括AEK-CON-SENSOR1連接器板和AIS2DW12三軸加速計(jì)。主板本身裝有SPC58EC Chorus微控制器，帶有4 MB閃存，并配有預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)。簡單地說，AEKD-AICAR1傳感器節(jié)點(diǎn)套件具備開發(fā)人員開始使用機(jī)器學(xué)習(xí)應(yīng)用程序所需的一切。

我們甚至提供了一個顯示器來顯示代表汽車狀態(tài)的簡單UI，以確保團(tuán)隊(duì)能夠更容易地演示他們的概念驗(yàn)證。還有一個設(shè)置，用一個典型的12V電池或八個AA電池為整個系統(tǒng)供電，以提高整體移動性。

步驟2 使用ST的軟件生態(tài)系統(tǒng)

開箱即用，預(yù)先訓(xùn)練的神經(jīng)網(wǎng)絡(luò)可以識別四種狀態(tài)：正常道路、顛簸道路、打滑和停車。此外，還可以將這些狀態(tài)與其他情況結(jié)合起來，如在正常道路上打滑、在顛簸道路上打滑，在發(fā)動機(jī)打開的情況下停車或在發(fā)動機(jī)關(guān)閉的情況下泊車。

顯然，我們使用了一小組訓(xùn)練數(shù)據(jù)，因?yàn)樵搼?yīng)用程序僅用于演示目的。然而，盡管一開始可用的訓(xùn)練數(shù)據(jù)非常有限，但我們獲得了94%的成功率，僅在一些附加條件下存在問題。簡單地說，團(tuán)隊(duì)已經(jīng)可以想象他們可以用更多的信息和復(fù)雜的算法來完成什么。

要開始測試模型，開發(fā)人員只需獲取AutoDevKit Studio和SPC5-Studio-AI插件，這將使他們能夠?qū)胱盍餍械纳疃葘W(xué)習(xí)框架，如Keras和TensorFlow Lite。ST插件甚至可以驗(yàn)證神經(jīng)網(wǎng)絡(luò)，并可以在微控制器上模擬其性能，讓開發(fā)人員了解所需的內(nèi)存占用和推理時(shí)間。

盡管這一步驟很重要，但無論團(tuán)隊(duì)的專業(yè)知識水平如何，它尤其可以幫助經(jīng)驗(yàn)較少的工程師。在邊緣進(jìn)行機(jī)器學(xué)習(xí)時(shí)，很容易高估RAM或計(jì)算吞吐量要求。我們的工具可以幫助更快地準(zhǔn)確了解應(yīng)用程序的硬件需求。

步驟3 測試并完善您的應(yīng)用程序

下一步是將AEKD-AICAR1放置在駕駛員側(cè)的地板上，朝向車輛前部，以測試算法并獲取更多數(shù)據(jù)。事實(shí)上，這復(fù)制了真實(shí)世界的性能，可以收集更多信息。因此，工程師們并不是簡單地設(shè)計(jì)一種更智能的駕駛狀態(tài)檢測，而是同時(shí)完善它。

隨著團(tuán)隊(duì)從加速度計(jì)或連接到套件的其他傳感器收集更多數(shù)據(jù)，就有可能準(zhǔn)確檢測更多路況，從而為真正智能的駕駛模式選擇打開大門。我們的用戶手冊甚至提供了Python腳本和Google Colab的簡介，因此即使是那些在數(shù)據(jù)科學(xué)方面幾乎沒有經(jīng)驗(yàn)的人也可以開始使用。

把握市場先機(jī)

遵循這三個步驟將有助于團(tuán)隊(duì)在正確的軌道上起步。開發(fā)人員仍然需要優(yōu)化他們的解決方案，并找到一條使其具有競爭力的市場之路。然而，ST不僅提供支持，而且還提供了一個完整的合作伙伴計(jì)劃，該計(jì)劃由具有專業(yè)知識的公司組成，為客戶提供獨(dú)特的優(yōu)勢。簡單地說，問題不在于機(jī)器學(xué)習(xí)是否會自動選擇駕駛模式和檢測路況，而在于誰將是第一個實(shí)現(xiàn)它的人。