70美元為第五代樹(shù)莓派添加AI套件

第五代樹(shù)莓派（RPi 5）有個(gè)特點(diǎn)，那就是具備PCI Express（PCIe）2.0接口，不過(guò)樹(shù)莓派基金會(huì)在設(shè)計(jì)RPi 5時(shí)希望維持電路板的嬌小特點(diǎn)，沒(méi)有使用一般計(jì)算機(jī)上已普遍使用的標(biāo)準(zhǔn)PCIe插槽，而是改用一個(gè)專屬連接器，透過(guò)該連接器再行轉(zhuǎn)接。

圖一 : 樹(shù)莓派AI套件的硬件為一個(gè)PCIe對(duì)M.2界面的轉(zhuǎn)接器及一張M.2接口的模塊子卡（圖片來(lái)源：樹(shù)莓派官網(wǎng)）

70美元的AI套件
一般認(rèn)為該P(yáng)CIe接口會(huì)用來(lái)連接固態(tài)硬盤(pán)，畢竟RPi 5效能大幅提升，持續(xù)使用microSD記憶卡當(dāng)硬盤(pán)實(shí)在委屈，不過(guò)既然是PCIe接口就有各種連接可能，而近期（英國(guó)時(shí)間6月4日）基金會(huì)就發(fā)表了一個(gè)70美元的人工智能（AI）套件，該套件附有一個(gè)轉(zhuǎn)接器，將RPi 5特有PCIe連接器轉(zhuǎn)成M.2界面，這稱之為Raspberry Pi M.2 HAT+（注1），然后再與M.2接口的AI推論加速模塊子卡連接，讓RPi 5系統(tǒng)獲得AI推論的硬件加速能力。

注1：Raspberry Pi M.2 HAT+也有單獨(dú)出售，筆者查詢了美國(guó)DigiKey約12美元，主要設(shè)想還是用來(lái)連接M.2接口固態(tài)硬盤(pán)。
AI套件的重點(diǎn)是在模塊子卡，該子卡上有一顆以色列新創(chuàng)公司Hailo的AI推論硬件加速芯片Hailo-8L，實(shí)際上是該公司過(guò)去Hailo-8芯片的降規(guī)版，Hailo-8的推論效率約為26TOPS（8位整數(shù)精度而言），而Hailo-8L則降至13TOPS，芯片功耗也從2.5瓦降到1.5瓦。


 
圖二 : 模塊子卡上主要是一顆以色列Hailo公司的Hailo-8L推論加速芯片（圖片來(lái)源：樹(shù)莓派官網(wǎng)）

為何會(huì)有降規(guī)版芯片？對(duì)此筆者只能推測(cè)，有可能是客戶反應(yīng)有些AI推論應(yīng)用不需要到26TOPS那么高的效能，如此何不推出一個(gè)更平價(jià)、更省電的版本給客戶？或者可能芯片生產(chǎn)上有若干良率問(wèn)題，若僅少部份電路壞損就讓整顆芯片報(bào)廢也有些可惜，在主功能無(wú)大礙下是可以改要求低規(guī)、低價(jià)版。
除了Hailo-8、Hailo-8L外，Hailo公司也有Hailo-8R芯片、針對(duì)AI視覺(jué)應(yīng)用特別強(qiáng)化的Hailo-15芯片，甚至針對(duì)生成式AI應(yīng)用而推出Hailo-10H芯片。
雖然是用以色列芯片，但這是基金會(huì)官方自己推行的AI硬件套件，并且標(biāo)榜無(wú)論是不是使用基金會(huì)官方的攝影機(jī)AI套件都可以支持運(yùn)作，一顆Hailo-8L芯片在一個(gè)攝影機(jī)下同時(shí)支持多個(gè)視覺(jué)影像模型的推論，或者是兩個(gè)攝影機(jī)下同時(shí)支持一個(gè)模型或多個(gè)模型的推論。


 
圖三 : 先搭裝上轉(zhuǎn)接器，而后在轉(zhuǎn)接器上安裝模塊子卡（圖片來(lái)源：樹(shù)莓派官網(wǎng)）

除了硬件芯片外套件里另一個(gè)重點(diǎn)是軟件，Hailo公司隨Hailo-8L芯片提供豐富的預(yù)訓(xùn)練模型可供運(yùn)用，一堆預(yù)訓(xùn)練模型的集合也稱為模型動(dòng)物園（Model Zoo）；同時(shí)基金會(huì)官方也針對(duì)攝影機(jī)應(yīng)用提供rpicam-apps suite的軟件套餐，里頭有實(shí)時(shí)攝影機(jī)推論的后處理范本（post-processing template）可用；或者也有Hailo公司的TAPPAS的后處理函式庫(kù)可用。有了這些只要再行撰寫(xiě)幾百行C++程序代碼就可以實(shí)現(xiàn)一個(gè)AI計(jì)算機(jī)視覺(jué)應(yīng)用，而這些軟件整合很快也會(huì)套用到樹(shù)莓派官方的Picamera2上。
不僅是rpicam-apps或Picamera2，AI套件也能用在其他框架上，如GStreamer框架，或者供Python、C++撰寫(xiě)成的應(yīng)用程序以API呼叫方式取用。另外上述這些軟件的安裝也很方便，使用Debian Linux常見(jiàn)的應(yīng)用程序套件（package）安裝方式即可，即是用apt下達(dá)命令行安裝，安裝完重新啟動(dòng)RPi 5便可使用。


 
圖四 : Hailo公司針對(duì)其芯片提供完整的軟件支持，如Hailo模型動(dòng)物園、TAPPAS范例應(yīng)用程序，另外也包含編譯程序、運(yùn)行時(shí)間的軟件等（圖片來(lái)源：Hailo官網(wǎng)）

小結(jié)
最后，不知道基金會(huì)是只推行一款硬件AI套件，還是未來(lái)會(huì)廣泛推出不同芯片商的套件，畢竟現(xiàn)在Edge AI的推論芯片相當(dāng)多廠商投入。但也可能怕創(chuàng)客眼花撩亂、選擇無(wú)力，短期內(nèi)只讓創(chuàng)客用戶熟悉一款軟硬件，而集中心力推Hailo方案。
無(wú)論基金會(huì)態(tài)度如何，既然在官方已如此示范，估計(jì)會(huì)有許多協(xié)力商推出類似方案，一樣透過(guò)M.2接口介接加速芯片，且讓我們拭目以待。