DeepMind與Waymo合作提高AI精度 加速模型訓(xùn)練

據(jù)美國科技媒體Venturebeat報道，谷歌的兩家兄弟公司——Waymo與DeepMind正在合作。他們最近在一篇博客文章中透露，雙方共同開發(fā)受進化生物啟發(fā)的技術(shù)。

Waymo解釋說，AI算法通過反復(fù)試驗和試錯來自我改進。模型被賦予一個任務(wù)，需要通過根據(jù)其收到的反饋，持續(xù)嘗試和調(diào)整，來學(xué)習(xí)如何完成任務(wù)。任務(wù)的完成情況很大程度上取決于訓(xùn)練的方案，而尋找最合適的訓(xùn)練方案經(jīng)常是經(jīng)驗豐富的研究人員和工程師的工作。他們精心挑選接受培訓(xùn)的AI模型，剔除表現(xiàn)最差的模型并釋放資源，從零開始訓(xùn)練新算法。

DeepMind在PBT（基于人口的訓(xùn)練）中設(shè)計了一種勞動密集度較低的方法，該方法從隨機變量（超參數(shù)）生成的多個機器學(xué)習(xí)模型開始。模型定期進行評估，并以進化的方式互相競爭，從而表現(xiàn)不佳的模型會被“后代”取代（具有微量變異變量的表現(xiàn)更好的模型的副本）。PBT不需要從零開始重新訓(xùn)練，因為每個后代都會繼承父網(wǎng)絡(luò)的狀態(tài)，并且整個訓(xùn)練過程中會積極更新超參數(shù)。最終結(jié)果是，PBT可以將其大量資源用于訓(xùn)練“好的”超參數(shù)值。

PBT并不完美——它傾向于優(yōu)化當(dāng)前，但并不考慮長期結(jié)果，這就不利于后期發(fā)展的AI模型。為了緩解這種情況，DeepMind的研究人員培訓(xùn)了大量模型（“人口”）并創(chuàng)建稱為“利基”的子人口，其中算法只會跟他們自己子群中的模型競爭。

在最近數(shù)項研究中，DeepMind和Waymo已嘗試將PBT應(yīng)用于行人、自行車和摩托車的識別任務(wù)，目的是調(diào)查算法是否進一步提升。最終，兩家公司希望訓(xùn)練處一個AI模型，可以保持99%以上的總體障礙物識別率，并減少誤報。

Waymo表示，這些實驗為評估真實世界模型的穩(wěn)健性提供了一個“現(xiàn)實的”框架，這反過來又為PBT的算法選擇競爭提供了依據(jù)。他們還稱，實驗還反應(yīng)了用快速評估支持進化競爭的需求；PBT模型可以每15分鐘評估一次。

結(jié)果令人印象深刻。Waymo表示，PBT算法可以實現(xiàn)更好的精度，與手工調(diào)整的等效物相比，誤報率可以減少24%，而識別率仍舊維持在較高水平。此外，PBT算法還可以節(jié)省時間和資源。

Waymo稱，其已經(jīng)將PBT直接納入Waymo的技術(shù)基礎(chǔ)架構(gòu)，使得公司的研究人員都可以通過點擊按鈕來應(yīng)用該算法。公司在博客中寫道：“PBT可以讓我們超越用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)的更新規(guī)則，并向著能夠優(yōu)化我們需要之功能的復(fù)雜指標(biāo)?！?/p>