IBM展示10倍速GPU機器學(xué)習(xí)，處理30GB訓(xùn)練數(shù)據(jù)只要1分鐘

　　IBM研究院與瑞士洛桑聯(lián)邦理工學(xué)院共同于2017 NIPS Conference發(fā)表大數(shù)據(jù)機器學(xué)習(xí)解決方案，此方法可以利用GPU在一分鐘內(nèi)處理完30GB的訓(xùn)練數(shù)據(jù)集，是現(xiàn)存有限內(nèi)存訓(xùn)練方法的10倍。

　　研究團隊表示，機器訓(xùn)練在大數(shù)據(jù)時代遇到的挑戰(zhàn)是動輒TB等級起跳的訓(xùn)練數(shù)據(jù)，這是常見卻又棘手的問題，或許一臺有足夠內(nèi)存容量的服務(wù)器，就能將所有訓(xùn)練數(shù)據(jù)都加載內(nèi)存中進行運算，但是仍要花費數(shù)小時，甚至是數(shù)周。

　　他們認(rèn)為，目前如GPU等特殊的運算硬件，的確能有效加速運算，但僅限于運算密集的工作，而非數(shù)據(jù)密集的任務(wù)。 如果想要善用GPU運算密集的優(yōu)勢，便需要把數(shù)據(jù)預(yù)先加載到GPU內(nèi)存，而目前GPU內(nèi)存的容量最多只有16GB，對于機器學(xué)習(xí)實作來說并不算寬裕。

　　批次作業(yè)看似是一個可行的方法，將訓(xùn)練數(shù)據(jù)切分成一塊一塊，并且依造順序加載至GPU做模型訓(xùn)練，不過經(jīng)實驗發(fā)現(xiàn)，從CPU將數(shù)據(jù)搬移進GPU的傳輸成本，完全蓋過將數(shù)據(jù)放進GPU高速運算所帶來的好處。 ，IBM研究員Celestine Dünner表示，在GPU做機器學(xué)習(xí)最大的挑戰(zhàn)，就是不能把所有的數(shù)據(jù)都丟進內(nèi)存里面。

　　為了解決這樣的問題，研究團隊開發(fā)為訓(xùn)練數(shù)據(jù)集標(biāo)記重要性的技術(shù)，因此訓(xùn)練只使用重要的數(shù)據(jù)，那多數(shù)不必要的數(shù)據(jù)就不需要送進GPU，藉此大大節(jié)省訓(xùn)練的時間。 像是要訓(xùn)練分辨狗與貓圖片的模型，一旦模型發(fā)現(xiàn)貓跟狗的差異之一為貓耳必定比狗小，系統(tǒng)將保留這項特征，在往后的訓(xùn)練模型中都不再重復(fù)回顧這個特征，因此模型的訓(xùn)練會越來越快。 IBM研究員Thomas Parnell表示，這樣的特性便于更頻繁的訓(xùn)練模型，也能更及時的調(diào)整模型。

　　這個技術(shù)是用來衡量每個數(shù)據(jù)點對學(xué)習(xí)算法的貢獻(xiàn)有多少，主要利用二元差距的概念并及時影響調(diào)整訓(xùn)練算法。 將這個方法實際應(yīng)用，研究團隊在異質(zhì)平臺(Heterogeneous compute platforms)上，為機器學(xué)習(xí)訓(xùn)練模型開發(fā)了一個全新可重復(fù)使用的組件DuHL，專為二元差距的異質(zhì)學(xué)習(xí)之用。

　　IBM表示，他們的下一個目標(biāo)是在云端上提供DuHL，因為目前云端GPU服務(wù)的計費單位是小時，如果訓(xùn)練模型的時間從十小時縮短為一小時，那成本節(jié)省將非常驚人。

　　(上圖)圖中顯示了三種算法所需的時間，包含DuHL在大規(guī)模的支持向量機的表現(xiàn)，所使用的數(shù)據(jù)集都為30GB的ImageNet數(shù)據(jù)庫，硬件為內(nèi)存8GB的NVIDIA Quadro M4000 GPU， 圖中可以發(fā)現(xiàn)GPU序列批次的效率，甚至比單純CPU的方法還要糟，而DuHL的速度為其他兩種方法的10倍以上。