Google:神經(jīng)網(wǎng)絡(luò)亟需最佳化硬件
Google資深研究員Jeff Dean強(qiáng)調(diào),硬件系統(tǒng)可針對(duì)執(zhí)行少量特定的作業(yè)實(shí)現(xiàn)優(yōu)化,并形成大量機(jī)器學(xué)習(xí)模型,從而打造更強(qiáng)大的神經(jīng)網(wǎng)絡(luò)…
本文引用地址:http://www.ex-cimer.com/article/201708/363578.htm如果您目前尚未考慮到如何有效利用深度神經(jīng)網(wǎng)絡(luò)(deep neural network)來(lái)解決您的問(wèn)題,那么您的腳步必須加快了。至少,根據(jù)Google資深研究員兼深度學(xué)習(xí)人工智能研究計(jì)劃(即Google Brain)主持人Jeff Dean是這么認(rèn)為的。
在日前于美國(guó)加州舉行的Hot Chips大會(huì)專(zhuān)題演講中,Dean介紹神經(jīng)網(wǎng)絡(luò)如何大幅改寫(xiě)運(yùn)算設(shè)備,并在語(yǔ)音、視覺(jué)、搜尋、機(jī)器人與醫(yī)療保健等領(lǐng)域取得重大的進(jìn)展。他強(qiáng)調(diào),硬件系統(tǒng)可針對(duì)執(zhí)行少量特定作業(yè)實(shí)現(xiàn)優(yōu)化,并形成大量的機(jī)器學(xué)習(xí)(machine learning)模型,從而打造更強(qiáng)大的神經(jīng)網(wǎng)絡(luò)。
Dean說(shuō):“針對(duì)神經(jīng)網(wǎng)絡(luò)具備的特性打造專(zhuān)用計(jì)算機(jī)極具意義。如果你能開(kāi)發(fā)出一套真正善于進(jìn)行特定作業(yè)(例如加速的低精度線(xiàn)性代數(shù))的系統(tǒng),那就是業(yè)界夢(mèng)寐以求的。”
針對(duì)美國(guó)國(guó)家工程院(National Academy of Engineering;NAE)于2008年提出的14項(xiàng)21世紀(jì)重大工程挑戰(zhàn),Dean認(rèn)為,透過(guò)神經(jīng)網(wǎng)絡(luò)可望在解決這些所有問(wèn)題時(shí)發(fā)揮重要作用。Dean在發(fā)表簡(jiǎn)報(bào)時(shí)特別著重于其中的五項(xiàng)挑戰(zhàn):恢復(fù)并改善城市建筑、推動(dòng)健康資訊工程進(jìn)展、更有效地用藥,以及人類(lèi)大腦的反向工程等。不過(guò),對(duì)于NAE重大挑戰(zhàn)清單中的最后一項(xiàng)——為科學(xué)探索打造工具,Dean卻保留了他的看法。
Dean表示:“人們已經(jīng)意識(shí)到我們需要更多的運(yùn)算能力,才能解決這種種的問(wèn)題。”
TPU Pods解決更大的問(wèn)題
Google最近開(kāi)始為其客戶(hù)和研究人員提供可經(jīng)由云端服務(wù)的第二代TensorFlow處理器單元(TPU)機(jī)器學(xué)習(xí)ASIC。這是一款客制化的加速器板,配備4個(gè)第二代裝置,據(jù)稱(chēng)可帶來(lái)180兆次浮點(diǎn)運(yùn)算(TFLOPS)運(yùn)算和64GB高帶寬內(nèi)存(HBM)的性能。
Dean表示,新的云端TPU芯片設(shè)計(jì)主要用于將彼此連接在一起,形成更大的配置——亦即被稱(chēng)為‘TPU Pod’的機(jī)器學(xué)習(xí)超級(jí)計(jì)算機(jī)。一個(gè)TPU Pod配置中包含64個(gè)第二代TPU,可提供11.5 petaflops以及 4TB的HBM內(nèi)存。他并補(bǔ)充說(shuō),Google還免費(fèi)提供了1,000個(gè)云端TPU給致力于開(kāi)放機(jī)器學(xué)習(xí)研究的頂尖研究人員。
Dean說(shuō):“我們對(duì)于TPU Pod解決更大問(wèn)題的可能性感到非常振奮。”
2015年,Google發(fā)表TensorFlow軟件庫(kù),為機(jī)器學(xué)習(xí)開(kāi)放來(lái)源,目標(biāo)就在于建立一個(gè)可用于表達(dá)與交換機(jī)器學(xué)習(xí)想法與系統(tǒng)的通用平臺(tái)。Dean并展示了一張圖表,顯示TensorFlow才剛過(guò)一年半,就已經(jīng)比其他具有類(lèi)似用途的庫(kù)更受歡迎。
Google第二代TPU
Dean表示,近五年來(lái)迅速出現(xiàn)的神經(jīng)網(wǎng)絡(luò),主要是受到過(guò)去20年來(lái)運(yùn)算能力的重大進(jìn)展而促成的。他并補(bǔ)充說(shuō)自己在1990年時(shí)還為此撰寫(xiě)了一篇有關(guān)神經(jīng)網(wǎng)絡(luò)的論文。他認(rèn)為,當(dāng)時(shí)的神經(jīng)網(wǎng)絡(luò)發(fā)展幾乎是可行的,但大約還需要更高60倍的運(yùn)算能力。
Dean說(shuō):“而今,事實(shí)證明,我們真正需要更高大約100萬(wàn)倍的運(yùn)算性能,而非60倍。”
評(píng)論