解析谷歌大腦的深度學(xué)習(xí)及TensorFlow的前世今生
加入技術(shù)交流群
編者網(wǎng)按：本文是Google Brain負(fù)責(zé)人Jeff Dean在硅谷人工智能前沿論壇AI FronTIers的演講。
本文引用地址：http://www.ex-cimer.com/article/201710/365509.htm在深度學(xué)習(xí)的歷史上，神經(jīng)網(wǎng)絡(luò)的方法在1980-1990年之后開(kāi)始明顯地發(fā)揮效力，在數(shù)據(jù)量、計(jì)算力的推動(dòng)下，用深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的方法使得我們?cè)谘芯亢烷_(kāi)發(fā)上獲得了比其它方法更高的準(zhǔn)確率（在圖像、語(yǔ)音等領(lǐng)域）。在2011年之前，深度學(xué)習(xí)的方法能達(dá)到的圖像誤識(shí)率都是26%，而在今天這個(gè)數(shù)字超過(guò)了人類的誤識(shí)率（5%），達(dá)到了3%。在Google今天的產(chǎn)品線中深度學(xué)習(xí)的方法使用非常廣泛，包括Android平臺(tái)、各類App中、藥物研究、Gmail等等。
Google Brain團(tuán)隊(duì)目前有什么樣的成果：
在研究方面，有27個(gè)paper在各種頂級(jí)會(huì)議中發(fā)表；
推動(dòng)Google搜索、廣告、相冊(cè)、翻譯、Gmail等產(chǎn)品線的整合優(yōu)化；
發(fā)布TensorFlow等在社區(qū)中高度流行的開(kāi)源工具。
談到TensorFlow的開(kāi)發(fā)，我們最初的出發(fā)點(diǎn)是需要?jiǎng)?chuàng)建一個(gè)合適的深度學(xué)習(xí)工具。
這個(gè)工具需要滿足下面的幾個(gè)條件：
1. 適合于機(jī)器學(xué)習(xí)思考和算法的表達(dá)；
2. 運(yùn)行效率高，能夠快速地試驗(yàn)想法；
3. 兼容性好，實(shí)驗(yàn)?zāi)茉诓煌脚_(tái)上運(yùn)行；
4. 可在不同環(huán)境下分享和重現(xiàn)研究的問(wèn)題；
5. 適合產(chǎn)品化：能很快從研究階段過(guò)渡到產(chǎn)品應(yīng)用階段；
總結(jié)一下TF的目標(biāo)就是建立一個(gè)針對(duì)機(jī)器學(xué)習(xí)方面的思考快速實(shí)驗(yàn)的通用系統(tǒng)，并且確保這個(gè)系統(tǒng)既是針對(duì)研究也是對(duì)產(chǎn)品化最好的系統(tǒng)。最后，這個(gè)系統(tǒng)不僅是Google的，而且開(kāi)源的，屬于平臺(tái)上每一個(gè)人。
在2015年11月9日，我們發(fā)布了TensorFlow的最初版本，而目前我們已經(jīng)取得了這樣的成果：
1. TF當(dāng)前有500+的代碼貢獻(xiàn)者；
2. 從發(fā)布至今，一共有12000次+的代碼提交；
3. 100萬(wàn)以上的代碼庫(kù)下載；
4. 大量的學(xué)校和商業(yè)機(jī)構(gòu)將他們的研究和開(kāi)發(fā)工作搭建在TF之上（伯克利、斯坦福、OpenAI、Snapchat）。
我們?cè)谲浻布脚_(tái)的支持上也不斷更新。數(shù)據(jù)顯示，我們已經(jīng)是GitHub上最受到歡迎的深度學(xué)習(xí)工具。
深度學(xué)習(xí)在Google產(chǎn)生了哪些重要的影響？
在語(yǔ)音識(shí)別上，我們推動(dòng)詞語(yǔ)識(shí)別的錯(cuò)誤率降低了至少30%；
深度卷積神經(jīng)網(wǎng)絡(luò)使得直接對(duì)未標(biāo)記的照片進(jìn)行搜索成為可能；
我們用深度學(xué)習(xí)的方法，在街景照片中抓取識(shí)別文字；
同樣用深度學(xué)習(xí)的方法，在衛(wèi)星俯瞰圖中檢索太陽(yáng)能的屋頂；
在醫(yī)療影像中，使用視網(wǎng)膜影像進(jìn)行糖尿病的診斷；
機(jī)器人們現(xiàn)在能通過(guò)機(jī)器學(xué)習(xí)的方法進(jìn)行環(huán)境和語(yǔ)義理解；
RankBrian甚至被用于Google搜索中的排名優(yōu)化；
在Inbox中，我們通過(guò)語(yǔ)義分析自動(dòng)化地推薦可能的回復(fù)結(jié)果，當(dāng)前Inbox中10%的回復(fù)都是通過(guò)推薦生成發(fā)送的；
在機(jī)器學(xué)習(xí)的其它方面：
在過(guò)去很的的模型都是從零開(kāi)始訓(xùn)練獲得的，這是非常低效的。我們專門針對(duì)深度學(xué)習(xí)設(shè)計(jì)的硬件的TPU，將在未來(lái)20個(gè)月后進(jìn)入大規(guī)模量產(chǎn)的階段。
在我們的設(shè)想里，未來(lái)的搜索請(qǐng)求可能是這樣的：請(qǐng)幫我查找所有關(guān)于深度學(xué)習(xí)和機(jī)器人的文獻(xiàn)，并用德文總結(jié)出來(lái)。
我認(rèn)為未來(lái)3 - 5年內(nèi)，通過(guò)語(yǔ)音識(shí)別、語(yǔ)義理解的發(fā)展，機(jī)器人/自動(dòng)駕駛汽車將會(huì)變得產(chǎn)業(yè)內(nèi)非常重要的領(lǐng)域。
PS：附PPT+文字版本。
在深度學(xué)習(xí)的歷史上，神經(jīng)網(wǎng)絡(luò)的方法在1980-1990年之后開(kāi)始明顯地發(fā)揮效力，在數(shù)據(jù)量、計(jì)算力的推動(dòng)下，用深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的方法使得我們?cè)谘芯亢烷_(kāi)發(fā)上獲得了比其它方法更高的準(zhǔn)確率（在圖像、語(yǔ)音等領(lǐng)域）。
在2011年之前，深度學(xué)習(xí)的方法能達(dá)到的圖像誤識(shí)率都是26%，而在今天這個(gè)數(shù)字超過(guò)了人類的誤識(shí)率（5%），達(dá)到了3%。
Google Brain團(tuán)隊(duì)目前有什么樣的成果：
在研究方面，有27個(gè)paper在各種頂級(jí)會(huì)議中發(fā)表；
推動(dòng)Google搜索、廣告、相冊(cè)、翻譯、Gmail等產(chǎn)品線的整合優(yōu)化；
發(fā)布TensorFlow等在社區(qū)中高度流行的開(kāi)源工具。談到TensorFlow的開(kāi)發(fā)，我們最初的出發(fā)點(diǎn)是需要?jiǎng)?chuàng)建一個(gè)合適的深度學(xué)習(xí)工具。
這個(gè)工具需要滿足下面的幾個(gè)條件：
適合于機(jī)器學(xué)習(xí)思考和算法的表達(dá)；
運(yùn)行效率高，能夠快速地試驗(yàn)想法；
兼容性好，實(shí)驗(yàn)?zāi)茉诓煌脚_(tái)上運(yùn)行；
可在不同環(huán)境下分享和重現(xiàn)研究的問(wèn)題；
適合產(chǎn)品化：能很快從研究階段過(guò)渡到產(chǎn)品應(yīng)用階段；
總結(jié)一下TF的目標(biāo)就是建立一個(gè)針對(duì)機(jī)器學(xué)習(xí)方面的思考快速實(shí)驗(yàn)的通用系統(tǒng)，并且確保這個(gè)系統(tǒng)既是針對(duì)研究也是對(duì)產(chǎn)品化最好的系統(tǒng)。最后，這個(gè)系統(tǒng)不僅是Google的，而且開(kāi)源的，屬于平臺(tái)上每一個(gè)人。
在2015年11月9日，我們發(fā)布了TensorFlow的最初版本，而目前我們已經(jīng)取得了這樣的成果：
TF當(dāng)前有500+的代碼貢獻(xiàn)者；
從發(fā)布至今，一共有12000次+的代碼提交；
100萬(wàn)以上的代碼庫(kù)下載；
大量的學(xué)校和商業(yè)機(jī)構(gòu)將他們的研究和開(kāi)發(fā)工作搭建在TF之上（伯克利、斯坦福、OpenAI、Snapchat）。
我們?cè)谲浻布脚_(tái)的支持上也不斷更新。數(shù)據(jù)顯示，我們已經(jīng)是GitHub上最受到歡迎的深度學(xué)習(xí)工具。
深度學(xué)習(xí)在Google產(chǎn)生了哪些重要的影響？
在語(yǔ)音識(shí)別上，我們推動(dòng)詞語(yǔ)識(shí)別的錯(cuò)誤率降低了至少30%；
深度卷積神經(jīng)網(wǎng)絡(luò)使得直接對(duì)未標(biāo)記的照片進(jìn)行搜索成為可能；
我們用深度學(xué)習(xí)的方法，在街景照片中抓取識(shí)別文字；
同樣用深度學(xué)習(xí)的方法，在衛(wèi)星俯瞰圖中檢索太陽(yáng)能的屋頂；
在醫(yī)療影像中，使用視網(wǎng)膜影像進(jìn)行糖尿病的診斷；
機(jī)器人們現(xiàn)在能通過(guò)機(jī)器學(xué)習(xí)的方法進(jìn)行環(huán)境和語(yǔ)義理解；RankBrian甚至被用于Google搜索中的排名優(yōu)化；
在Inbox中，我們通過(guò)語(yǔ)義分析自動(dòng)化地推薦可能的回復(fù)結(jié)果，當(dāng)前Inbox中10%的回復(fù)都是通過(guò)推薦生成發(fā)送的；
在機(jī)器學(xué)習(xí)的其它方面：
在過(guò)去很的的模型都是從零開(kāi)始訓(xùn)練獲得的，這是非常低效的。我們希望通過(guò)xxx的方法來(lái)解決這個(gè)問(wèn)題；我們的TPU將在，20個(gè)月之后進(jìn)入大規(guī)模量產(chǎn)的階段。
在我們的設(shè)想里，未來(lái)的搜索請(qǐng)求可能是這樣的：請(qǐng)幫我查找所有關(guān)于深度學(xué)習(xí)和機(jī)器人的文獻(xiàn)，并用德文總結(jié)出來(lái)。
我認(rèn)為未來(lái)3 - 5年內(nèi)，通過(guò)語(yǔ)音識(shí)別、語(yǔ)義理解的發(fā)展，機(jī)器人/自動(dòng)駕駛汽車將會(huì)變得產(chǎn)業(yè)內(nèi)非常重要的領(lǐng)域。
評(píng)論