谷歌AI負(fù)責(zé)人Jeff Dean：一文回顧谷歌的2018技術(shù)進(jìn)展

　　自然語言理解

　　2018年，Google的自然語言研究在基礎(chǔ)研究和以產(chǎn)品為中心的合作上都取得了非常棒的成果。我們在之前的機(jī)器學(xué)習(xí)模型基礎(chǔ)上開發(fā)了一個(gè)新的并行版本的模型 Universal Transformer，它在包括翻譯和語言推理在內(nèi)的許多自然語言任務(wù)中都顯示出強(qiáng)大的技術(shù)能力。

　　我們還開發(fā)了BERT，這是第一個(gè)深度雙向，無監(jiān)督的自然語言處理模型，僅使用純文本語料庫進(jìn)行預(yù)訓(xùn)練，就能使用遷移學(xué)習(xí)對各種自然語言任務(wù)進(jìn)行微調(diào)。

　　感知

　　我們的感知研究解決了允許計(jì)算機(jī)理解圖像，聲音以及為圖像獲取、壓縮、處理，創(chuàng)造性表達(dá)和增強(qiáng)現(xiàn)實(shí)提供更強(qiáng)大工具的難題。

　　Google AI使命的一個(gè)關(guān)鍵是讓其他人能夠從我們的技術(shù)中受益，今年我們在改進(jìn)作為Google API一部分的功能和構(gòu)建塊方面取得了很大進(jìn)展。比如通過ML Kit 在Cloud ML API和面部相關(guān)設(shè)備構(gòu)建塊中實(shí)現(xiàn)視覺和視頻的改進(jìn)和新功能。

　　MobileNetV2是谷歌的下一代移動(dòng)計(jì)算機(jī)視覺模型，我們的MobileNets廣泛應(yīng)用于學(xué)術(shù)界和工業(yè)界。MorphNet提出了一種有效的方法來學(xué)習(xí)深層網(wǎng)絡(luò)的結(jié)構(gòu)，從而在計(jì)算資源有限的同時(shí)，改進(jìn)圖像和音頻模型上的性能。

　　計(jì)算攝影

　　手機(jī)拍照性能的提升不僅僅在于物理傳感器的改進(jìn)，更大部分要?dú)w咎于計(jì)算攝影技術(shù)的發(fā)展。

　　我們的計(jì)算攝影技術(shù)正在與Google的Android和消費(fèi)者硬件團(tuán)隊(duì)密切合作，將這項(xiàng)研究交付給最新的Pixel和Android手機(jī)及其他設(shè)備。2014年，我們推出了HDR +，可以在軟件中對齊幀，并將它們與計(jì)算軟件結(jié)合，使圖片具有比單次曝光更高的動(dòng)態(tài)范圍。這是2018年我們能夠在Pixel 2中開發(fā)Motion Photos，以及Motion Stills中開發(fā)增強(qiáng)現(xiàn)實(shí)模式的基礎(chǔ)。

　　今年，我們在計(jì)算攝影研究方面的主要工作之一就是創(chuàng)造一種名為Night Sight的新功能，即便在沒有閃光燈的情況下，也能讓Pixel用戶在非?；璋档膱鼍爸信某銮逦恼掌?。

　　算法和理論

　　在過去的一年中，我們的研究涵蓋從理論基礎(chǔ)到應(yīng)用算法，從圖形挖掘到隱私保護(hù)計(jì)算等廣泛領(lǐng)域。我們在優(yōu)化方面的工作涉及從研究機(jī)器學(xué)習(xí)的持續(xù)優(yōu)化到分布式組合優(yōu)化的領(lǐng)域。在前一領(lǐng)域，我們研究用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)的隨機(jī)優(yōu)化算法的收斂性(其贏得了ICLR 2018最佳論文獎(jiǎng))，展示了流行的基于梯度的優(yōu)化方法(例如ADAM的一些變體)的問題，為新的基于梯度的優(yōu)化方法提供了堅(jiān)實(shí)的基礎(chǔ)。

　　軟件系統(tǒng)

　　我們對軟件系統(tǒng)的大部分研究仍然與構(gòu)建機(jī)器學(xué)習(xí)模型，尤其是TensorFlow有關(guān)。我們的一些新研究引入了Mesh TensorFlow，這使得用模型并行性指定大規(guī)模分布式計(jì)算變得容易。另外，我們還使用TensorFlow發(fā)布了一個(gè)可擴(kuò)展的深度神經(jīng)排序庫。

　　另一個(gè)重要的研究方向是將ML應(yīng)用于軟件系統(tǒng)的堆棧層面。在安全漏洞問題方面，我們的編譯器研究團(tuán)隊(duì)將他們用于測量機(jī)器指令延遲和端口壓力的工具集成到LLVM中，從而可以做出更好的編譯決策。