一文讀懂深度學(xué)習(xí)中的熱點(diǎn)問題

　　2012年多倫多大學(xué)的研究人員首次使用深度學(xué)習(xí)在ImageNet大規(guī)模視覺識別挑戰(zhàn)賽中獲勝，深度學(xué)習(xí)漸漸被人們所熟知。而對于AI行業(yè)的從業(yè)者來說，深度學(xué)習(xí)下的計(jì)算機(jī)視覺，是使計(jì)算機(jī)能夠理解圖像背景的一門重要學(xué)科，也是人工智能中最具挑戰(zhàn)性的領(lǐng)域之一。目前，國內(nèi)計(jì)算機(jī)視覺飛速發(fā)展，有了曠視科技face++、商湯科技、極鏈科技Video++等優(yōu)質(zhì)企業(yè)。那么，深度學(xué)習(xí)究竟是什么呢?本文將詳細(xì)的解釋當(dāng)前深度學(xué)習(xí)下的兩個(gè)熱點(diǎn)問題。

　　深度學(xué)習(xí)這一想法本身并不新穎，早在1959年就被討論過。當(dāng)時(shí)受限于算法、硬件水平及數(shù)據(jù)量的限制，沒有得到很好的發(fā)展。近60年，隨著硬件水平的不斷提升，數(shù)據(jù)量的爆炸式增長，深度學(xué)習(xí)再一次煥發(fā)出勃勃生機(jī)，并展現(xiàn)出優(yōu)異的性能。

　　而計(jì)算機(jī)視覺領(lǐng)域中關(guān)鍵的深度學(xué)習(xí)，也成為了被關(guān)注的焦點(diǎn)。人工神經(jīng)網(wǎng)絡(luò)的概念是深度學(xué)習(xí)算法的主要組成部分，已經(jīng)存在數(shù)十年，第一個(gè)神經(jīng)網(wǎng)絡(luò)可以追溯到20世紀(jì)50年代。由于數(shù)十年的研究以及數(shù)據(jù)和計(jì)算資源的可用性，深度學(xué)習(xí)的概念已經(jīng)從實(shí)驗(yàn)室走出并進(jìn)入實(shí)際領(lǐng)域。

　　那么深度學(xué)習(xí)和機(jī)器學(xué)習(xí)是一回事么?

　　深度學(xué)習(xí)是一個(gè)非常復(fù)雜的計(jì)算機(jī)科學(xué)領(lǐng)域，它涉及許多高級數(shù)學(xué)概念。但在過去幾年中，學(xué)術(shù)界已經(jīng)創(chuàng)建了大量的工具和庫來抽象出潛在的復(fù)雜性，并使你能夠無須解決過多的數(shù)學(xué)問題來開發(fā)深度學(xué)習(xí)模型。

　　深度學(xué)習(xí)和機(jī)器學(xué)習(xí)并不相同，深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)子集。通常，機(jī)器學(xué)習(xí)適用于基于訓(xùn)練數(shù)據(jù)模型和行為規(guī)則的所有技術(shù)，ML技術(shù)已經(jīng)投入生產(chǎn)使用了很長時(shí)間。在深度學(xué)習(xí)之前，科學(xué)家們必須在編寫“功能”或模塊方面投入大量精力，這些功能可以執(zhí)行模型想要執(zhí)行的任務(wù)的一小部分。例如，如果你想要?jiǎng)?chuàng)建一個(gè)可以檢測物體的AI模型，你將編寫一段程序來檢測這個(gè)物體的特征，而且必須使這些程序足夠強(qiáng)大，以便從不同角度和不同光照條件下檢測這些特征，并告訴不同的物體之間的差異。經(jīng)過以上這些操作后，你才可以在這些基礎(chǔ)上進(jìn)行基礎(chǔ)學(xué)習(xí)。

　　深度學(xué)習(xí)是科學(xué)的嗎?

　　盡管深度學(xué)習(xí)過程可以用數(shù)學(xué)符號描述，但這個(gè)過程本身是不科學(xué)的。深度學(xué)習(xí)就像一個(gè)黑匣子，我們無法理解這個(gè)系統(tǒng)是如何理解處理特征并完成相關(guān)任務(wù)的。

　　以卷積操作舉例，正如TensorFlow手冊中所說，卷積層發(fā)現(xiàn)相關(guān)性。許多草葉通常代表一個(gè)草坪，在TensorFlow中，系統(tǒng)會花費(fèi)大量時(shí)間來發(fā)現(xiàn)這些相關(guān)性。一旦發(fā)現(xiàn)了某些相關(guān)性，這種關(guān)聯(lián)會導(dǎo)致模型中某些權(quán)重的調(diào)整，從而使得特征提取正確。但從本質(zhì)上來說，所有的相關(guān)性開始時(shí)對于模型來說都被遺忘了，必須在每次前向傳播和梯度下降的過程中來重新發(fā)現(xiàn)。這種系統(tǒng)實(shí)際上是從錯(cuò)誤中吸取教訓(xùn)，即模型輸出與理想輸出之間的誤差。

　　前向和反向傳播過程對圖像理解有一定的意義，有些人在文本上使用了相同的算法。幸運(yùn)的是，針對于文本任務(wù)而言，有更加高效的算法。首先，我們可以使用大腦突觸或編程語言中的常規(guī)指針或?qū)ο笠蔑@式地表示所發(fā)現(xiàn)的相關(guān)性，神經(jīng)元與神經(jīng)元之間有關(guān)聯(lián)。

　　所以說，無論是深度學(xué)習(xí)算法，還是有機(jī)學(xué)習(xí)，都不能說是科學(xué)的。它們在缺乏證據(jù)并信任相關(guān)性的前提下得出結(jié)論，而不堅(jiān)持可證明的因果關(guān)系。大多數(shù)深層神經(jīng)網(wǎng)絡(luò)編程很難得到理想結(jié)果并存在一定的誤差，只能通過從實(shí)驗(yàn)結(jié)果中發(fā)現(xiàn)線索來改進(jìn)模型。增加網(wǎng)絡(luò)層數(shù)不總是有效的，對于大多數(shù)深度神經(jīng)網(wǎng)絡(luò)從業(yè)者而言，根據(jù)實(shí)驗(yàn)結(jié)果來調(diào)整改進(jìn)網(wǎng)絡(luò)就是他們的日常工作。沒有先驗(yàn)?zāi)Ｐ?，就沒有先驗(yàn)估計(jì)。任何深層神經(jīng)網(wǎng)絡(luò)可靠性和正確性的最佳估計(jì)，都是經(jīng)過大量的實(shí)驗(yàn)得到。