微軟亞洲研究院：NLP將迎來黃金十年

　　面向任務(wù)的對話系統(tǒng)比如微軟的小娜通過手機(jī)和智能設(shè)備讓人與電腦進(jìn)行交流，由人發(fā)布命令，小娜理解并完成任務(wù)。同時(shí)，小娜理解你的習(xí)慣，可主動給你一些貼心提示。而聊天機(jī)器人，比如微軟的小冰負(fù)責(zé)聊天。無論是小娜這種注重任務(wù)執(zhí)行的技術(shù)，還是小冰這種聊天系統(tǒng)，其實(shí)背后單元處理引擎無外乎三層技術(shù)：第一層，通用聊天機(jī)器人;第二層，搜索和問答(Infobot);第三層，面向特定任務(wù)對話系統(tǒng)(Bot)。

　　3、聊天系統(tǒng)的架構(gòu)

　　機(jī)器閱讀理解

　　自然語言理解的一個(gè)重要研究課題是閱讀理解。

　　閱讀理解就是讓電腦看一遍文章，針對這些文章問一些問題，看電腦能不能回答出來。機(jī)器閱讀理解技術(shù)有著廣闊的應(yīng)用前景。例如，在搜索引擎中，機(jī)器閱讀理解技術(shù)可以用來為用戶的搜索(尤其是問題型的查詢)提供更為智能的答案。我們通過對整個(gè)互聯(lián)網(wǎng)的文檔進(jìn)行閱讀理解，從而直接為用戶提供精確的答案。同時(shí)，這在移動場景的個(gè)人助理，如微軟小娜(Cortana)里也有直接的應(yīng)用：智能客服中可使用機(jī)器閱讀文本文檔(如用戶手冊、商品描述等)來自動或輔助客服來回答用戶的問題;在辦公領(lǐng)域可使用機(jī)器閱讀理解技術(shù)處理個(gè)人的郵件或者文檔，然后用自然語言查詢獲取相關(guān)的信息;在教育領(lǐng)域用來可以用來輔助出題;在法律領(lǐng)域可用來理解法律條款，輔助律師或者法官判案;在金融領(lǐng)域里從非結(jié)構(gòu)化的文本(比如新聞中)抽取金融相關(guān)的信息等。機(jī)器閱讀理解技術(shù)可形成一個(gè)通用能力，第三方可以基于它構(gòu)建更多的應(yīng)用。

　　斯坦福大學(xué)在 2016 年 7 月發(fā)布了一個(gè)大規(guī)模的用于評測閱讀理解技術(shù)的數(shù)據(jù)集(SQuAD)，包含 10 萬個(gè)由人工標(biāo)注的問題和答案。SQuAD 數(shù)據(jù)集中，文章片段(passage)來自維基百科的文章，每個(gè)文章片段(passage)由眾包方式，標(biāo)注人員提 5 個(gè)問題，并且要求問題的答案是 passage 中的一個(gè)子片段。標(biāo)注的數(shù)據(jù)被分成訓(xùn)練集和測試集。訓(xùn)練集公開發(fā)布用來訓(xùn)練閱讀理解系統(tǒng)，而測試集不公開。參賽者需要把開發(fā)的算法和模型提交到斯坦福由其運(yùn)行后把結(jié)果報(bào)在網(wǎng)站上。

　　一開始，以 100 分為例，人的水平是 82.3 左右，機(jī)器的水平只有 74 分，機(jī)器相差甚遠(yuǎn)。后來通過不斷改進(jìn)，機(jī)器閱讀理解性能得以逐步地提高。2018 年 1 月，微軟亞洲研究院提交的 R-Net 系統(tǒng)首次在 SQuAD 數(shù)據(jù)集上以 82.65 的精準(zhǔn)匹配的成績首次超越人類在這一指標(biāo)上的成績。隨后阿里巴巴、科大訊飛和哈工大的系統(tǒng)也在這一指標(biāo)上超越人類水平。標(biāo)志著閱讀理解技術(shù)進(jìn)入了一個(gè)新的階段。最近微軟亞洲研究院的 NL-Net 和谷歌的 BERT 系統(tǒng)又先后在模糊匹配指標(biāo)上突破人類水平。對于閱讀理解技術(shù)的推動，除了 SQuAD 數(shù)據(jù)集起到了關(guān)鍵作用之外，還有如下三個(gè)方的因素：首先，是端到端的深度神經(jīng)網(wǎng)絡(luò)。其次，是預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò);最后，是系統(tǒng)和網(wǎng)絡(luò)結(jié)構(gòu)上的不斷創(chuàng)新。

　　4、機(jī)器創(chuàng)作

　　機(jī)器可以做很多理性的東西，也可以做出一些創(chuàng)造性的東西。

　　早在 2005 年，微軟亞洲研究院在時(shí)任院長沈向洋的提議和支持下成功研發(fā)了《微軟對聯(lián)》系統(tǒng)。用戶出上聯(lián)，電腦對出下聯(lián)和橫批，語句非常工整。

　　在此基礎(chǔ)上，我們又先后開發(fā)了格律詩和猜字謎的智能系統(tǒng)。在字謎游戲里，用戶給出謎面，讓系統(tǒng)猜出字，或系統(tǒng)給出謎面讓用戶猜出字。2017 年微軟研究院開發(fā)了電腦寫自由體詩系統(tǒng)、作詞譜曲系統(tǒng)。中央電視臺《機(jī)智過人》節(jié)目就曾播放過微軟的電腦作詞譜曲與人類選手進(jìn)行詞曲創(chuàng)作比拼的內(nèi)容。這件事說明如果有大數(shù)據(jù)，那么深度學(xué)習(xí)就可以模擬人類的創(chuàng)造智能，也可以幫助專家產(chǎn)生更好的想法。

　　就作詞來說，寫一首歌詞首先要決定主題。比如想寫一首與“秋”，“歲月”，“滄?！?，“感嘆”相關(guān)的歌，利用詞向量表示技術(shù)，可知“秋風(fēng)”、“流年”、“歲月”、“變遷”等詞語比較相關(guān)，通過擴(kuò)展主題可以約束生成的結(jié)果偏向人們想要的歌詞，接著在主題模型的約束下用序列到序列的神經(jīng)網(wǎng)絡(luò)，用歌詞的上一句去生成下一句，如果是第一句，則用一個(gè)特殊的序列作為輸入去生成第一句歌詞，這樣循環(huán)生成歌詞的每一句。

　　下面也簡介一下譜曲。為一首詞譜曲不單要考慮旋律是否好聽，也要考慮曲與詞是否對應(yīng)。這類似于一個(gè)翻譯過程。不過這個(gè)翻譯中的對應(yīng)關(guān)系比自然語言翻譯更為嚴(yán)格。它需嚴(yán)格規(guī)定每一個(gè)音符對應(yīng)到歌詞中的每一個(gè)字。例如每一句有 N 個(gè)字，那么就需要將這句話對應(yīng)的曲切分成 N 個(gè)部分，然后順序完成對應(yīng)關(guān)系。這樣在“翻譯”過程中要“翻譯”出合理的曲譜，還要給出曲與詞之間的對應(yīng)關(guān)系。我們利用了一個(gè)改進(jìn)的序列到序列的神經(jīng)網(wǎng)絡(luò)模型，完成從歌詞“翻譯”到曲譜的生成過程。