微軟麻將AI來(lái)了！第一波人類高手已經(jīng)被打爆

內(nèi)功修煉到了十段，微軟打算讓Suphx出來(lái)走兩步。

今年6月，由微軟亞洲研究院開(kāi)發(fā)的麻將AI系統(tǒng)Suphx成為首個(gè)在國(guó)際專業(yè)麻將平臺(tái)“天鳳”上榮升十段的AI系統(tǒng)，這是目前AI系統(tǒng)在麻將領(lǐng)域取得的最好成績(jī)，其實(shí)力超越該平臺(tái)公開(kāi)房間頂級(jí)人類選手的平均水平。

今天，微軟首次對(duì)外正式披露了該項(xiàng)目的詳細(xì)進(jìn)展，這個(gè)項(xiàng)目由微軟亞洲研究院副院長(zhǎng)劉鐵巖帶隊(duì)的四人團(tuán)隊(duì)組成，用時(shí)一年，成績(jī)顯著。

大家可能有很多疑問(wèn)，麻將AI和我們熟知的圍棋AI有哪些不同？都是人工智能那誰(shuí)更厲害？麻將AI又能做什么？網(wǎng)易智能同微軟團(tuán)隊(duì)進(jìn)行了深入的交流。

他們?yōu)槭裁催x擇麻將！

實(shí)際上，打造麻將AI要比打造已經(jīng)壓制人類的谷歌圍棋AI難度更大。因?yàn)槿绻菄?，棋局信息是公開(kāi)的，但對(duì)于麻將而言，有太多的隱藏信息，并且有更多的隨機(jī)性。

換句話講，麻將這類非完美信息游戲，與圍棋、象棋等完美信息游戲相比，對(duì)人工智能來(lái)說(shuō)具有更大的挑戰(zhàn)性，如果說(shuō)圍棋的可觀測(cè)狀態(tài)信息是10的172次方，隱藏的不確定信息為0，那么，麻將的可觀測(cè)狀態(tài)信息則是10的121次方，可怕的是隱藏的不確定信息達(dá)到了10的48次方。

劉鐵巖向網(wǎng)易智能表示，我們生活的世界是由許許多多的隨機(jī)事件構(gòu)成的，而且在很多情況下，無(wú)法知曉的信息也許遠(yuǎn)多于我們能夠掌握的信息，而我們?nèi)匀灰谶@樣信息不完全的條件下做出大大小小的決策。

“AI在非完美信息游戲中的突破，將有助于協(xié)助人類應(yīng)對(duì)更多高度復(fù)雜的現(xiàn)實(shí)問(wèn)題，尤其是在智能交通、金融投資等容易受到隨機(jī)突發(fā)狀況影響的場(chǎng)景中“。他談到。

AI如何在天鳳“打怪升級(jí)”

據(jù)介紹，由于長(zhǎng)期在民間廣為流傳，不同地區(qū)的麻將玩法非常多樣，缺乏統(tǒng)一的規(guī)則標(biāo)準(zhǔn)和評(píng)價(jià)體系。日本在線麻將競(jìng)技平臺(tái)“天鳳”，因其完善的競(jìng)技規(guī)則、專業(yè)的段位體系，成為專業(yè)麻將平臺(tái)，受到職業(yè)麻將界的廣泛承認(rèn)。

劉鐵巖介紹，天鳳平臺(tái)為高水平麻將玩家提供兩種競(jìng)技房間：“特上房”對(duì)四段以上所有玩家免費(fèi)開(kāi)放，允許AI參與游戲，目前所有玩家在此房間的最高段位是十段；

“鳳凰房”僅對(duì)七段以上的人類付費(fèi)玩家開(kāi)放，目前不允許AI參與游戲，在該房間能夠達(dá)到的最高段位是十一段，稱為“天鳳位”。自天鳳平臺(tái)在2006年推出以來(lái)，全平臺(tái)達(dá)到四人麻將天鳳位的麻將高手僅有13位[JL1] ，曾經(jīng)達(dá)到過(guò)十段的選手約有180位，而現(xiàn)役十段的人類選手也僅有十幾位。

而微軟亞洲研究院開(kāi)發(fā)的麻將AI系統(tǒng)Suphx于3月登陸天鳳平臺(tái)，在AI能夠參與的公開(kāi)競(jìng)技房“特上房”，Suphx與人類選手展開(kāi)了5000余場(chǎng)四人麻將對(duì)局，在這5000余場(chǎng)對(duì)局中，Suphx的穩(wěn)定段位超過(guò)了8.7。

劉鐵巖透露，他們也在和天鳳平臺(tái)探討，以怎樣的方式讓Suphx進(jìn)入還不允許AI參與的鳳凰房。

麻將AI到底難在哪？

與象棋、圍棋、德州撲克等棋牌類游戲相比，麻將具有更復(fù)雜的隱藏信息和更高的難度。

總體而言，微軟亞洲研究院將麻將AI面臨的挑戰(zhàn)總結(jié)為以下三點(diǎn)：

首先，巨大的狀態(tài)空間：與只有52張牌的德州撲克相比，136張麻將牌的排列組合可能性更多。同時(shí)，麻將中同一個(gè)玩家兩次出牌之間，夾雜了其他三個(gè)玩家的出牌和自己摸的底牌，可能出現(xiàn)的不同局面數(shù)目非常巨大。值得特別指出的是，在麻將中，4位玩家的出牌順序是不固定的，任意一位玩家的“吃碰杠”都可能使出牌順序突然改變，導(dǎo)致游戲樹(shù)不規(guī)則、且動(dòng)態(tài)變化。這些特點(diǎn)使麻將很難直接利用AlphaGo等棋盤(pán)游戲AI常用的蒙特卡洛樹(shù)搜索算法。

其次，非完美信息博弈：象棋和圍棋屬于完美信息游戲，玩家可以看到棋局中對(duì)方玩家的落子。麻將則存在大量的隱藏信息。具體而言，麻將中每個(gè)玩家可以有13張手牌，另外還有84張底牌。對(duì)于一個(gè)玩家而言，他只知道自己手里的13張牌和之前已經(jīng)打出來(lái)的牌，卻無(wú)法知道別人的手牌和沒(méi)有翻出來(lái)的底牌，所以最多可以有超過(guò)120張未知的牌[JL2] 。這么多的未知信息使得麻將的難度非常高。一方面，由于隨機(jī)性太大，玩家即便在出牌決策中估計(jì)對(duì)方玩家手牌、底牌等不可見(jiàn)的牌，也無(wú)法避免不確定性對(duì)于游戲走向的影響。這將對(duì)AI模型的訓(xùn)練帶來(lái)很大挑戰(zhàn)：AI模型很難發(fā)現(xiàn)已知牌面信息和最優(yōu)打法之間的邏輯鏈路。另一方面，豐富的隱藏信息導(dǎo)致游戲樹(shù)的寬度非常大，對(duì)樹(shù)搜索算法的可行性提出了進(jìn)一步的挑戰(zhàn)。

其三，復(fù)雜的獎(jiǎng)勵(lì)機(jī)制：日本麻將的規(guī)則是“無(wú)役不能和牌”，多樣的特殊牌面構(gòu)成了復(fù)雜的“役種”和番數(shù)計(jì)算規(guī)則。一輪游戲共包含8局，單局得分與役種和番數(shù)相關(guān)，最后根據(jù)8局的得分總和進(jìn)行排名，來(lái)形成最終影響段位的點(diǎn)數(shù)獎(jiǎng)懲。因此有時(shí)麻將高手會(huì)策略性輸牌，例如，在第8輪時(shí)如果A玩家已經(jīng)大比分領(lǐng)先第二名，他可能會(huì)故意放炮給排名第四的玩家，來(lái)防止總分被排名第二的玩家反超，保證自己在最終結(jié)算時(shí)獲得最大的點(diǎn)數(shù)獎(jiǎng)勵(lì)。這為構(gòu)建高超的麻將AI策略帶來(lái)了額外的挑戰(zhàn)，AI需要審時(shí)度勢(shì)，把握進(jìn)攻與防守的時(shí)機(jī)。

三大技術(shù)見(jiàn)招拆招

 “面對(duì)麻將游戲的巨大挑戰(zhàn)，AI僅靠強(qiáng)大的計(jì)算力無(wú)法從根本上解決問(wèn)題，而需要更強(qiáng)的直覺(jué)、預(yù)測(cè)、推理和模糊決策能力，“微軟亞洲研究院副院長(zhǎng)、機(jī)器學(xué)習(xí)領(lǐng)域負(fù)責(zé)人劉鐵巖博士表示。他們的主要技術(shù)應(yīng)用可以概況為先知教練、全盤(pán)預(yù)測(cè)、自適應(yīng)決策。

據(jù)了解，微軟亞洲研究院針對(duì)麻將的特點(diǎn)與難點(diǎn)嘗試了一系列基于強(qiáng)化學(xué)習(xí)的新算法，比如，為了應(yīng)對(duì)巨大的狀態(tài)空間，研究團(tuán)隊(duì)引入了全新的機(jī)制對(duì)探索過(guò)程的多樣性進(jìn)行動(dòng)態(tài)調(diào)控，讓Suphx可以比傳統(tǒng)算法更加充分地試探牌局狀態(tài)的不同可能；另一方面，一旦某一輪的底牌給定，其狀態(tài)子空間會(huì)大幅縮小；所以研究團(tuán)隊(duì)讓Suphx在推理階段根據(jù)本輪的牌局來(lái)動(dòng)態(tài)調(diào)整策略，對(duì)縮小了的狀態(tài)子空間進(jìn)行更有針對(duì)性的探索，從而更好地根據(jù)本輪牌局的演進(jìn)做出自適應(yīng)的決策。

其次，針對(duì)非完美信息博弈的挑戰(zhàn)，Suphx嘗試了先知教練技術(shù)來(lái)提升強(qiáng)化學(xué)習(xí)的效果。其基本思想是在自我博弈的訓(xùn)練階段利用不可見(jiàn)的一些隱藏信息來(lái)引導(dǎo)AI模型的訓(xùn)練方向，使其學(xué)習(xí)路徑更加清晰、更加接近完美信息意義下的最優(yōu)路徑，從而倒逼AI模型更加深入地理解可見(jiàn)信息，從中找到有效的決策依據(jù)。

另外，對(duì)于麻將復(fù)雜的牌面表達(dá)和計(jì)分機(jī)制，研究團(tuán)隊(duì)還利用全盤(pán)預(yù)測(cè)技術(shù)搭建起每輪比賽和8輪過(guò)后的終盤(pán)結(jié)果之間的橋梁。可以讓AI理解每輪比賽對(duì)終盤(pán)的不同貢獻(xiàn)，從而將終盤(pán)的獎(jiǎng)勵(lì)信號(hào)合理地分配回每一輪比賽之中，以便對(duì)自我博弈的過(guò)程進(jìn)行更加直接而有效的指導(dǎo)，并使得Suphx可以學(xué)會(huì)一些具有大局觀的高級(jí)技巧。