學(xué)貫中西(4)：AI的時序性推論技能

1   復(fù)習(xí)：ML的智慧表達(dá)形式

上一期說明了人工智能（AI）（ML，機(jī)器學(xué)習(xí)）的推論技能，和其基于事物或現(xiàn)象之間的關(guān)聯(lián)性( 或稱相關(guān)性)。例如，大家都熟悉氣候的運(yùn)行規(guī)律：春暖 → 夏暑 → 秋涼 → 冬寒 → 春暖 → …。四季更替、周而復(fù)始，如圖1 所示。這項(xiàng)人類已知的智慧( 即關(guān)聯(lián)性)，就可以讓機(jī)器( 計(jì)算機(jī)) 來學(xué)習(xí)、記憶它，然后依據(jù)它進(jìn)行推論或預(yù)測。

圖1 四季更替規(guī)律

于是，我們把這項(xiàng)關(guān)聯(lián)性( 知識) 排列在Excel 畫面上，從X 對應(yīng)到Y(jié)( 參見圖2)。在上一期里已經(jīng)介紹過獨(dú)熱編碼(OHE，One-Hot Encoding)，這樣就可以讓機(jī)器來學(xué)習(xí)人類已知的智慧了。

圖2 四季的關(guān)聯(lián)性示意

此時， 機(jī)器會建立兩組神經(jīng)元之間的連結(jié)(Connection)，并且賦予一個權(quán)重(Weight) 值來表示它所學(xué)習(xí)到的關(guān)聯(lián)性，參見圖3。接下來，按下“學(xué)習(xí)”按鈕，就展開機(jī)器學(xué)習(xí)，來記春暖([1000]) 與夏暑([0100])之間的相生關(guān)系。于是權(quán)重( 值) 就會發(fā)生變化，如圖4 所示。

圖3 學(xué)習(xí)的關(guān)聯(lián)性

圖4 里的線條寬度表示權(quán)重( 值) 的大小。這樣就記住了春暖與夏暑之間的關(guān)聯(lián)性了。那么，ML 就藉此神經(jīng)網(wǎng)絡(luò)就繼續(xù)學(xué)習(xí)更多關(guān)聯(lián)性，例如學(xué)習(xí)并記住了上述的所有關(guān)聯(lián)性了，如圖5 所示。并且輸出于Excel 畫面上，如圖6 所示。

圖4 權(quán)重值的變化

圖5 機(jī)器學(xué)習(xí)的關(guān)聯(lián)性變化

圖6 權(quán)重的變化關(guān)聯(lián)

以上幫您復(fù)習(xí)了，如何展開機(jī)器學(xué)習(xí)，來記住事物之間的關(guān)聯(lián)性。

2   擴(kuò)大：欣賞ML的時序性推論技能

在本節(jié)里，來舉大家也熟悉的唐詩韻律，說明其時序性的關(guān)聯(lián)性。例如，最典型的五言詩韻律：“仄仄平平仄， 平平仄仄平”。其中具有時間順序性的關(guān)聯(lián)性，所以稱之為韻律。此韻律里包含兩項(xiàng)名目：“平”和“仄”。于是就采取OHE 編碼：以^[10] 代表“平”；并以[01]代表“仄”。接下來，我們可以觀察到其中的各種時間順序性的關(guān)聯(lián)性。例如，從連續(xù)兩個字的韻律，就能推論出第3 個字的韻律( 平或仄)。例如，連續(xù)兩字的韻律是“仄仄”，其后續(xù)字的韻律是“平”。再如，連續(xù)兩字的韻律是“平仄”，其后續(xù)字的韻律是“仄”，如圖7 所示。

圖7 平仄推理的關(guān)聯(lián)性

于是，我們把上述的關(guān)聯(lián)性排列在Excel 畫面上，從X[] 對應(yīng)到Y(jié)[]。并且按下“學(xué)習(xí)”按鈕，機(jī)器就迅速學(xué)習(xí)，以權(quán)重值來表示其關(guān)聯(lián)性，如圖8 所示。

圖8 平仄權(quán)重的變化

這些權(quán)重代表這些相關(guān)事物的連結(jié)，如圖9 所示。ML 利用這個神經(jīng)網(wǎng)絡(luò)(NN) 模型，來記住其關(guān)聯(lián)性?；谶@個模型里的權(quán)重，就能進(jìn)行推論。例如，您問它：連續(xù)兩字的韻律是“平仄”的話，其后續(xù)字的韻律是什么呢? 此時，ML 立即取出記憶中的權(quán)重來計(jì)算，其計(jì)算公式是：X[] * W[] = Y[]。就計(jì)算出Y[] 值是：[0.5, 1.5]，最接近于[0, 1]，意味了是韻律“仄”，如圖10 所示。

圖9 權(quán)重關(guān)聯(lián)性示意

圖10 平仄權(quán)重關(guān)聯(lián)變化

由于“平仄仄”是有時序性的關(guān)聯(lián)，我們就稱之為時序性的推論。同樣地，一個句子“寒江雪”三個字之間也有時序性關(guān)聯(lián)。ML 也能利用神經(jīng)網(wǎng)絡(luò)(NN) 模型，來記住其關(guān)聯(lián)性。這句子里包含三項(xiàng)名目：“寒”、“江”和“雪”。于是就采取OHE 編碼：以 [100] 代表“寒”；以[010] 代表“江”；以[001] 代表“雪”。其中最基本的時序性關(guān)聯(lián)是：

●   第1 個字是“寒” → 后續(xù)的字是“江”；

●   第1 個字是“寒”，且第2 個字是“江” → 后續(xù)的字是“雪”。

于是，我們把上述的關(guān)聯(lián)性排列在Excel 畫面上，從X[] 對應(yīng)到Y(jié)[]。并且按下“學(xué)習(xí)”按鈕，機(jī)器就迅速學(xué)習(xí)，以權(quán)重值來表示其關(guān)聯(lián)性，如圖11 所示。

圖11 學(xué)習(xí)推論的示意

ML 學(xué)習(xí)完成了，就記住其關(guān)聯(lián)性，并能進(jìn)行推論。例如，按下“推論”按鈕，就出現(xiàn)“江”( 圖12)。再按下“推論”按鈕，就出現(xiàn)“雪”( 圖13)。

圖12 江字后的推論

圖13 雪字后的推論

這展現(xiàn)了ML 進(jìn)行時序性推論的技能。

3   一次學(xué)習(xí)多個語句

剛才學(xué)習(xí)了一個句子“寒江雪”。現(xiàn)在，可增添更多的語句，讓機(jī)器學(xué)習(xí)更多。例如，一次學(xué)習(xí)兩句子“寒江雪”和“江南曲”。ML 也能利用神經(jīng)網(wǎng)絡(luò)(NN)模型，來記住其關(guān)聯(lián)性。這兩個句子里包含5 項(xiàng)名目“寒”、“江”、“雪”、“南”和“曲”。分別給予一個OHE 編碼。其中最基本的時序性關(guān)聯(lián)是：

●   第1 個字是“寒” → 后續(xù)的字是“江”；

●   第1 個字是“寒”，且第2 個字是“江” → 后續(xù)的字是“雪”；

●   第1 個字是“江” → 后續(xù)的字是“南”；

●   第1 個字是“江”，且第2 個字是“南” → 后續(xù)的字是“曲”。

于是，我們把上述的關(guān)聯(lián)性排列在Excel 畫面上，從X[] 對應(yīng)到Y(jié)[]。并且按下“學(xué)習(xí)”按鈕，機(jī)器就迅速學(xué)習(xí)，以權(quán)重值來表示其關(guān)聯(lián)性，如圖14 所示。

圖14 全句學(xué)習(xí)權(quán)重和推論示意

ML 學(xué)習(xí)完成了，就記住其關(guān)聯(lián)性，并能進(jìn)行推論。例如，按下“推論”按鈕，就出現(xiàn)“南”。再按下“推論”按鈕，就出現(xiàn)“曲”，如圖15 所示。

圖15 曲字后的推論示意

這展現(xiàn)了ML 可以同時學(xué)習(xí)更多語句，并進(jìn)行時序性推論。

4   結(jié)語

從大數(shù)據(jù)中探索潛藏的關(guān)聯(lián)性，是ML 的亮麗技能。在本節(jié)里，展現(xiàn)了ML 在時序性規(guī)律的學(xué)習(xí)、表達(dá)和推論?；谶@項(xiàng)技能，還有更多有趣的應(yīng)用，期待您繼續(xù)來欣賞。

（本文來源于《電子產(chǎn)品世界》雜志2022年2月期）