AI，這曲兒怎么哼？基于類腦脈沖神經(jīng)網(wǎng)絡(luò)的音樂記憶與激活模型

　　來源：中國科學(xué)院自動化研究所

　　音樂貫穿了人類文明的歷史，與每一種文化息息相關(guān)，遍布世界每一個角落。人類如此為音樂著迷，那么人類的大腦是如何感受與存儲音樂的？計算機如何能像人類大腦一樣感知與記憶音樂呢？

　　中國科學(xué)院自動化研究所類腦智能研究中心曾毅團隊充分借鑒了人類大腦在音樂信息處理方面的神經(jīng)機制，構(gòu)建了一個多尺度的多腦區(qū)協(xié)同的脈沖神經(jīng)網(wǎng)絡(luò)SNN（Spiking Neural Network）模型，用于音樂感知與記憶。

　　模型可以通過一首曲名從而回憶起整首樂曲，也可以只通過一個片段，回憶起整首曲目，甚至可以回憶樂曲的節(jié)奏與速度。相關(guān)工作發(fā)表在Frontiers in Computational Neuroscience上。

　　據(jù)課題組長曾毅研究員介紹，當(dāng)一首樂曲響起時，大腦的聽覺系統(tǒng)中對音高敏感的神經(jīng)元率先產(chǎn)生神經(jīng)活動并對音高進行編碼，大腦皮層-基底節(jié)-小腦-丘腦神經(jīng)環(huán)路處理音樂節(jié)奏與速度，同時，記憶系統(tǒng)對旋律進行有效存儲。

　　依據(jù)以上神經(jīng)科學(xué)的研究成果，團隊模擬了包括聽覺皮層，海馬區(qū)，紋狀體等腦區(qū)在音樂處理方面的相關(guān)功能，自底向上地建立了一個多尺度的神經(jīng)網(wǎng)絡(luò)模型（神經(jīng)元->功能微柱->腦區(qū)），如下圖所示，該模型包含了四個子網(wǎng)，每個子網(wǎng)實現(xiàn)不同腦區(qū)的功能，同時，每個子網(wǎng)由若干具有選擇性的功能微柱（Minicolumn）構(gòu)成，每個功能微柱又由若干神經(jīng)元（Neuron）組成。

　　文章的第一作者，博士生梁倩介紹：我們設(shè)計的類腦脈沖神經(jīng)網(wǎng)絡(luò)具備更深刻的生物合理性，采用了同層抑制性連接，鄰層和跨層興奮性連接，利用STDP（Spike-Timing-Dependent Plasticity）學(xué)習(xí)規(guī)則有效完成了時間順序以及上下文信息的傳輸與存儲。此外，受神經(jīng)科學(xué)啟發(fā)，網(wǎng)絡(luò)中的每條鏈接引入了傳輸時延屬性，這使得突觸后神經(jīng)元在接受突觸前神經(jīng)元的脈沖刺激時，更注重脈沖信號攜帶的時間信息。

　　由于Spatial Subnetwork與Temporal Subnetwork的功能微柱分別對音符的音高與時長具有選擇性，那么隨著音符的不斷輸入，這些功能微柱中的神經(jīng)元受到音高及音符時長的刺激，對這些刺激敏感的神經(jīng)元將在不同的時間段發(fā)放脈沖，因此，神經(jīng)元信息以及脈沖活動共同完成了對音高及時長的編碼。

　　此外，Goal cluster主要對樂曲名進行編碼與存儲。值得一提的是，網(wǎng)絡(luò)中神經(jīng)元的規(guī)模并不是預(yù)先固定的，而是隨著樂曲的不斷輸入動態(tài)變化的。根據(jù)STDP的學(xué)習(xí)規(guī)則并結(jié)合傳輸時延的影響，這些神經(jīng)元的放電活動將引起神經(jīng)元之間鏈接的權(quán)重改變，因此最終音符間的順序信息存儲于突觸鏈接中。

　　在記憶過程中，Goal cluster中與當(dāng)前樂曲有關(guān)的神經(jīng)元一直處于活動狀態(tài)，因此Goal cluster與spatial subnetwork和Temporal subnetwork之間的鏈接權(quán)重也隨之改變，從而建立起曲名與音符之間的關(guān)系。

　　所有樂曲記憶完成后（即網(wǎng)絡(luò)訓(xùn)練完成后），當(dāng)我們刺激Goal cluster中代表某個樂曲曲名的神經(jīng)元，它的放電活動會刺激spatial subnetwork與temporal subnetwork相應(yīng)的神經(jīng)元放電，從而可以回憶起整首樂曲。

　　同樣的，如果給網(wǎng)絡(luò)輸入一首樂曲的片段，即幾個音符，那么這個片段將會刺激網(wǎng)絡(luò)尋找記憶該片段樂曲的神經(jīng)微環(huán)路，并能夠通過反饋鏈接刺激goal cluster，從而回憶起該片段的樂曲名。

　　現(xiàn)實當(dāng)中，當(dāng)我們彈奏樂器或演唱一首歌曲時，我們可以控制自己彈奏或演唱的速度，模型通過模擬基底節(jié)紋狀體核團的功能，也實現(xiàn)了記憶提取時的速度問題，當(dāng)我們調(diào)整pacemaker cluster神經(jīng)元的放電頻率時，回憶樂曲的速度將發(fā)生相應(yīng)的變化。

　　梁倩說，我們通過331首古典鋼琴曲對模型進行實驗測試，每首樂曲為MIDI格式，模型對每首樂曲進行編碼與記憶，如下圖所示，每首樂曲包含多個聲部（音軌），每個音軌擁有不同數(shù)量的音符。

　　實驗表明，網(wǎng)絡(luò)不僅能夠只通過樂曲名就可回憶出整首樂曲，還能僅通過一個小片段，精確地回憶起相應(yīng)的樂曲。

　　如上圖所示，圖中（A）（B）表明，無論是根據(jù)樂曲名還是音樂片段，網(wǎng)絡(luò)能都較精確地回憶出整首樂曲，圖（C）（D）表明，回憶樂曲的速度會隨著紋狀體神經(jīng)元的活動變化而隨之改變。

　　曾毅研究員介紹：“興趣很重要，類腦脈沖神經(jīng)網(wǎng)絡(luò)和音樂的結(jié)合3年前我們開始動手做的時候正是出于我的博士生梁倩和我個人對音樂的喜好。音樂記憶是通過類腦神經(jīng)網(wǎng)絡(luò)實現(xiàn)音樂學(xué)習(xí)甚至是創(chuàng)作的基礎(chǔ)，音樂學(xué)習(xí)的腦機制還有很多尚不清晰，據(jù)其啟發(fā)的類腦脈沖神經(jīng)網(wǎng)絡(luò)模型也就還有大量有趣的、值得研究的問題等待挖掘，例如從記憶到理解。我們目前正在進行的研究是基于類腦機制的音樂創(chuàng)作，這是更大的挑戰(zhàn)，但也是更激動人心的探索。此外，這個網(wǎng)絡(luò)并不僅僅可以用于音樂的學(xué)習(xí)與記憶，還可以拓展到機器人序列學(xué)習(xí)等領(lǐng)域的應(yīng)用，實際上這個模型最初版本的應(yīng)用我的博士生梁倩就是在機器人動作序列學(xué)習(xí)上展開的，想到應(yīng)用于音樂的學(xué)習(xí)與創(chuàng)作，我們都非常興奮并會一直做下去。希望這樣的努力使我們離實現(xiàn)真正“結(jié)構(gòu)機制類腦，認(rèn)知行為類人”的類腦智能可以又邁進一步”。