AI，這曲兒怎么哼？基于類腦脈沖神經(jīng)網(wǎng)絡(luò)的音樂(lè)記憶與激活模型

　　來(lái)源：中國(guó)科學(xué)院自動(dòng)化研究所

　　音樂(lè)貫穿了人類文明的歷史，與每一種文化息息相關(guān)，遍布世界每一個(gè)角落。人類如此為音樂(lè)著迷，那么人類的大腦是如何感受與存儲(chǔ)音樂(lè)的？計(jì)算機(jī)如何能像人類大腦一樣感知與記憶音樂(lè)呢？

　　中國(guó)科學(xué)院自動(dòng)化研究所類腦智能研究中心曾毅團(tuán)隊(duì)充分借鑒了人類大腦在音樂(lè)信息處理方面的神經(jīng)機(jī)制，構(gòu)建了一個(gè)多尺度的多腦區(qū)協(xié)同的脈沖神經(jīng)網(wǎng)絡(luò)SNN（Spiking Neural Network）模型，用于音樂(lè)感知與記憶。

　　模型可以通過(guò)一首曲名從而回憶起整首樂(lè)曲，也可以只通過(guò)一個(gè)片段，回憶起整首曲目，甚至可以回憶樂(lè)曲的節(jié)奏與速度。相關(guān)工作發(fā)表在Frontiers in Computational Neuroscience上。

　　據(jù)課題組長(zhǎng)曾毅研究員介紹，當(dāng)一首樂(lè)曲響起時(shí)，大腦的聽(tīng)覺(jué)系統(tǒng)中對(duì)音高敏感的神經(jīng)元率先產(chǎn)生神經(jīng)活動(dòng)并對(duì)音高進(jìn)行編碼，大腦皮層-基底節(jié)-小腦-丘腦神經(jīng)環(huán)路處理音樂(lè)節(jié)奏與速度，同時(shí)，記憶系統(tǒng)對(duì)旋律進(jìn)行有效存儲(chǔ)。

　　依據(jù)以上神經(jīng)科學(xué)的研究成果，團(tuán)隊(duì)模擬了包括聽(tīng)覺(jué)皮層，海馬區(qū)，紋狀體等腦區(qū)在音樂(lè)處理方面的相關(guān)功能，自底向上地建立了一個(gè)多尺度的神經(jīng)網(wǎng)絡(luò)模型（神經(jīng)元->功能微柱->腦區(qū)），如下圖所示，該模型包含了四個(gè)子網(wǎng)，每個(gè)子網(wǎng)實(shí)現(xiàn)不同腦區(qū)的功能，同時(shí)，每個(gè)子網(wǎng)由若干具有選擇性的功能微柱（Minicolumn）構(gòu)成，每個(gè)功能微柱又由若干神經(jīng)元（Neuron）組成。

　　文章的第一作者，博士生梁倩介紹：我們?cè)O(shè)計(jì)的類腦脈沖神經(jīng)網(wǎng)絡(luò)具備更深刻的生物合理性，采用了同層抑制性連接，鄰層和跨層興奮性連接，利用STDP（Spike-Timing-Dependent Plasticity）學(xué)習(xí)規(guī)則有效完成了時(shí)間順序以及上下文信息的傳輸與存儲(chǔ)。此外，受神經(jīng)科學(xué)啟發(fā)，網(wǎng)絡(luò)中的每條鏈接引入了傳輸時(shí)延屬性，這使得突觸后神經(jīng)元在接受突觸前神經(jīng)元的脈沖刺激時(shí)，更注重脈沖信號(hào)攜帶的時(shí)間信息。

　　由于Spatial Subnetwork與Temporal Subnetwork的功能微柱分別對(duì)音符的音高與時(shí)長(zhǎng)具有選擇性，那么隨著音符的不斷輸入，這些功能微柱中的神經(jīng)元受到音高及音符時(shí)長(zhǎng)的刺激，對(duì)這些刺激敏感的神經(jīng)元將在不同的時(shí)間段發(fā)放脈沖，因此，神經(jīng)元信息以及脈沖活動(dòng)共同完成了對(duì)音高及時(shí)長(zhǎng)的編碼。

　　此外，Goal cluster主要對(duì)樂(lè)曲名進(jìn)行編碼與存儲(chǔ)。值得一提的是，網(wǎng)絡(luò)中神經(jīng)元的規(guī)模并不是預(yù)先固定的，而是隨著樂(lè)曲的不斷輸入動(dòng)態(tài)變化的。根據(jù)STDP的學(xué)習(xí)規(guī)則并結(jié)合傳輸時(shí)延的影響，這些神經(jīng)元的放電活動(dòng)將引起神經(jīng)元之間鏈接的權(quán)重改變，因此最終音符間的順序信息存儲(chǔ)于突觸鏈接中。

　　在記憶過(guò)程中，Goal cluster中與當(dāng)前樂(lè)曲有關(guān)的神經(jīng)元一直處于活動(dòng)狀態(tài)，因此Goal cluster與spatial subnetwork和Temporal subnetwork之間的鏈接權(quán)重也隨之改變，從而建立起曲名與音符之間的關(guān)系。

　　所有樂(lè)曲記憶完成后（即網(wǎng)絡(luò)訓(xùn)練完成后），當(dāng)我們刺激Goal cluster中代表某個(gè)樂(lè)曲曲名的神經(jīng)元，它的放電活動(dòng)會(huì)刺激spatial subnetwork與temporal subnetwork相應(yīng)的神經(jīng)元放電，從而可以回憶起整首樂(lè)曲。

　　同樣的，如果給網(wǎng)絡(luò)輸入一首樂(lè)曲的片段，即幾個(gè)音符，那么這個(gè)片段將會(huì)刺激網(wǎng)絡(luò)尋找記憶該片段樂(lè)曲的神經(jīng)微環(huán)路，并能夠通過(guò)反饋鏈接刺激goal cluster，從而回憶起該片段的樂(lè)曲名。

　　現(xiàn)實(shí)當(dāng)中，當(dāng)我們彈奏樂(lè)器或演唱一首歌曲時(shí)，我們可以控制自己彈奏或演唱的速度，模型通過(guò)模擬基底節(jié)紋狀體核團(tuán)的功能，也實(shí)現(xiàn)了記憶提取時(shí)的速度問(wèn)題，當(dāng)我們調(diào)整pacemaker cluster神經(jīng)元的放電頻率時(shí)，回憶樂(lè)曲的速度將發(fā)生相應(yīng)的變化。

　　梁倩說(shuō)，我們通過(guò)331首古典鋼琴曲對(duì)模型進(jìn)行實(shí)驗(yàn)測(cè)試，每首樂(lè)曲為MIDI格式，模型對(duì)每首樂(lè)曲進(jìn)行編碼與記憶，如下圖所示，每首樂(lè)曲包含多個(gè)聲部（音軌），每個(gè)音軌擁有不同數(shù)量的音符。

　　實(shí)驗(yàn)表明，網(wǎng)絡(luò)不僅能夠只通過(guò)樂(lè)曲名就可回憶出整首樂(lè)曲，還能僅通過(guò)一個(gè)小片段，精確地回憶起相應(yīng)的樂(lè)曲。

　　如上圖所示，圖中（A）（B）表明，無(wú)論是根據(jù)樂(lè)曲名還是音樂(lè)片段，網(wǎng)絡(luò)能都較精確地回憶出整首樂(lè)曲，圖（C）（D）表明，回憶樂(lè)曲的速度會(huì)隨著紋狀體神經(jīng)元的活動(dòng)變化而隨之改變。

　　曾毅研究員介紹：“興趣很重要，類腦脈沖神經(jīng)網(wǎng)絡(luò)和音樂(lè)的結(jié)合3年前我們開(kāi)始動(dòng)手做的時(shí)候正是出于我的博士生梁倩和我個(gè)人對(duì)音樂(lè)的喜好。音樂(lè)記憶是通過(guò)類腦神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)音樂(lè)學(xué)習(xí)甚至是創(chuàng)作的基礎(chǔ)，音樂(lè)學(xué)習(xí)的腦機(jī)制還有很多尚不清晰，據(jù)其啟發(fā)的類腦脈沖神經(jīng)網(wǎng)絡(luò)模型也就還有大量有趣的、值得研究的問(wèn)題等待挖掘，例如從記憶到理解。我們目前正在進(jìn)行的研究是基于類腦機(jī)制的音樂(lè)創(chuàng)作，這是更大的挑戰(zhàn)，但也是更激動(dòng)人心的探索。此外，這個(gè)網(wǎng)絡(luò)并不僅僅可以用于音樂(lè)的學(xué)習(xí)與記憶，還可以拓展到機(jī)器人序列學(xué)習(xí)等領(lǐng)域的應(yīng)用，實(shí)際上這個(gè)模型最初版本的應(yīng)用我的博士生梁倩就是在機(jī)器人動(dòng)作序列學(xué)習(xí)上展開(kāi)的，想到應(yīng)用于音樂(lè)的學(xué)習(xí)與創(chuàng)作，我們都非常興奮并會(huì)一直做下去。希望這樣的努力使我們離實(shí)現(xiàn)真正“結(jié)構(gòu)機(jī)制類腦，認(rèn)知行為類人”的類腦智能可以又邁進(jìn)一步”。