神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)編碼器的設(shè)計(jì)及應(yīng)用

1 BP網(wǎng)絡(luò)結(jié)構(gòu)及其算法
反向傳播算法又稱誤差后向傳播算法(Error Back Propagation Algorithm)，它是用來(lái)訓(xùn)練多層前饋網(wǎng)絡(luò)的一種學(xué)習(xí)算法。是一種有監(jiān)督的學(xué)習(xí)算法。通常稱用誤差反向傳播算法訓(xùn)練的網(wǎng)絡(luò)叫BP網(wǎng)絡(luò)。如圖1所示，該BP網(wǎng)絡(luò)具有一個(gè)輸入層，兩個(gè)隱含層(也稱中間層)和一個(gè)輸出層組成，各層之間實(shí)行全連接。BP神經(jīng)網(wǎng)絡(luò)的隱含層通常具有多個(gè)，其傳輸函數(shù)常常采用sigmoid函數(shù)，而輸入輸出層則采用線性傳輸函數(shù)。

誤差反向傳播算法的主要思想是把學(xué)習(xí)過(guò)程分為兩個(gè)階段：第一階段(正向傳播過(guò)程)，給出輸入信息通過(guò)輸入層經(jīng)隱含層逐層處理并計(jì)算每個(gè)單元的實(shí)際輸出值；第二階段(反向傳播過(guò)程)，若在輸出層未能得到期望的輸出值，則逐層遞歸地計(jì)算實(shí)際輸出與期望輸出之差值(即誤差)，以便根據(jù)此誤差調(diào)節(jié)權(quán)值。誤差反向傳播算法的性能函數(shù)是均方誤差。其算法流程如圖2所示。

2 神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)編碼器的設(shè)計(jì)及應(yīng)用
2．1 預(yù)測(cè)器層數(shù)
kolmogorov定理(即映射網(wǎng)絡(luò)存在定理)，一個(gè)隱含層的網(wǎng)絡(luò)，如果隱含層的功能函數(shù)是連續(xù)函數(shù)，則網(wǎng)絡(luò)輸出可以逼近一個(gè)連續(xù)函數(shù)。具體的說(shuō)，設(shè)網(wǎng)絡(luò)有p個(gè)輸入，q個(gè)輸出，則其作用可以看作是由p維歐式空間到q維歐式空間的一個(gè)非線性映射。
Kolmogorov定理表明含一個(gè)隱含層的BP前饋網(wǎng)絡(luò)是一種通用的函數(shù)逼近器，為逼近一個(gè)連續(xù)函數(shù)，一個(gè)隱含層是足夠的。當(dāng)要學(xué)習(xí)不連續(xù)函數(shù)時(shí)，則需要兩個(gè)隱含層，即隱含層數(shù)最多兩層即可，Lippmann等也給出了同樣的結(jié)論。通過(guò)參考以上定理、規(guī)則，并結(jié)合試驗(yàn)最終確定本文實(shí)現(xiàn)的神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)器采用兩個(gè)隱含層，一個(gè)輸入層和一個(gè)輸出層的BP網(wǎng)絡(luò)。
2．2 節(jié)點(diǎn)數(shù)
網(wǎng)絡(luò)的輸入與輸出節(jié)點(diǎn)數(shù)是由實(shí)際問(wèn)題的本質(zhì)決定的，與網(wǎng)絡(luò)性能無(wú)關(guān)。而當(dāng)像素間距離超過(guò)5時(shí)，像素之間的相關(guān)性就很小，并且在圖像的某一個(gè)區(qū)域內(nèi)，色度信息不會(huì)突變，因此，本文設(shè)計(jì)的BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)器利用與當(dāng)前像素相鄰的9個(gè)像素來(lái)預(yù)測(cè)當(dāng)前像素，這樣不僅可以利用同一色分量?jī)?nèi)像素之間的相關(guān)性，也可以利用不同色通道之間像素的相關(guān)性進(jìn)行預(yù)測(cè)。鄰域像素的選擇如圖3所示。