Adaline神經(jīng)網(wǎng)絡隨機逼近LMS算法的仿真研究

該方法與前一算法區(qū)別在于：用ε(k)X(k)代替E[ε(k)X(k)]，從而避免統(tǒng)計計算的困難，但同時使加權矢量的變化趨向隨機性；步幅α變成一個隨時序k變化的量，可以證明，當α(k)滿足以下條件時，學習是收斂的：α(k)是時序k∞ ∞
的非增函數(shù)；在這樣k=0 k=0的條件下，W(k)隨著k增大而趨向W*的概率為1。

4 隨機逼近LMS算法仿真
按以下步驟對隨機逼近算法編制程序進行仿真：
(1)對圖1所示的正弦波和三角波分別進行64點均勻采樣，組成64維輸入樣本矢量。

(2)W(0)選擇服從(0，1)之間均勻分布的隨機矢量，初始步長參數(shù)α選為0．03，選定誤差的平方臨界值ε02(k)=10-5，將X0，X1交替重復地送入采用線性函數(shù)的神經(jīng)元，反復訓練，直至ε2(k)≤ε02(k)，這樣可以得到誤差平方和學習次數(shù)之間的關系，如圖2所示。
從圖2中可以看出．當α=0．03時，學習是收斂的，學習次數(shù)k=1 147，學習完成時ε(k)=3．2x10-3，其平方小于所確定的ε02(k)。把X0，X1重新送入神經(jīng)元，計算后得到實際輸出值Y0=0．003 9，Y1=0．999 9，這和預期輸出值相當接近，從而較好完成了X0，X1的分類。
(3)設置不同的步幅α，分別計算并繪制ε2(k)變化曲線，觀察ε2(k)的收斂性、收斂速度與α的關系，試驗結果如圖3所示。從圖3中可以看出，當α 很小時，學習收斂，學習速度很慢，且收斂的穩(wěn)定性較好；當α增大，學習仍保持收斂，但學習速度加快，同時穩(wěn)定性降低；當α=0．08時，學習已不再收斂。