改進(jìn)遺傳算法的支持向量機(jī)特征選擇解決方案介紹

支持向量機(jī)是一種在統(tǒng)計(jì)學(xué)習(xí)理論的基礎(chǔ)上發(fā)展而來(lái)的機(jī)器學(xué)習(xí)方法[1]，通過(guò)學(xué)習(xí)類(lèi)別之間分界面附近的精確信息,可以自動(dòng)尋找那些對(duì)分類(lèi)有較好區(qū)分能力的支持向量,由此構(gòu)造出的分類(lèi)器可以使類(lèi)與類(lèi)之間的間隔最大化,因而有較好的泛化性能和較高的分類(lèi)準(zhǔn)確率。由于支持向量機(jī)具有小樣本、非線(xiàn)性、高維數(shù)、避免局部最小點(diǎn)以及過(guò)學(xué)習(xí)現(xiàn)象等優(yōu)點(diǎn)，所以被廣泛運(yùn)用于故障診斷、圖像識(shí)別、回歸預(yù)測(cè)等領(lǐng)域。但是如果缺少了對(duì)樣本進(jìn)行有效地特征選擇，支持向量機(jī)在分類(lèi)時(shí)往往會(huì)出現(xiàn)訓(xùn)練時(shí)間過(guò)長(zhǎng)以及較低的分類(lèi)準(zhǔn)確率，這恰恰是由于支持向量機(jī)無(wú)法利用混亂的樣本分類(lèi)信息而引起的，因此特征選擇是分類(lèi)問(wèn)題中的一個(gè)重要環(huán)節(jié)。特征選擇的任務(wù)是從原始的特征集合中去除對(duì)分類(lèi)無(wú)用的冗余特征以及那些具有相似分類(lèi)信息的重復(fù)特征，因而可以有效降低特征維數(shù)，縮短訓(xùn)練時(shí)間，提高分類(lèi)準(zhǔn)確率。

　　目前特征選擇的方法主要有主成分分析法、最大熵原理、粗糙集理論等。然而由于這些方法主要依據(jù)繁復(fù)的數(shù)學(xué)理論，在計(jì)算過(guò)程中可能存在求導(dǎo)和函數(shù)連續(xù)性等客觀限定條件，在必要時(shí)還需要設(shè)定用來(lái)指導(dǎo)尋優(yōu)搜索方向的搜索規(guī)則。遺傳算法作為一種魯棒性極強(qiáng)的智能識(shí)別方法，直接對(duì)尋優(yōu)對(duì)象進(jìn)行操作，不存在特定數(shù)學(xué)條件的限定，具有極好的全局尋優(yōu)能力和并行性;而由于遺傳算法采用概率化的尋優(yōu)方法，所以在自動(dòng)搜索的過(guò)程中可以自主獲取與尋優(yōu)有關(guān)的線(xiàn)索，并在加以學(xué)習(xí)之后可以自適應(yīng)地調(diào)整搜索方向，不需要確定搜索的規(guī)則。因此遺傳算法被廣泛應(yīng)用在知識(shí)發(fā)現(xiàn)、組合優(yōu)化、機(jī)器學(xué)習(xí)、信號(hào)處理、自適應(yīng)控制和人工生命等領(lǐng)域。

　　基于改進(jìn)遺傳算法的特征選擇

　　遺傳算法是一種新近發(fā)展起來(lái)的搜索最優(yōu)化算法[2~5]。遺傳算法從任意一個(gè)的初始生物種群開(kāi)始，通過(guò)隨機(jī)的選擇、交叉和變異操作，產(chǎn)生一群擁有更適應(yīng)自然界的新個(gè)體的新一代種群，使得種群的進(jìn)化趨勢(shì)向著最優(yōu)的方向發(fā)展。圖1中所示的是標(biāo)準(zhǔn)的遺傳算法的流程框圖。

　　傳統(tǒng)的遺傳算法存在早熟收斂、非全局收斂以及后期收斂速度慢的缺點(diǎn)，為此本文提出了一種能夠在進(jìn)化過(guò)程中自適應(yīng)調(diào)節(jié)變異率，以及利用模擬退火防止早熟的改進(jìn)遺傳算法，同時(shí)該算法利用敏感度信息可以有效地控制遺傳操作。圖2是改進(jìn)遺傳算法的流程框圖。

　　染色體編碼和適應(yīng)度函數(shù)

　　所謂編碼是指將問(wèn)題的解空間轉(zhuǎn)換成遺傳算法所能處理的搜索空間。在特征選擇問(wèn)題中，常常使用二進(jìn)制的編碼形式，使得每個(gè)二進(jìn)制就是一個(gè)染色體，其位數(shù)長(zhǎng)度等于特征的個(gè)數(shù)。每一位代表一個(gè)特征，每位上的1表示選中該特征，0則表示不選中。每一代種群都由若干個(gè)染色體組成。

　　適應(yīng)度函數(shù)是整個(gè)遺傳算法中極為重要的部分[6]，好的適應(yīng)度函數(shù)能使染色體進(jìn)化到最優(yōu)個(gè)體，它決定了在整個(gè)尋優(yōu)過(guò)程中是否能夠合理地協(xié)調(diào)好過(guò)早收斂和過(guò)慢結(jié)束這對(duì)矛盾。由于本文針對(duì)的是支持向量機(jī)的特征選擇問(wèn)題，所以考慮以分類(lèi)正確率和未選擇的特征個(gè)數(shù)這兩個(gè)參數(shù)作為函數(shù)的自變量，將分類(lèi)正確率作為主要衡量標(biāo)準(zhǔn)，未選擇的特征個(gè)數(shù)為次要標(biāo)準(zhǔn)。由此建立以下的適應(yīng)度函數(shù)：

　　式中C為分類(lèi)正確率，為未選擇的特征個(gè)數(shù)，a是調(diào)節(jié)系數(shù)，用來(lái)平衡分類(lèi)正確率和未選擇的特征個(gè)數(shù)對(duì)適應(yīng)度函數(shù)的影響程度，同時(shí)該系數(shù)也體現(xiàn)了用最少的特征得到較大分類(lèi)正確率的原則，在本文中a取0.00077。由上式可知，分類(lèi)正確率越高，未選的特征個(gè)數(shù)越多，染色體的適應(yīng)度就越大。

　　選擇操作

　　選擇操作需要按照一定的規(guī)則從原有的種群中選擇部分優(yōu)秀個(gè)體用來(lái)交叉和變異。選擇原則建立在對(duì)個(gè)體適應(yīng)度進(jìn)行評(píng)價(jià)的基礎(chǔ)上，目的是避免基因損失，提高全局收斂性和計(jì)算效率。本文首先將整個(gè)種群中最優(yōu)的前40%的個(gè)體保留下來(lái)，以確保有足夠的優(yōu)良個(gè)體進(jìn)入下一代，對(duì)剩下的60%的個(gè)體采用輪盤(pán)算法進(jìn)行選擇，這樣做可以彌補(bǔ)保留前40%個(gè)體而帶來(lái)的局部最優(yōu)解不易被淘汰的不利影響，有利于保持種群的多樣性。

　基于敏感度信息量的交叉、變異操作

　　獨(dú)立敏感度信息量Q(i)指的是對(duì)在所有特征都被選中時(shí)計(jì)算所得到的適應(yīng)度值A(chǔ)llfitness以及只有特征i未被選中時(shí)計(jì)算得到的適應(yīng)度值Wfitness(i)按式(2)進(jìn)行計(jì)算得到的數(shù)值。獨(dú)立敏感度信息量刻畫(huà)了適應(yīng)度對(duì)特征i是否被選擇的敏感程度。

　　互敏感度信息量R(i，j)由(3)式可得，互敏感度信息量體現(xiàn)了特征i與特征j之間對(duì)適應(yīng)度的近似影響程度。