基于數(shù)據(jù)挖掘技術(shù)的入侵檢測(cè)系統(tǒng)的研究與設(shè)計(jì)

　　1 引言

　　隨著計(jì)算機(jī)網(wǎng)絡(luò)不斷發(fā)展，各種問(wèn)題也隨之產(chǎn)生，網(wǎng)絡(luò)安全問(wèn)題尤為突出。傳統(tǒng)的入侵檢測(cè)技術(shù)包括濫用檢測(cè)和異常檢測(cè)。其中，濫用檢測(cè)是分析各種類(lèi)型的攻擊手段，找出可能的“攻擊特征”集合，可有效檢測(cè)到已知攻擊，產(chǎn)生誤報(bào)較少，但只能檢測(cè)到已知的入侵類(lèi)型，而對(duì)未知的入侵類(lèi)型無(wú)能為力，需要不斷更新攻擊特征庫(kù)；而異常檢測(cè)的假設(shè)條件是通過(guò)觀察當(dāng)前活動(dòng)與系統(tǒng)歷史正?；顒?dòng)情況之間的差異可實(shí)現(xiàn)攻擊行為的檢測(cè)。其優(yōu)點(diǎn)是可檢測(cè)到未知攻擊，缺點(diǎn)是誤報(bào)和漏報(bào)較多。針對(duì)現(xiàn)有網(wǎng)絡(luò)入侵檢測(cè)系統(tǒng)的一些不足，將數(shù)據(jù)挖掘技術(shù)應(yīng)用于網(wǎng)絡(luò)入侵檢測(cè)，以Snort入侵檢測(cè)系統(tǒng)模型為基礎(chǔ)，提出一種新的基于數(shù)據(jù)挖掘的網(wǎng)絡(luò)入侵檢測(cè)系統(tǒng)模型。

　　2 數(shù)據(jù)挖掘在入侵檢測(cè)系統(tǒng)中的應(yīng)用

　　數(shù)據(jù)挖掘技術(shù)在入侵檢測(cè)系統(tǒng)(IDS)中的應(yīng)用，主要是通過(guò)挖掘?qū)徲?jì)數(shù)據(jù)以獲得行為模式，從中分離出入侵行為，有效實(shí)現(xiàn)入侵檢測(cè)規(guī)則。審計(jì)數(shù)據(jù)由經(jīng)預(yù)處理、帶有時(shí)間戳的審計(jì)記錄組成。每條審計(jì)記錄都包含一些屬性(也稱(chēng)為特征)，例如，一個(gè)典型的審計(jì)日志文件包括源IP地址、目的IP地址、服務(wù)類(lèi)型、連接狀態(tài)等屬性。挖掘?qū)徲?jì)數(shù)據(jù)是一項(xiàng)重要任務(wù)，直接影響入侵檢測(cè)的精確性和可用性，常用的挖掘方法有關(guān)聯(lián)性分析、分類(lèi)、序列分析等。

　　(1)關(guān)聯(lián)性分析關(guān)聯(lián)分析就是要發(fā)現(xiàn)關(guān)聯(lián)規(guī)則，找出數(shù)據(jù)庫(kù)中滿(mǎn)足最小支持度與最小確信度約束的規(guī)則，即給定一組Item和一個(gè)記錄集合，通過(guò)分析記錄集合推導(dǎo)出Item間的相關(guān)性。一般用信任度(confidence)和支持度(support)描述關(guān)聯(lián)規(guī)則的屬性。關(guān)聯(lián)分析的目的是從已知的事務(wù)集W中產(chǎn)生數(shù)據(jù)集之間的關(guān)聯(lián)規(guī)則，即同一條審計(jì)記錄中不同字段之間存在的關(guān)系，同時(shí)保證規(guī)則的支持度和信任度大于用戶(hù)預(yù)先指定的最小支持度和最小信任度。

　　(2)分類(lèi)映射一個(gè)數(shù)據(jù)項(xiàng)到其中一個(gè)預(yù)定義的分類(lèi)集中，它輸出“分類(lèi)器”，表現(xiàn)形式是決策樹(shù)或規(guī)則。在入侵檢測(cè)中一個(gè)典型的應(yīng)用就是，收集足夠多的審計(jì)數(shù)據(jù)送交用戶(hù)或程序，然后應(yīng)用分類(lèi)算法去學(xué)習(xí)分類(lèi)器，標(biāo)記或預(yù)測(cè)新的正?；虍惓５牟豢梢?jiàn)審計(jì)數(shù)據(jù)。分類(lèi)算法要解決的重點(diǎn)是規(guī)則學(xué)習(xí)問(wèn)題。

　　(3)序列分析用于構(gòu)建序列模式，以發(fā)現(xiàn)審計(jì)事件中經(jīng)常存在的時(shí)間序列。這些經(jīng)常發(fā)生的事件模式有助于將時(shí)間統(tǒng)計(jì)方法應(yīng)用于入侵檢測(cè)模型。例如，如果審計(jì)數(shù)據(jù)中包含基于網(wǎng)絡(luò)的拒絕服務(wù)攻擊DOS(Denial of Service Attack)行為．由此得到的模式就要對(duì)在這一時(shí)間段內(nèi)工作的每個(gè)主機(jī)和每項(xiàng)服務(wù)進(jìn)行檢測(cè)。

　　3 基于數(shù)據(jù)挖掘的入侵檢測(cè)系統(tǒng)模型

　　針對(duì)現(xiàn)有入侵檢測(cè)系統(tǒng)挖掘速度慢和挖掘準(zhǔn)確度不高的缺點(diǎn)，提出基于數(shù)據(jù)挖掘技術(shù)的入侵檢測(cè)系統(tǒng)模型．該模型的結(jié)構(gòu)如圖1所示。

　　3．1 模塊功能簡(jiǎn)述

　　(1)嗅探器主要進(jìn)行數(shù)據(jù)收集，它只是一個(gè)簡(jiǎn)單的抓取信息的接口。嗅探器所在位置決定入侵檢測(cè)的局部處理程度。

　　(2)解碼器解碼分析捕獲的數(shù)據(jù)包。并把分析結(jié)果存到一個(gè)指定的數(shù)據(jù)結(jié)構(gòu)中。

　　(3)數(shù)據(jù)預(yù)處理 負(fù)責(zé)將網(wǎng)絡(luò)數(shù)據(jù)、連接數(shù)據(jù)轉(zhuǎn)換為挖掘方法所需的數(shù)據(jù)格式，包括：進(jìn)一步的過(guò)濾、噪聲的消除、第三方檢測(cè)工具檢測(cè)到的已知攻擊。利用誤用檢測(cè)方法對(duì)已知的入侵行為與規(guī)則庫(kù)的入侵規(guī)則進(jìn)行匹配，直接找到入侵行為，進(jìn)行報(bào)警。

　　(4)異常分析器通過(guò)使用關(guān)聯(lián)分析和序列分析找到新的攻擊，利用異常檢測(cè)方法將這些異常行為送往規(guī)則庫(kù)。

　　(5)日志記錄保存2種記錄：未知網(wǎng)絡(luò)正常行為產(chǎn)生的數(shù)據(jù)包信息和未知入侵行為產(chǎn)生的數(shù)據(jù)包信息。

　　(6)規(guī)則庫(kù) 保存入侵檢測(cè)規(guī)則，為誤用檢測(cè)提供依據(jù)。

　　(7)報(bào)警器 當(dāng)偏離分析器報(bào)告有異常行為時(shí)，報(bào)警器通過(guò)人機(jī)界面向管理員發(fā)出通知，其形式可以是E-mail?？刂婆_(tái)報(bào)警、日志條目、可視化的工具。

　　(8)特征提取器對(duì)日志中的數(shù)據(jù)記錄進(jìn)行關(guān)聯(lián)分析，得出關(guān)聯(lián)規(guī)則，添加到規(guī)則庫(kù)中。

　　3．2 異常分析器

　　異常分析器使用聚類(lèi)分析模型產(chǎn)生的網(wǎng)絡(luò)或主機(jī)正常模型檢測(cè)數(shù)據(jù)包。它采用K-Means算法作為聚類(lèi)分析算法。圖2為異常分析的流程。

　　異常分析器的檢測(cè)過(guò)程為：(1)網(wǎng)絡(luò)或主機(jī)數(shù)據(jù)包標(biāo)準(zhǔn)化；(2)計(jì)算網(wǎng)絡(luò)數(shù)據(jù)包與主類(lèi)鏈表中聚類(lèi)中心的相似度：(3)若該網(wǎng)絡(luò)數(shù)據(jù)包與某一主類(lèi)的相似度小于聚類(lèi)半徑R，則表明其是正常的網(wǎng)絡(luò)數(shù)據(jù)包，將其丟棄；(4)若該網(wǎng)絡(luò)數(shù)據(jù)包與所有主類(lèi)的相似度大于聚類(lèi)半徑R，則表明其是異常的網(wǎng)絡(luò)數(shù)據(jù)包。

　　3．3 特征提取器

　　特征提取器用于分析未知的異常數(shù)據(jù)包，挖掘網(wǎng)絡(luò)異常數(shù)據(jù)包中潛在的入侵行為模式，產(chǎn)生相應(yīng)的關(guān)聯(lián)規(guī)則集．添加到規(guī)則庫(kù)中。該模塊采用Apriori算法進(jìn)行關(guān)聯(lián)規(guī)則的挖掘，其工作流程如圖3所示。

　　特征提取器的工作過(guò)程可分為數(shù)據(jù)預(yù)處理和產(chǎn)生關(guān)聯(lián)規(guī)則。

　　(1)數(shù)據(jù)預(yù)處理 特征提取器的輸入為日志記錄．包含很多字段，但并非所有字段都適用于關(guān)聯(lián)分析。在此僅選擇和Snort規(guī)則相關(guān)的字段，如SrcIP，SrcPort，DstIP，DstPort，Protocol，Dsize，F(xiàn)lags和CID等。

　　(2)產(chǎn)生關(guān)聯(lián)規(guī)則首先根據(jù)設(shè)定的支持度找出所有頻繁項(xiàng)集，一般支持度設(shè)置得越低，產(chǎn)生的頻繁項(xiàng)集就會(huì)越多；而設(shè)置得越高，產(chǎn)生的頻繁項(xiàng)集就越少。接著由頻繁項(xiàng)集產(chǎn)生關(guān)聯(lián)規(guī)則，一般置信度設(shè)置得越低，產(chǎn)生的關(guān)聯(lián)規(guī)則數(shù)目越多但準(zhǔn)確度不高；反之置信度設(shè)置得越高。產(chǎn)生的關(guān)聯(lián)規(guī)則數(shù)目越少但是準(zhǔn)確度較高。

　　3．4 系統(tǒng)模型特點(diǎn)

　　該系統(tǒng)在實(shí)際應(yīng)用時(shí)，既可以事先存入已知入侵規(guī)則，以降低在開(kāi)始操作時(shí)期的漏報(bào)率，也可以不需要預(yù)先的背景知識(shí)。雖然該系統(tǒng)有較強(qiáng)的自適應(yīng)性，但在操作初期會(huì)有較高的誤報(bào)率。因此該系統(tǒng)模型有如下特點(diǎn)：(1)利用數(shù)據(jù)挖掘技術(shù)進(jìn)行入侵檢測(cè)；(2)利用先進(jìn)的挖掘算法，使操作接近實(shí)時(shí)；(3)具有自適應(yīng)性，能根據(jù)當(dāng)前的環(huán)境更新規(guī)則庫(kù)；(4)不但可檢測(cè)到已知的攻擊，而且可檢測(cè)到未知的攻擊。

　　4 系統(tǒng)測(cè)試

　　以Snort為例，在規(guī)則匹配方面擴(kuò)展系統(tǒng)保持Snort的工作原理，實(shí)驗(yàn)分析具有代表性，分析攻擊模式數(shù)據(jù)庫(kù)大小與匹配時(shí)間的關(guān)系。

　　實(shí)驗(yàn)環(huán)境：IP地址為192．168．1．2的主機(jī)配置為PIV1．8G，內(nèi)存512 M，操作系統(tǒng)為Windows XP；3臺(tái)分機(jī)的IP地址分別為192．168．1．23，192．168．1．32，192．168．1．45。實(shí)驗(yàn)方法：隨機(jī)通過(guò)TcpDump抓取一組網(wǎng)絡(luò)數(shù)據(jù)包，通過(guò)該系統(tǒng)記錄約20 min傳送來(lái)的數(shù)據(jù)包，3臺(tái)分機(jī)分別對(duì)主機(jī)不同攻擊類(lèi)型的數(shù)據(jù)包進(jìn)行測(cè)試。

　　異常分析器采用K-Means算法作為聚類(lèi)分析算法，試驗(yàn)表明．誤檢率隨閾值的增大而迅速增大，而隨閾值的減小而逐漸減小。由于聚類(lèi)半徑R的增大會(huì)導(dǎo)致攻擊數(shù)據(jù)包與正常數(shù)包被劃分到同一個(gè)聚類(lèi)，因此誤檢率必然會(huì)隨著閾值的增大而增大。另一方面，當(dāng)某一種新類(lèi)型的攻擊數(shù)據(jù)包數(shù)目達(dá)到閾值時(shí)，系統(tǒng)會(huì)將其判定為正常類(lèi)，因此閾值越小必然導(dǎo)致誤檢率越高。當(dāng)聚類(lèi)半徑R=6時(shí)，該系統(tǒng)比Snort原始版本檢測(cè)的速度快，并且誤檢率也較低。

　　特征提取器采用關(guān)聯(lián)分析的Apriori算法，置信度設(shè)置為100％，閾值設(shè)為1 000，支持度50％，最后自動(dòng)生成以下3條新的入侵檢測(cè)規(guī)則：

alert tcp 192．168．1．23 2450->192．168．1．2 80(msg：”poli-cy：externalnet attempt to access 192.168.1.2”；classtype：at-temptesd-recon；)
alert tcp 192．168．1．32 1850->192．168．1．2 21(msg：”poli-cy：extemalnet attempt to access 192．168．1．2”；classtype：at-tempted-recon；)
alert tcp 192．168．1．45 2678->192．168．1．2 1080(msg：”policy：extemalnet attempt to access 192．168.1.2”；classtype：at-tempted-reeon；)

　　該試驗(yàn)結(jié)果說(shuō)明經(jīng)采用特征提取器對(duì)異常日志進(jìn)行分析，系統(tǒng)挖掘出檢測(cè)新類(lèi)型攻擊的規(guī)則，并具備檢測(cè)新類(lèi)型攻擊的能力。

　　5 結(jié)束語(yǔ)

　　提出一種基于數(shù)據(jù)挖掘的入侵檢測(cè)系統(tǒng)模型，借助數(shù)據(jù)挖掘技術(shù)在處理大量數(shù)據(jù)特征提取方面的優(yōu)勢(shì)，可使入侵檢測(cè)更加自動(dòng)化，提高檢測(cè)效率和檢測(cè)準(zhǔn)確度。基于數(shù)據(jù)挖掘的入侵檢測(cè)己得到快速發(fā)展，但離投入實(shí)際使用還有距離，尚未具備完善的理論體系。因此，解決數(shù)據(jù)挖掘的入侵檢測(cè)實(shí)時(shí)性、正確檢測(cè)率、誤警率等方面問(wèn)題是當(dāng)前的主要任務(wù)，及豐富和發(fā)展現(xiàn)有理論，完善入侵檢測(cè)系統(tǒng)使其投入實(shí)際應(yīng)用。