一種校內(nèi)網(wǎng)資源搜索引擎的設(shè)計與實現(xiàn)

隨著高校校園網(wǎng)的快速發(fā)展，網(wǎng)絡(luò)作為信息的傳播平臺正在高速向前邁進(jìn)。學(xué)校校園網(wǎng)中各種資訊、軟件、多媒體資源越來越豐富并且呈現(xiàn)出爆發(fā)式的增長。以本校為例，目前軟件資源容量為300 G、音樂資源容量為4 T、電影資源容量為9 T、學(xué)習(xí)資源容量近達(dá)1 T等，這些信息資源幫助人們更好地完成工作與學(xué)習(xí)、豐富業(yè)余生活、提供更加快速方便的下載方式。但是這是數(shù)字資源分布在不同服務(wù)器與存儲中，如何更加有效地利用這些海量的校內(nèi)網(wǎng)資源成為信息管理者深思的問題。人們在互聯(lián)網(wǎng)上查找信息都會用到搜索引擎來搜索需要的信息，通過搜索引擎的模糊匹配機(jī)制，能很容易找到想要得到的信息。對于學(xué)校信息中心信息管理人員來說，如果能在校內(nèi)網(wǎng)中引入一套搜索引擎機(jī)制來解決這個問題，就能使廣大師生能快捷便利地使用這些信息而且減少重復(fù)從外網(wǎng)下載、降低校內(nèi)網(wǎng)出口帶寬的壓力、充分提高校園網(wǎng)內(nèi)部資源的利用率的問題。
1 需求分析
　搜索引擎原理，通常指的是收集了因特網(wǎng)上幾千萬到幾十億個網(wǎng)頁并對網(wǎng)頁中的每一個詞(即關(guān)鍵詞)進(jìn)行索引，建立索引數(shù)據(jù)庫的全文搜索引擎。當(dāng)用戶查找某個關(guān)鍵詞的時候，所有在頁面內(nèi)容中包含了該關(guān)鍵詞的網(wǎng)頁都將作為搜索結(jié)果被搜出來。在經(jīng)過復(fù)雜的算法進(jìn)行排序后，這些結(jié)果將按照與搜索關(guān)鍵詞的相關(guān)度高低，依次排列。
　本系統(tǒng)主要目標(biāo)是仿照搜索引擎的原理實現(xiàn)對校內(nèi)網(wǎng)信息資源的全面搜索。這些資源可能是不同類型，可能分別存在不同服務(wù)器中且服務(wù)器的類型也不近相同，如有FTP服務(wù)器、HTTP服務(wù)器等。對于這些不同的環(huán)境要求，要求本系統(tǒng)要完成以下需求：
　(1)索引建立要滿足不同的服務(wù)器類型，如http、ftp等。
　(2)索引建立時要區(qū)分文件的類型。
　(3)定時(手工)刪除本機(jī)器的索引，并重新建立指定目錄的文件索引。
　(4)搜索能支持模糊查詢。
　(5)提供用戶搜索、下載功能，記錄關(guān)鍵字頻率及文件訪問次數(shù)。
　對于以上需求，本系統(tǒng)采用多agent模式，對不同服務(wù)器，分別安裝索引建立模式(agent)，再通過對參數(shù)的配置實現(xiàn)對不同服務(wù)器中資源的索引建立。
2 系統(tǒng)分析
2.1 系統(tǒng)結(jié)構(gòu)
　本搜索引擎結(jié)構(gòu)如圖1所示，軟件的設(shè)計與開發(fā)主要為兩個部分：(1)索引的建立。主要負(fù)責(zé)在后臺數(shù)據(jù)的建立，采用客戶端與服務(wù)器結(jié)構(gòu)(C/S結(jié)構(gòu))；(2)Web的查詢。主要負(fù)責(zé)向用戶提供友好界面的查詢服務(wù)，采用瀏覽器與服務(wù)器結(jié)構(gòu)(B/S結(jié)構(gòu))。通過開發(fā)索引建立程序，將文件存放的服務(wù)器(FTP、HTTP等)進(jìn)行搜索，分析文件的名稱、大小、類別、位置等并將這些文件信息合并服務(wù)器IP、訪問的前綴等建立對應(yīng)的索引添加到數(shù)據(jù)庫服務(wù)器中。

2.2 數(shù)據(jù)庫設(shè)計
　為了方便數(shù)據(jù)庫中文件信息的處理，數(shù)據(jù)庫設(shè)計了兩個基本數(shù)據(jù)表，一個存放索引建立模塊，將文件的索引放入表1中；另一個表主要存放用戶搜索的相關(guān)信息，如表2所示。如果搜索數(shù)據(jù)非常龐大時，要對基本數(shù)據(jù)表按不同的規(guī)則進(jìn)行分割，成立多個子表(可以按照服務(wù)器類型、文件類型或者服務(wù)器所屬網(wǎng)絡(luò)等分類)，實現(xiàn)對資源的高效率搜索。