非結(jié)構(gòu)化海量網(wǎng)絡(luò)數(shù)據(jù)處理技術(shù)研究

假設(shè)PerCyc為6，則在1 s內(nèi)，平均提取6個時間點(diǎn)。以第二個時間點(diǎn)10為例，從圖中可以看到，某個實(shí)際的網(wǎng)絡(luò)數(shù)據(jù)包時間在10附近有08 s，09 s，12 s三點(diǎn)，那么在提取該網(wǎng)絡(luò)數(shù)據(jù)包的時候，比較后選擇09 s點(diǎn)數(shù)值為同步分析的結(jié)果數(shù)值。以此類推，對需要提取的網(wǎng)絡(luò)數(shù)據(jù)包在10 s點(diǎn)的數(shù)值都可以比較逼近獲得。
2．3 分布式應(yīng)用中間件網(wǎng)絡(luò)數(shù)據(jù)處理
以中間件形式(Active控件等)將網(wǎng)絡(luò)數(shù)據(jù)包接口軟件發(fā)布在分布式網(wǎng)絡(luò)數(shù)據(jù)處理系統(tǒng)中。該系統(tǒng)在數(shù)據(jù)管理、海量數(shù)據(jù)并發(fā)處理和數(shù)據(jù)分發(fā)等方面滿足海量飛行試驗(yàn)數(shù)據(jù)處理需求，通過基于Web的飛行試驗(yàn)數(shù)據(jù)處理子系統(tǒng)實(shí)現(xiàn)對所需數(shù)據(jù)信息的訪問。如圖4所示。
(1)客戶端ActiveX根據(jù)調(diào)度服務(wù)器列表中的IP及端口號循環(huán)嘗試建立Socket通信，發(fā)出計(jì)算請求；
(2)客戶端ActiveX與調(diào)度服務(wù)器建立連接后，調(diào)度服務(wù)器經(jīng)過負(fù)載均衡計(jì)算，返回給客戶端ActiveX一個計(jì)算服務(wù)器的IP及端口號；
(3)客戶端ActiveX與計(jì)算服務(wù)器建立Socket連接；
(4)客戶端ActiveX發(fā)出執(zhí)行計(jì)算命令；
(5)計(jì)算服務(wù)器接收到計(jì)算命令后，啟動確定的分布式中間件執(zhí)行分布式計(jì)算任務(wù)，并將狀態(tài)信息輸出到控制臺，計(jì)算服務(wù)器中的狀態(tài)監(jiān)控程序用管道技術(shù)將分布式中間件的輸出作為自己的輸入，并通過Socket方式返回給客戶端ActiveX；
(6)客戶端ActiveX接收任務(wù)執(zhí)行的狀態(tài)信息，顯示給用戶；
(7)當(dāng)分布式中間件執(zhí)行完畢，計(jì)算服務(wù)器中的狀態(tài)監(jiān)控程序?qū)⒆詈蟮慕Y(jié)果文件通過Socket傳給客戶端ActiveX；
(8)客戶端ActiveX控件將文件保存至客戶端，分布式計(jì)算結(jié)束。

3 結(jié)語
本文由面及點(diǎn)地對網(wǎng)絡(luò)化測試系統(tǒng)中采集記錄的網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行了深層次的理解和多視角的剖析。同時為實(shí)現(xiàn)對非結(jié)構(gòu)化海量網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行快速分析處理，對數(shù)據(jù)處理算法和數(shù)據(jù)處理軟件集成進(jìn)行了研究，從接口軟件關(guān)鍵算法設(shè)計(jì)到數(shù)據(jù)系統(tǒng)集成提出了解決方法。并且這些方法已經(jīng)在飛行試驗(yàn)海量網(wǎng)絡(luò)數(shù)據(jù)處理軟件的設(shè)計(jì)過程中應(yīng)用，通過對飛行試驗(yàn)中采集的網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行分析處理，使用這些算法的飛行試驗(yàn)海量網(wǎng)絡(luò)數(shù)據(jù)處理軟件的處理效率滿足飛行試驗(yàn)海量網(wǎng)絡(luò)數(shù)據(jù)處理需求，解決了在飛行試驗(yàn)中的非結(jié)構(gòu)海量網(wǎng)絡(luò)數(shù)據(jù)快速分析處理問題，為新一代機(jī)載網(wǎng)絡(luò)化測試系統(tǒng)應(yīng)用于飛行試驗(yàn)提供了技術(shù)保障。國外許多航空公司已經(jīng)在飛行試驗(yàn)中應(yīng)用網(wǎng)絡(luò)化測試系統(tǒng)，對非結(jié)構(gòu)海量網(wǎng)絡(luò)數(shù)據(jù)分析處理技術(shù)也在進(jìn)行研究。