基于云計(jì)算技術(shù)的日志管理系統(tǒng)

摘要

計(jì)算機(jī)技術(shù)經(jīng)歷了并行計(jì)算、集群/分布式計(jì)算、網(wǎng)格計(jì)算等發(fā)展，現(xiàn)在已步入云計(jì)算時(shí)代。20世紀(jì)80年代，升陽(yáng)（Sun Microsystems）提出了“網(wǎng)絡(luò)式電腦”NC概念，21世紀(jì)初，Amazon通過(guò)打包、自助服務(wù)等業(yè)務(wù)出租其IT設(shè)備，并取得了空前的成功。隨著云計(jì)算案例的成功，其影響力也正在逐步展開(kāi)。本文闡述了從興技術(shù)云計(jì)算在電信級(jí)系統(tǒng)海量日志管理的設(shè)計(jì)方案，望拋磚引玉。

正文

隨著通信技術(shù)的不斷發(fā)展，用戶對(duì)新業(yè)務(wù)的需求以及對(duì)服務(wù)質(zhì)量的要求也不斷提升。通訊運(yùn)營(yíng)商需要適應(yīng)新形式的要求，必須做出相應(yīng)的調(diào)整。如以前的離線計(jì)費(fèi)升級(jí)為在線實(shí)時(shí)計(jì)費(fèi)；又或者升級(jí)新的通訊設(shè)備，等等。由此帶來(lái)了一項(xiàng)新的挑戰(zhàn)，即新環(huán)境產(chǎn)生大量的以前不曾有過(guò)的日志，并帶來(lái)相關(guān)的問(wèn)題，如：日志文件分散存放，數(shù)量多，可直接查閱日志文件保存周期短，極不便于運(yùn)維；日志格式不一致，可閱讀性過(guò)低；查詢費(fèi)時(shí)或超時(shí)，效率低下；相關(guān)日志的關(guān)聯(lián)性低，無(wú)法清晰定位；大量的日志無(wú)法統(tǒng)計(jì)，無(wú)法準(zhǔn)確的分析業(yè)務(wù)；

由于相關(guān)法規(guī)、政策或商業(yè)上的要求，運(yùn)營(yíng)商無(wú)法回避以上問(wèn)題，必須保留、查詢、分析處理這些大數(shù)據(jù)。基于關(guān)系型的傳統(tǒng)數(shù)據(jù)庫(kù)無(wú)法滿足新形式下的要求，從興技術(shù)憑借自身在通訊行業(yè)的經(jīng)驗(yàn)與優(yōu)勢(shì)，依托云計(jì)算技術(shù)，建設(shè)了一個(gè)高效的通用云計(jì)算平臺(tái)，將日志管理系統(tǒng)作為云平臺(tái)的一個(gè)業(yè)務(wù)系統(tǒng)建設(shè)。這樣設(shè)計(jì)的最大優(yōu)勢(shì)是業(yè)務(wù)系統(tǒng)作為上層應(yīng)用，具備良好的擴(kuò)展性和可堆疊性，滿足信息的交換和處理，避免信息系統(tǒng)煙囪式的發(fā)展。

從興SKCP（Smart Keen Cloud Platform）基于HDFS、M/R和Cassandra為核心的SK-Hadoop功能和SK-Store功能；以Flume為基礎(chǔ)的SK-Pipe系統(tǒng)具備了高效的實(shí)時(shí)采集功能；配合SK-DETL分布式的ETL的任務(wù)設(shè)計(jì)、調(diào)度等功能，可實(shí)現(xiàn)日志數(shù)據(jù)的高效ETL.強(qiáng)大的企業(yè)管理器（SK-Admin）能對(duì)平臺(tái)、節(jié)點(diǎn)、任務(wù)進(jìn)行監(jiān)控和管理等。

基于SKCP的日志管理系統(tǒng)的主要功能架構(gòu)如下：

采集子系統(tǒng)提供了批量采集和實(shí)時(shí)采集功能。批量采集將系統(tǒng)各模塊日志文件按目錄采集到相應(yīng)的目錄中，以便入庫(kù)。實(shí)時(shí)采集將系統(tǒng)模塊正在產(chǎn)生日志文件實(shí)時(shí)傳輸?shù)饺罩驹破脚_(tái)。日志采集支持對(duì)采集文件進(jìn)行壓縮，減輕網(wǎng)絡(luò)傳輸壓力。支持對(duì)海量的小批量采集文件進(jìn)行合并處理，以提高入庫(kù)效率

日志云平臺(tái)提供了程序發(fā)布和運(yùn)行管理、系統(tǒng)資源監(jiān)控；并提供日志云平臺(tái)定時(shí)任務(wù)，如數(shù)據(jù)清理或數(shù)據(jù)遷移等。日志云平臺(tái)支持聯(lián)機(jī)在線下的新節(jié)點(diǎn)加入或退出。

日志分析模塊采用XML文件配置方式，支持文件名稱的匹配和字段解析匹配，具備靈活的自定義功能。

日志入庫(kù)模塊提供基礎(chǔ)調(diào)度功能，按照業(yè)務(wù)的要求將數(shù)據(jù)加載到云平臺(tái)中，支持霍夫曼壓縮算法，支持多節(jié)點(diǎn)的分布式入庫(kù)。

頁(yè)面查詢展示根據(jù)請(qǐng)求查詢?cè)破脚_(tái)得到相應(yīng)的數(shù)據(jù)，并返回去前臺(tái)展現(xiàn)。支持均衡負(fù)載，減少單個(gè)節(jié)點(diǎn)上的負(fù)擔(dān)。

系統(tǒng)部署邏輯圖：

系統(tǒng)完成部署并成功試商用。系統(tǒng)負(fù)載量為：業(yè)務(wù)系統(tǒng)每天日志總量約為2.8 T，按1：6的壓縮比來(lái)計(jì)算，壓縮后每天的日志量約500G左右；單節(jié)點(diǎn)入庫(kù)速度平均10M+每秒；平均壓縮比為2.5：1，數(shù)據(jù)冗余系數(shù)2；數(shù)據(jù)平均存儲(chǔ)周期1+1個(gè)月，目前設(shè)計(jì)存儲(chǔ)容量為40T，不使用磁盤(pán)陣列集中存儲(chǔ)。

從實(shí)際運(yùn)行情況考慮，基于從興技術(shù)云平臺(tái)的日志管理系統(tǒng)，采用成熟的技術(shù)，更低的成本、更高的業(yè)務(wù)效率，提供了完整的海量日志解決方案。