數(shù)據(jù)倉(cāng)庫(kù)概述與在通信運(yùn)維系統(tǒng)中的應(yīng)用

標(biāo)簽：數(shù)據(jù)倉(cāng)庫(kù) 數(shù)據(jù)庫(kù)

通信運(yùn)營(yíng)維護(hù)的發(fā)展，一直與信息技術(shù)的發(fā)展水平密不可分。從最早期的計(jì)算機(jī)數(shù)據(jù)處理，到今天廣為使用的計(jì)算機(jī)數(shù)據(jù)分析。每一次信息技術(shù)的發(fā)展都會(huì)帶來(lái)通信運(yùn)營(yíng)維護(hù)的變化。在其中，數(shù)據(jù)庫(kù)技術(shù)尤為重要。

數(shù)據(jù)庫(kù)系統(tǒng)直接和運(yùn)營(yíng)維護(hù)系統(tǒng)的核心——運(yùn)營(yíng)數(shù)據(jù)相關(guān)，負(fù)責(zé)數(shù)據(jù)的收集、存儲(chǔ)、更新和運(yùn)算。隨著現(xiàn)代商用數(shù)據(jù)庫(kù)技術(shù)的發(fā)展，作為數(shù)據(jù)庫(kù)技術(shù)分支的數(shù)據(jù)倉(cāng)庫(kù)技術(shù)為當(dāng)前的運(yùn)營(yíng)維護(hù)系統(tǒng)進(jìn)行進(jìn)一步的數(shù)據(jù)分析和應(yīng)用提供了重要的技術(shù)基礎(chǔ)。如何使用數(shù)據(jù)倉(cāng)庫(kù)，合理利用數(shù)據(jù)倉(cāng)庫(kù)提供的能力為運(yùn)營(yíng)系統(tǒng)服務(wù)，往往成為運(yùn)營(yíng)維護(hù)系統(tǒng)的重要問(wèn)題。

在這樣的背景下，本系列結(jié)合通信運(yùn)營(yíng)維護(hù)的客觀需要，以重要的商用數(shù)據(jù)庫(kù)——DB2為例，主要闡述了當(dāng)前重要的數(shù)據(jù)倉(cāng)庫(kù)技術(shù)，以及如何在通信運(yùn)營(yíng)維護(hù)系統(tǒng)中去使用這些現(xiàn)代數(shù)據(jù)庫(kù)技術(shù)去支持運(yùn)維工作。

一、數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)

數(shù)據(jù)庫(kù)已經(jīng)在信息技術(shù)領(lǐng)域有了廣泛的應(yīng)用，我們社會(huì)生活的各個(gè)部門(mén)，幾乎都有各種各樣的數(shù)據(jù)庫(kù)保存著與我們的生活息息相關(guān)的各種數(shù)據(jù)。作為數(shù)據(jù)庫(kù)的一個(gè)分支，數(shù)據(jù)倉(cāng)庫(kù)概念的提出，相對(duì)于數(shù)據(jù)庫(kù)從時(shí)間上就近得多。美國(guó)著名信息工程專(zhuān)家 William Inmon 博士在90年代初提出了數(shù)據(jù)倉(cāng)庫(kù)概念的一個(gè)表述，認(rèn)為：“一個(gè)數(shù)據(jù)倉(cāng)庫(kù)通常是一個(gè)面向主題的、集成的、隨時(shí)間變化的、但信息本身相對(duì)穩(wěn)定的數(shù)據(jù)集合，它用于對(duì)管理決策過(guò)程的支持。”

這里的主題，是指用戶(hù)使用數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行決策時(shí)所關(guān)心的重點(diǎn)方面，如：收入、客戶(hù)、銷(xiāo)售渠道等;所謂面向主題，是指數(shù)據(jù)倉(cāng)庫(kù)內(nèi)的信息是按主題進(jìn)行組織的，而不是像業(yè)務(wù)支撐系統(tǒng)那樣是按照業(yè)務(wù)功能進(jìn)行組織的。

集成，是指數(shù)據(jù)倉(cāng)庫(kù)中的信息不是從各個(gè)業(yè)務(wù)系統(tǒng)中簡(jiǎn)單抽取出來(lái)的，而是經(jīng)過(guò)一系列加工、整理和匯總的過(guò)程，因此數(shù)據(jù)倉(cāng)庫(kù)中的信息是關(guān)于整個(gè)企業(yè)的一致的全局信息。

隨時(shí)間變化，是指數(shù)據(jù)倉(cāng)庫(kù)內(nèi)的信息并不只是反映企業(yè)當(dāng)前的狀態(tài)，而是記錄了從過(guò)去某一時(shí)點(diǎn)到當(dāng)前各個(gè)階段的信息。通過(guò)這些信息，可以對(duì)企業(yè)的發(fā)展歷程和未來(lái)趨勢(shì)做出定量分析和預(yù)測(cè)。

二、數(shù)據(jù)倉(cāng)庫(kù)的應(yīng)用

單純從定義出發(fā)，可能會(huì)把數(shù)據(jù)倉(cāng)庫(kù)簡(jiǎn)單地理解為僅僅是一個(gè)大型的數(shù)據(jù)存儲(chǔ)機(jī)制，是一個(gè)靜態(tài)的概念。實(shí)際上，數(shù)據(jù)倉(cāng)庫(kù)更像一個(gè)過(guò)程，這個(gè)過(guò)程涉及數(shù)據(jù)的收集、整理和加工，生成決策所需要的信息，并且最終把這些信息提供給需要這些信息的使用者，供他們做出改善業(yè)務(wù)經(jīng)營(yíng)的正確決策。數(shù)據(jù)倉(cāng)庫(kù)的重點(diǎn)與要求就是能夠準(zhǔn)確、安全、可靠地從業(yè)務(wù)系統(tǒng)中取出數(shù)據(jù)，經(jīng)過(guò)加工轉(zhuǎn)換成有規(guī)律信息之后，供管理人員進(jìn)行分析使用。因此，數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)動(dòng)態(tài)的過(guò)程，它的基礎(chǔ)，就是現(xiàn)代的數(shù)據(jù)庫(kù)技術(shù)。

單講概念，有些晦澀。任何技術(shù)都是為應(yīng)用服務(wù)的，結(jié)合應(yīng)用可以很容易地理解。以通信運(yùn)維系統(tǒng)為例，數(shù)據(jù)庫(kù)是事務(wù)系統(tǒng)的數(shù)據(jù)平臺(tái)，客戶(hù)打的每一個(gè)電話(huà)，都會(huì)寫(xiě)入數(shù)據(jù)庫(kù)，被記錄下來(lái)，這里，可以簡(jiǎn)單地理解為用數(shù)據(jù)庫(kù)記帳。數(shù)據(jù)倉(cāng)庫(kù)是分析系統(tǒng)的數(shù)據(jù)平臺(tái)，它從事務(wù)系統(tǒng)獲取數(shù)據(jù)，并做匯總、加工，為決策者提供決策的依據(jù)。比如，某地區(qū)某類(lèi)用戶(hù)一個(gè)月打了多少個(gè)電話(huà)，都是多長(zhǎng)時(shí)間的，發(fā)了多少短信，該用戶(hù)當(dāng)前話(huà)費(fèi)余額是多少。如果通話(huà)時(shí)間很長(zhǎng)，而短信很少，那么該用戶(hù)就是一個(gè)偏語(yǔ)音通話(huà)的客戶(hù)了。

顯然，電話(huà)和短信的業(yè)務(wù)量是巨大的，通常以百萬(wàn)甚至千萬(wàn)來(lái)計(jì)算。事務(wù)系統(tǒng)是實(shí)時(shí)的，這就要求時(shí)效性，客戶(hù)打一個(gè)電話(huà)要等十幾秒肯定是無(wú)法忍受的，這就要求數(shù)據(jù)庫(kù)只能存儲(chǔ)很短一段時(shí)間的數(shù)據(jù)。而分析系統(tǒng)是事后的，它要提供關(guān)注時(shí)間段內(nèi)所有的有效數(shù)據(jù)。這些數(shù)據(jù)是海量的，匯總計(jì)算起來(lái)也要慢一些，但是，只要能夠提供有效的分析數(shù)據(jù)就達(dá)到目的了。

從上面的例子可以看出，數(shù)據(jù)庫(kù)是為捕獲數(shù)據(jù)而設(shè)計(jì)，數(shù)據(jù)倉(cāng)庫(kù)是為分析數(shù)據(jù)而設(shè)計(jì)，它的兩個(gè)基本的元素是維表和事實(shí)表。維是看問(wèn)題的角度，比如通話(huà)時(shí)間(什么時(shí)候打的電話(huà))，業(yè)務(wù)類(lèi)型(語(yǔ)音通話(huà)，短信息，數(shù)據(jù)通信)維表放的就是這些東西的定義，事實(shí)表里放著要查詢(xún)的數(shù)據(jù)。

三、數(shù)據(jù)倉(cāng)庫(kù)的特點(diǎn)

數(shù)據(jù)倉(cāng)庫(kù)，是在數(shù)據(jù)庫(kù)已經(jīng)大量存在的情況下，為了進(jìn)一步挖掘數(shù)據(jù)資源、為了決策需要而產(chǎn)生的，它并不是所謂的“大型數(shù)據(jù)庫(kù)”。數(shù)據(jù)倉(cāng)庫(kù)的方案建設(shè)的目的，是為前端查詢(xún)和分析作為基礎(chǔ)，由于有較大的冗余，所以需要的存儲(chǔ)也較大。為了更好地為前端應(yīng)用服務(wù)，數(shù)據(jù)倉(cāng)庫(kù)往往有如下幾點(diǎn)特點(diǎn)：

1. 效率足夠高。數(shù)據(jù)倉(cāng)庫(kù)的分析數(shù)據(jù)一般分為日、周、月、季、年等，可以看出，日為周期的數(shù)據(jù)要求的效率最高，要求24小時(shí)甚至12小時(shí)內(nèi)，客戶(hù)能看到昨天的數(shù)據(jù)分析。由于有的企業(yè)每日的數(shù)據(jù)量很大，設(shè)計(jì)不好的數(shù)據(jù)倉(cāng)庫(kù)經(jīng)常會(huì)出問(wèn)題，延遲1-3日才能給出數(shù)據(jù)，顯然不行的。

2. 數(shù)據(jù)質(zhì)量。數(shù)據(jù)倉(cāng)庫(kù)所提供的各種信息，肯定要準(zhǔn)確的數(shù)據(jù)，但由于數(shù)據(jù)倉(cāng)庫(kù)流程通常分為多個(gè)步驟，包括數(shù)據(jù)清洗，裝載，查詢(xún)，展現(xiàn)等等，復(fù)雜的架構(gòu)會(huì)更多層次，那么由于數(shù)據(jù)源有臟數(shù)據(jù)或者代碼不嚴(yán)謹(jǐn)，都可以導(dǎo)致數(shù)據(jù)失真，客戶(hù)看到錯(cuò)誤的信息就可能導(dǎo)致分析出錯(cuò)誤的決策，造成損失，而不是效益。

3. 擴(kuò)展性。之所以有的大型數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)架構(gòu)設(shè)計(jì)復(fù)雜，是因?yàn)榭紤]到了未來(lái)3-5年的擴(kuò)展性，這樣的話(huà)，未來(lái)不用太快花錢(qián)去重建數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)，就能很穩(wěn)定運(yùn)行。主要體現(xiàn)在數(shù)據(jù)建模的合理性，數(shù)據(jù)倉(cāng)庫(kù)方案中多出一些中間層，使海量數(shù)據(jù)流有足夠的緩沖，不至于數(shù)據(jù)量大很多，就運(yùn)行不起來(lái)了。

從上面的介紹中可以看出，數(shù)據(jù)倉(cāng)庫(kù)技術(shù)可以將企業(yè)多年積累的數(shù)據(jù)喚醒，不僅為企業(yè)管理好這些海量數(shù)據(jù)，而且挖掘數(shù)據(jù)潛在的價(jià)值，從而成為通信企業(yè)運(yùn)營(yíng)維護(hù)系統(tǒng)的亮點(diǎn)之一。正因?yàn)槿绱耍?/p>

廣義的說(shuō)，基于數(shù)據(jù)倉(cāng)庫(kù)的決策支持系統(tǒng)由三個(gè)部件組成：數(shù)據(jù)倉(cāng)庫(kù)技術(shù)，聯(lián)機(jī)分析處理技術(shù)和數(shù)據(jù)挖掘技術(shù)，其中數(shù)據(jù)倉(cāng)庫(kù)技術(shù)是系統(tǒng)的核心，在這個(gè)系列后面的文章里，將圍繞數(shù)據(jù)倉(cāng)庫(kù)技術(shù)，介紹現(xiàn)代數(shù)據(jù)倉(cāng)庫(kù)的主要技術(shù)和數(shù)據(jù)處理的主要步驟，討論在通信運(yùn)營(yíng)維護(hù)系統(tǒng)中如何使用這些技術(shù)為運(yùn)營(yíng)維護(hù)帶來(lái)幫助。