面向中小企業(yè)智能數(shù)據(jù)處理工具

五、系統(tǒng)的結(jié)構(gòu)

系統(tǒng)分為兩大部分棗分析設(shè)計部分和應(yīng)用系統(tǒng)部分，分別面向企業(yè)IS（信息系統(tǒng)管理員）人員與企業(yè)管理人員，IS人員除了負(fù)責(zé)高級數(shù)據(jù)分析工作以外，還負(fù)責(zé)為管理人員設(shè)計具體應(yīng)用系統(tǒng)，由于大部分具體的應(yīng)用工作可以由管理人員來完成，所以從另一個方面緩解了信息人才缺乏的問題。應(yīng)用系統(tǒng)部分的功能結(jié)構(gòu)圖見圖一，設(shè)計部分功能結(jié)構(gòu)圖見圖二。系統(tǒng)中最重要的是“描述層”的設(shè)計。

在一般的商業(yè)用戶訪問數(shù)據(jù)時，他們最擔(dān)心的往往是復(fù)雜的數(shù)據(jù)庫術(shù)語和繁復(fù)的數(shù)據(jù)庫操作。如何才能賦予這些商業(yè)用戶自主訪問數(shù)據(jù)庫和數(shù)據(jù)倉庫中信息的能力，使他們可以把那些數(shù)據(jù)庫術(shù)語和操作拋之腦后呢？我們在此使用了一種稱為“描述層”的技術(shù)來解決這個問題。在使用了“描述層”技術(shù)后，不但解決了一般商業(yè)用戶擔(dān)心的問題，而且同時也提供了IS人員控制和管理數(shù)據(jù)訪問所必須的工具。這一技術(shù)把復(fù)雜的數(shù)據(jù)庫結(jié)構(gòu)描述成易于理解的業(yè)務(wù)術(shù)語，把商業(yè)用戶同技術(shù)性的數(shù)據(jù)庫術(shù)語以及復(fù)雜的SQL訪問語言分離開來。它就像一個透鏡，用戶可以通過它來看數(shù)據(jù)倉庫。這樣最終用戶無須具備計算機專業(yè)知識，更不必是數(shù)據(jù)庫方面的專家，就能夠自主地訪問公共數(shù)據(jù)，分析信息，從而更好地理解企業(yè)發(fā)展的趨勢，作出明智的決策。

“描述層”可以被稱為一個覆蓋在數(shù)據(jù)庫內(nèi)部數(shù)據(jù)對象之上的一個解釋層，是用戶和數(shù)據(jù)庫之間的一個代碼翻譯層，也就是將數(shù)據(jù)庫中比較凌亂、復(fù)雜的數(shù)據(jù)對象（例如：存儲在數(shù)據(jù)表中的各個字段的記錄）通過預(yù)先定義好的規(guī)則（“描述層”）過濾轉(zhuǎn)換成實際使用的業(yè)務(wù)對象，例如：人員姓名、物資類型等等。同時，“描述層”的功能不僅僅在于過濾和映射，還可以對數(shù)據(jù)通過預(yù)先定義好的規(guī)則進行重組，例如在數(shù)據(jù)庫中沒有的高層數(shù)據(jù)（比如：通過價格和銷售量在本地提取銷售額），所以我們可以通過“描述層”給數(shù)據(jù)庫增加一些不存在而又有實際意義的內(nèi)容。另外，我們還可以利用“描述層”來增加數(shù)據(jù)庫中數(shù)據(jù)所包含的信息量（比如：建立某一字段的分類規(guī)則，使數(shù)據(jù)庫中的記錄可以分屬于不同的類別，具體的例子是，按銷售業(yè)績多少分為優(yōu)、良、中、差，用戶就可以直接用諸如 “銷售業(yè)績=優(yōu)”之類的條件進行查詢；類似的還有分層規(guī)則等其它許多規(guī)則）。最后，我們還可以在“描述層”中加入一些預(yù)定義的條件，在以后的查詢或分析時，就可以直接從“描述層”中提取條件。使用“描述層”重組數(shù)據(jù)的實際意義在于：數(shù)據(jù)庫內(nèi)大量珍貴的數(shù)據(jù)資源不再是只有數(shù)據(jù)庫開發(fā)人員才能理解的“天書”，通過“描述層”的解釋和組織，大多數(shù)不具備計算機專業(yè)知識的業(yè)務(wù)人員，可以直接使用這些數(shù)據(jù)。

在這個部分，主要的工作就是兩點，即“描述層”的定義與解釋。在“描述層”的定義部分，要進行各種不同類型的定義，具體來說就是上一段提到的幾種類型，然后將各個類型的定義作為元數(shù)據(jù)進行存儲。在定義的過程中，必然要通過數(shù)據(jù)庫連接工具來對數(shù)據(jù)庫或數(shù)據(jù)倉庫進行訪問，再按照數(shù)據(jù)庫的結(jié)構(gòu)和內(nèi)容來設(shè)計各個不同的“描述”。另外，在以后使用本系統(tǒng)的其它主體部分如查詢、報表、分析和數(shù)據(jù)挖掘部分時，將用到“描述層”中定義的“描述”，這是就需要“描述層”的解釋部分來進行解釋，將“描述”語言翻譯為數(shù)據(jù)庫能夠接受的語言。

本軟件設(shè)計中的另一個重點是體現(xiàn)商業(yè)智能化的數(shù)據(jù)挖掘功能，隨著數(shù)據(jù)庫技術(shù)的不斷發(fā)展及數(shù)據(jù)庫管理系統(tǒng)的廣泛應(yīng)用，數(shù)據(jù)庫中存儲的數(shù)據(jù)量急劇增大，可是目前用于對這些數(shù)據(jù)進行分析處理的工具卻很少。現(xiàn)在所能做到的只是對數(shù)據(jù)庫中已有的數(shù)據(jù)進行由人驅(qū)動的分析，人們通過這些數(shù)據(jù)所獲得的信息量僅僅是整個數(shù)據(jù)庫所包含的信息量的一部分，隱藏在這些數(shù)據(jù)之后的更重要的信息是關(guān)于這些數(shù)據(jù)的整體特征的描述及對其發(fā)展趨勢的預(yù)測，這些信息在決策生成的過程中具有重要的參考價值。

數(shù)據(jù)庫中的知識發(fā)現(xiàn)（KDD）就是利用機器學(xué)習(xí)的方法從數(shù)據(jù)庫中提取有價值知識的過程，是數(shù)據(jù)庫技術(shù)和機器學(xué)習(xí)兩個學(xué)科的交叉學(xué)科。數(shù)據(jù)庫技術(shù)側(cè)重于對數(shù)據(jù)存儲處理的高效率方法的研究，而機器學(xué)習(xí)則側(cè)重于設(shè)計新的方法從數(shù)據(jù)中提取知識。KDD利用數(shù)據(jù)庫技術(shù)對數(shù)據(jù)進行前端處理，而利用機器學(xué)習(xí)方法則從處理后的數(shù)據(jù)中提取有用的知識。KDD與其他學(xué)科也有很強的聯(lián)系，如統(tǒng)計學(xué)、數(shù)學(xué)和可視化技術(shù)等等。

在我們的系統(tǒng)中，將實現(xiàn)一個完整的KDD工具，也可以稱為數(shù)據(jù)挖掘（Data Mining）工具。因為我們要面向廣大商業(yè)用戶，所以我們的系統(tǒng)特別注重對用戶與數(shù)據(jù)庫交互的支持，由用戶根據(jù)數(shù)據(jù)庫中的數(shù)據(jù)，選擇一種模型，然后選擇有關(guān)數(shù)據(jù)進行知識的挖掘，并不斷對模型的數(shù)據(jù)進行調(diào)整優(yōu)化。整個處理過程分為下面一些步驟：

數(shù)據(jù)發(fā)現(xiàn)：了解任務(wù)所涉及的原始數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)及數(shù)據(jù)所代表的意義，并從數(shù)據(jù)庫中提取相關(guān)數(shù)據(jù)。

數(shù)據(jù)清理：對用戶的數(shù)據(jù)進行清理以使其適于后續(xù)的數(shù)據(jù)處理。這需要用戶的背景知識，同時也應(yīng)該根據(jù)實際的任務(wù)確定清理規(guī)則。

模型的確定：通過對數(shù)據(jù)的分析選擇一個初始的模型。模型定義一般分為三個步驟：數(shù)據(jù)分隔，模型選擇和參數(shù)選擇。在我們的系統(tǒng)中，主要引入了關(guān)聯(lián)規(guī)則模型和分類模型。

數(shù)據(jù)分析：對選中的模型進行詳細(xì)定義，確定模型的類型及有關(guān)屬性；通過對相關(guān)數(shù)據(jù)的計算，計算模型的有關(guān)參數(shù)，得到模型的各屬性值；通過測試數(shù)據(jù)對得到的模型進行測試和評價；根據(jù)評價結(jié)果對模型進行優(yōu)化。

輸出結(jié)果生成：數(shù)據(jù)分析的結(jié)果一般都比較復(fù)雜，很難被人理解，將結(jié)果以文檔或圖表形式表現(xiàn)出來則易于被人接受。

在KDD過程中，最重要的是其中的數(shù)據(jù)挖掘部分，即模型和相關(guān)屬性的確定。我們計劃采用其中應(yīng)用最廣泛的兩個模型，分別是關(guān)聯(lián)規(guī)則和分類規(guī)則，以下作詳細(xì)的介紹。

關(guān)聯(lián)規(guī)則是形式如下的一種規(guī)則，“在購買面包和黃油的顧客中，有90％的人同時也買了牛奶”（面包＋黃油=>牛奶 ）。用于關(guān)聯(lián)規(guī)則發(fā)現(xiàn)的主要對象是事務(wù)型數(shù)據(jù)庫，其中最典型的應(yīng)用則是售貨數(shù)據(jù)，一個事務(wù)一般由如下幾個部分組成：事務(wù)處理時間，一組顧客購買的物品，有時也有顧客標(biāo)識號（如信用卡號）。如果對這些歷史事務(wù)數(shù)據(jù)進行分析，則可對顧客的購買行為提供極有價值的信息。例如，可以幫助如何擺放貨架上的商品（如把顧客經(jīng)常同時買的商品放在一起），幫助如何規(guī)劃市場（怎樣相互搭配進貨）。由此可見，從事務(wù)數(shù)據(jù)中發(fā)現(xiàn)關(guān)聯(lián)規(guī)則，對于改進零售業(yè)等商業(yè)活動的決策非常重要。隨著應(yīng)用的推廣，關(guān)聯(lián)規(guī)則已經(jīng)在許多領(lǐng)域發(fā)揮作用，成為最典型的數(shù)據(jù)挖掘應(yīng)用。

分類也是數(shù)據(jù)挖掘中的一項非常重要的任務(wù)。分類的目的是學(xué)會一個分類函數(shù)或分類模型（也常常稱作分類器），該模型能把數(shù)據(jù)庫中的數(shù)據(jù)項映射到給定類別中的某一個。分類的應(yīng)用實例也很多，比較典型的由保險公司的保費設(shè)置。保險公司成功的一個關(guān)鍵因素是在設(shè)置具有競爭力保費和覆蓋風(fēng)險之間選擇一種平衡。保險市場競爭激烈，設(shè)置過高的保費意味著失去市場，而保費過低又會影響公司的贏利。保費通常是通過對一些主要的因素（如駕駛員的年齡、車輛的類型等）進行多種分析和直覺判斷來確定。由于投資組合的數(shù)量很大，分析方法通常是粗略的。采用分類進行數(shù)據(jù)挖掘以后，就可以利用計算機處理海量數(shù)據(jù)的能力來進行合理的分類，定出合理的保費，使保險公司得到最大收益。