基于關(guān)聯(lián)規(guī)則的醫(yī)生診療數(shù)據(jù)挖掘系統(tǒng)的實現(xiàn)

數(shù)據(jù)挖掘從20世紀80年代提出到現(xiàn)在，不過短短20多年的時間，但其應(yīng)用已非常廣泛，不僅用于科研領(lǐng)域，在商業(yè)領(lǐng)域的應(yīng)用也毫不遜色，尤其是用于銀行、電信、保險、交通、零售(如超級市場)等領(lǐng)域。數(shù)據(jù)挖掘在醫(yī)學(xué)領(lǐng)域的應(yīng)用也有著廣泛的前景。在醫(yī)學(xué)領(lǐng)域存在著大量的數(shù)據(jù)，包括病人病史、診斷、檢驗、和治療的臨床信息，藥品管理信息，醫(yī)院管理信息等。數(shù)據(jù)挖掘應(yīng)用到醫(yī)學(xué)領(lǐng)域，對醫(yī)學(xué)數(shù)據(jù)進行分析，提取隱含的有價值的信息能夠促進醫(yī)院管理者作出明智決策、醫(yī)生對病人的正確診斷和治療。這對促進人類健康、保持健康的生活質(zhì)量都有積極的意義。

1 基于關(guān)聯(lián)規(guī)則數(shù)據(jù)挖掘技術(shù)分析

1.1 數(shù)據(jù)挖掘概述

1.1.1 數(shù)據(jù)挖掘的定義

數(shù)據(jù)挖掘就是從大量的、不完全的、有噪聲的、模糊的、隨機的數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的、但又是潛在的有用信息和知識的過程。這個定義包含幾層含義，數(shù)據(jù)源必須是真實的、大量的、含噪聲的;發(fā)現(xiàn)的是用戶感興趣的知識;發(fā)現(xiàn)的知識要可接受、可理解、可運用;并不要求發(fā)現(xiàn)放之四海而皆準的知識，僅需支持特定的發(fā)現(xiàn)問題。

1.1.2 數(shù)據(jù)挖掘的過程

數(shù)據(jù)挖掘過程一般需要經(jīng)歷數(shù)據(jù)準備、數(shù)據(jù)開采、結(jié)果表述和解釋三個主要步驟。

(1)數(shù)據(jù)準備。數(shù)據(jù)準備是數(shù)據(jù)挖掘中的一個重要步驟，數(shù)據(jù)準備是否做好將直接影響到數(shù)據(jù)挖掘的效率、準確度以及最終模式的有效性。這個階段又可以進一步分為三個子步驟：數(shù)據(jù)集成、數(shù)據(jù)選擇、數(shù)據(jù)預(yù)處理。

(2)數(shù)據(jù)開采。數(shù)據(jù)開采階段選定某個特定的數(shù)據(jù)挖掘算法(如關(guān)聯(lián)規(guī)則、分類、回歸、聚類等算法)，用于搜索數(shù)據(jù)中的模式。這是數(shù)據(jù)挖掘過程中最關(guān)鍵的一步，也是技術(shù)難點。

(3)結(jié)果表述和解釋。根據(jù)最終用戶的決策目的，對提取的信息進行分析，把最有價值的信息區(qū)分出來，并且通過決策支持工具提交給決策者。因此，這一步驟的任務(wù)不僅是把結(jié)果表達出來，還要對信息進行過濾處理。如果不能令決策者滿意，需要重復(fù)以上的數(shù)據(jù)挖掘過程。

1.2 關(guān)聯(lián)規(guī)則概述

給定一個事務(wù)(交易)數(shù)據(jù)庫，人們往往希望發(fā)現(xiàn)事務(wù)中的關(guān)聯(lián)事實，即事務(wù)中一些項目的出現(xiàn)必定隱含著同次事務(wù)中其他項目的出現(xiàn)，這是關(guān)聯(lián)規(guī)則的一個簡單的描述。

設(shè)I ={t1,t2 ,-,tm} 是由m 個不同項目組成的集合，D 是交易數(shù)據(jù)庫(交易數(shù)據(jù)庫又稱事務(wù)數(shù)據(jù)庫)，其中每一個交易或事務(wù)T 是I 中一些項目的集合，即T- I.每一個交易或事務(wù)T 都與一個惟一的標識符TID 相聯(lián)。

對于項目集X-I,如果X-T,則交易或事務(wù)T 支持X.

如果X 中有k 個項目，則又稱X 為k- 項目集，或X 的長度為k.

關(guān)聯(lián)規(guī)則是指形式如下的一種數(shù)據(jù)隱含關(guān)系：X -Y,其中X - I,Y-I,且X-Y = -.

關(guān)聯(lián)規(guī)則挖掘的任務(wù)是：在給定的交易或事務(wù)數(shù)據(jù)庫D 中，發(fā)現(xiàn)D 中所有的頻繁關(guān)聯(lián)規(guī)則。所謂頻繁關(guān)聯(lián)規(guī)則是指這些規(guī)則的支持度、置信度分別不低于用戶給定的最小支持度和最小置信度。

2 ARFDW 系統(tǒng)設(shè)計與實現(xiàn)

2.1 ARFDW系統(tǒng)框架需求分析

作為通用的數(shù)據(jù)挖掘框架，ARFDW 要提供對不同操作系統(tǒng)、不同處理平臺的支持;對異構(gòu)數(shù)據(jù)源的支持;支持多樣化、可插拔、可組合的數(shù)據(jù)轉(zhuǎn)換功能;提供統(tǒng)一的管理和調(diào)度功能;處理程序的繼承和開放性;要有清晰的框架處理層次以及對元數(shù)據(jù)的管理等。下面對框架的關(guān)鍵需求進行描述。

2.1.1 建立挖掘主題

系統(tǒng)應(yīng)該支持挖掘主題的建立。在對被挖掘?qū)ο筮M行充分分析并確定挖掘主題及數(shù)據(jù)來源后，系統(tǒng)能夠通過挖掘主題配置工具來創(chuàng)建挖掘主題及關(guān)聯(lián)維度，并生成相應(yīng)數(shù)據(jù)庫表及數(shù)據(jù)記錄映射對象。

2.1.2 異構(gòu)數(shù)據(jù)源數(shù)據(jù)抽取

作為通用框架，系統(tǒng)應(yīng)該支持盡可能多的異構(gòu)數(shù)據(jù)源，異構(gòu)數(shù)據(jù)源包括不同廠商、不同版本的數(shù)據(jù)庫，不同格式的文本等。如ODBC 數(shù)據(jù)源、(非ODBC)各種關(guān)系型數(shù)據(jù)庫數(shù)據(jù)源、應(yīng)用數(shù)據(jù)、電子商務(wù)數(shù)據(jù)、各種文件格式中數(shù)據(jù)等;同時提供通用數(shù)據(jù)訪問接口：該接口能夠跨平臺、網(wǎng)絡(luò)訪問數(shù)據(jù)，支持在不同類型數(shù)據(jù)源間建立連接，通過它可以屏蔽各種數(shù)據(jù)源之間的差異，為后序工作提供一個統(tǒng)一的數(shù)據(jù)視圖。

2.1.3 建立轉(zhuǎn)換規(guī)則

由于業(yè)務(wù)系統(tǒng)的開發(fā)一般會有一個較長的時間跨度，這就造成同一種數(shù)據(jù)在業(yè)務(wù)系統(tǒng)中可能會有多種完全不同的存儲格式。這就要求ETL工具必須對抽取到的數(shù)據(jù)能進行靈活的計算、合并、拆分等轉(zhuǎn)換操作，系統(tǒng)要能夠不斷地以插件形式添加轉(zhuǎn)換節(jié)點的種類，就可以不斷地增強ETL工具的功能，以應(yīng)付各種各樣的數(shù)據(jù)不一致的問題。

2.1.4 執(zhí)行定時任務(wù)