基于可復(fù)用構(gòu)件思想的ETL架構(gòu)設(shè)計(jì)
作者：
時(shí)間：2010-05-08
來(lái)源：網(wǎng)絡(luò)
收藏
加入技術(shù)交流群
掃碼加入
和技術(shù)大咖面對(duì)面交流
海量資料庫(kù)查詢(xún)
2.3 銀聯(lián)統(tǒng)計(jì)分析系統(tǒng)ETL架構(gòu)設(shè)計(jì)
基于可復(fù)用構(gòu)件思想銀聯(lián)統(tǒng)計(jì)分析系統(tǒng)ETL架構(gòu)具體包含六個(gè)功能模塊(如圖3所示)包括：元數(shù)據(jù)抽取模塊、可重用構(gòu)件選擇和導(dǎo)入模塊、數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)自動(dòng)維護(hù)模塊、ETL過(guò)程定義模塊、ETL調(diào)度模塊、ETL構(gòu)件生成模塊。各個(gè)模塊的具體功能分工如下：
(1)元數(shù)據(jù)抽取模塊。這個(gè)模塊主要完成兩項(xiàng)工作：抽取銀聯(lián)業(yè)務(wù)數(shù)據(jù)和維度數(shù)據(jù)元數(shù)據(jù)，并在此基礎(chǔ)上對(duì)系統(tǒng)進(jìn)行更精確的定義，例如銀聯(lián)各類(lèi)數(shù)據(jù)源提供的時(shí)間周期、銀聯(lián)數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)保留的時(shí)間和備份頻率等信息。
(2)可重用構(gòu)件的選擇和導(dǎo)入模塊。在銀聯(lián)統(tǒng)計(jì)分析系統(tǒng)的分析和設(shè)計(jì)階段，已經(jīng)識(shí)別了抽取層、集成轉(zhuǎn)換層等各層有重用價(jià)值的構(gòu)件。為了管理和重用這些構(gòu)件，構(gòu)件選擇和導(dǎo)入模塊的功能有兩個(gè)：第一，從銀聯(lián)構(gòu)件庫(kù)中抽取已經(jīng)封裝的全流水交易數(shù)據(jù)抽取構(gòu)件、集成轉(zhuǎn)換構(gòu)件、KPI轉(zhuǎn)換構(gòu)件、維度類(lèi)數(shù)據(jù)集成轉(zhuǎn)換構(gòu)件(包括商戶(hù)、機(jī)構(gòu)、終端、商戶(hù)類(lèi)別、地區(qū)信息五類(lèi)構(gòu)件)、KPI自動(dòng)測(cè)試類(lèi)構(gòu)件，將其導(dǎo)入到ETL過(guò)程庫(kù)，按照ETL架構(gòu)(見(jiàn)圖1)對(duì)導(dǎo)人的構(gòu)件分層組織，生成系統(tǒng)的ETL過(guò)程框架(如圖4(a)所示)，圖4(a)中的ETL過(guò)程鏈中三個(gè)JOB節(jié)點(diǎn)分別對(duì)應(yīng)ETL架構(gòu)(見(jiàn)圖1)中的抽取層、數(shù)據(jù)集成轉(zhuǎn)換層、特殊處理層，圖4(b)～(d)分別對(duì)應(yīng)各導(dǎo)人構(gòu)件(一個(gè)JOB節(jié)點(diǎn)代表一個(gè)導(dǎo)人構(gòu)件的處理過(guò)程)在這三個(gè)層次中的組織形式。第二，模塊可根據(jù)新項(xiàng)目銀聯(lián)分公司特殊業(yè)務(wù)規(guī)則和指標(biāo)口徑配置每個(gè)構(gòu)件的處理規(guī)則，將配置信息加入元數(shù)據(jù)庫(kù)中。
(3)數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)自動(dòng)維護(hù)模塊。數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)自動(dòng)維護(hù)模塊主要功能是依據(jù)元數(shù)據(jù)庫(kù)中的信息，為銀聯(lián)統(tǒng)計(jì)分析系統(tǒng)完成數(shù)據(jù)倉(cāng)庫(kù)的創(chuàng)建和初始化工作，完成事實(shí)表、維度表創(chuàng)建，完成每個(gè)構(gòu)件需要的配置表、中間表和臨時(shí)表的建立等工作，而這些原本需要用手工來(lái)實(shí)現(xiàn)和維護(hù)的。
(4)ETL過(guò)程定義模塊。在初始框架的基礎(chǔ)上，可通過(guò)ETL定義模塊可視化地定義構(gòu)件庫(kù)中沒(méi)有可重用構(gòu)件的ETL過(guò)程，例如手續(xù)費(fèi)和品牌費(fèi)抽取、商戶(hù)信息抽取(如圖5所示)、終端信息過(guò)程等，使整個(gè)銀聯(lián)統(tǒng)計(jì)分析系統(tǒng)的ETL趨于完善。
(5)ETL調(diào)度模塊。ETL調(diào)度模塊可以根據(jù)系統(tǒng)的調(diào)度設(shè)置，執(zhí)行ETL過(guò)程庫(kù)中的ETL過(guò)程，實(shí)現(xiàn)數(shù)據(jù)抽取、轉(zhuǎn)換、加載、換算等工作。
(6)可重用構(gòu)件生成模塊。對(duì)于新定義的ETL過(guò)程，若可重用價(jià)值高，可通過(guò)ETL構(gòu)件生成模塊從ETL過(guò)程庫(kù)中抽取相應(yīng)ETL處理過(guò)程包裝成可重用構(gòu)件。可重用構(gòu)件一般包括以下內(nèi)容：ETL處理過(guò)程、配置過(guò)程說(shuō)明文檔、相關(guān)表(配置表、中間表和臨時(shí)表)的信息、初始化數(shù)據(jù)、特殊規(guī)則配置功能界面，構(gòu)件這些構(gòu)成部分由ETL構(gòu)件生成模塊分別存入到構(gòu)件庫(kù)中相關(guān)表中。
3 結(jié) 語(yǔ)
這里介紹了一個(gè)基于可復(fù)用構(gòu)件思想的ETL架構(gòu)，以北京銀聯(lián)、江蘇銀聯(lián)、浙江銀聯(lián)等10家省級(jí)銀聯(lián)統(tǒng)計(jì)分析系統(tǒng)為例，介紹了該架構(gòu)各層構(gòu)件的識(shí)別過(guò)程，設(shè)計(jì)了ETL模塊構(gòu)成以及各模塊主要功能。該架構(gòu)已經(jīng)在10家省級(jí)銀聯(lián)分公司的統(tǒng)計(jì)分析系統(tǒng)的ETL構(gòu)建中應(yīng)用，實(shí)踐表明該架構(gòu)是有效的，它能夠在比較短的時(shí)間內(nèi)完成統(tǒng)計(jì)分析系統(tǒng)的構(gòu)建，可有效縮短系統(tǒng)的開(kāi)發(fā)周期，大幅度降低各分公司的時(shí)間成本和資金成本，對(duì)于推動(dòng)數(shù)據(jù)倉(cāng)庫(kù)和商業(yè)智能在銀聯(lián)各個(gè)省級(jí)分公司的應(yīng)用有顯著意義和使用價(jià)值。
評(píng)論