基于集群技術(shù)的RFID 中間件研究與開發(fā)

3系統(tǒng)實現(xiàn)

3.1組件定義

組件是系統(tǒng)最基本的功能模塊,每個層次的服務(wù)都是通過多個組件串行或者并行組合來實現(xiàn)其功能的。設(shè)備管理層的基本組件就是device組件,每個device組件對應(yīng)一個實際讀寫器,所有的device組件并行工作就組成了設(shè)備管理層。數(shù)據(jù)處理層的基本組件是各種過濾器,包括冗余過濾器、位過濾器等等,多個過濾器串行工作,使得要處理的數(shù)據(jù)依次通過這些過濾器,則實現(xiàn)了數(shù)據(jù)處理層的工作。

3.2組件結(jié)構(gòu)

每個組件都包含輸入和輸出,在這里輸入和輸出都要掛在數(shù)據(jù)緩存總線上,各個節(jié)點的數(shù)據(jù)緩存總線都有分布式緩存服務(wù)來管理,并且生成一致的數(shù)據(jù)視圖,這樣就把分布在各個節(jié)點的組件通過分布式緩存服務(wù)整合了起來。結(jié)構(gòu)如下:

3.3組件類型

在確定組件協(xié)同工作機制之前,首先需要定義一下組件的類型:有狀態(tài)組件和無狀態(tài)組件。

有狀態(tài)組件:輸出結(jié)果的產(chǎn)生不只依賴當(dāng)前的輸入數(shù)據(jù),還依賴于之前的輸入數(shù)據(jù)。每一次輸入數(shù)據(jù)都會對后續(xù)結(jié)果的產(chǎn)生有影響。設(shè)備管理層的device組件就是一個有狀態(tài)組件,因為device組件中維護著與讀寫器之間的連接,該連接是有狀態(tài)的,所以device組件也是有狀態(tài)的。數(shù)據(jù)處理層的冗余過濾器也是有狀態(tài)的組件,因為每次輸出結(jié)果時都要判斷指定時間內(nèi)是否存在相同的數(shù)據(jù)。應(yīng)用程序級接口層的EventCycle組件CommandCycle組件也是有狀態(tài)的組件,因為產(chǎn)生的報告與指定時間段內(nèi)的所有數(shù)據(jù)有關(guān)。

無狀態(tài)組件:輸出結(jié)果的產(chǎn)生只與當(dāng)前的輸入數(shù)據(jù)有關(guān)。在輸入數(shù)據(jù)確定的情況下,輸出數(shù)據(jù)也是確定的。數(shù)據(jù)處理層中的位過濾器是無狀態(tài)組件,因為它只需要根據(jù)當(dāng)前數(shù)據(jù)數(shù)據(jù)的EPC碼來判斷是否符合過濾條件,與之前狀態(tài)無關(guān)。應(yīng)用程序級接口層的Dispatcher組件,負責(zé)將產(chǎn)生的報告分發(fā)至指定URI,也是一個無狀態(tài)組件。

3.4負載均衡

根據(jù)組件分類,有狀態(tài)組件和無狀態(tài)組件我們將采用不同的策略。

對于無狀態(tài)組件,由于不涉及之前輸入數(shù)據(jù)的狀態(tài),數(shù)據(jù)即時產(chǎn)生即時處理。因此,我們在集群每一個節(jié)點處都創(chuàng)建出所有的無狀態(tài)組件,每個節(jié)點的無狀態(tài)組件將通過一定負載均衡策略來獲得數(shù)據(jù)的處理權(quán),從而將數(shù)據(jù)計算處理的工作量分散到各個節(jié)點。

可以采用的負載均衡策略目前有2種:

輪詢調(diào)度算法(Round-RobinScheduling):針對每一個層次,把來自數(shù)據(jù)緩存總線的數(shù)據(jù)輪流分配給集群中各個節(jié)點,從1開始,直到N(集群內(nèi)節(jié)點數(shù)),然后重新開始循環(huán)。由于無狀態(tài)組件不會占用高消耗的系統(tǒng)資源,如數(shù)據(jù)庫連結(jié)、Socket連接等(如果擁有連接,該組件應(yīng)屬于有狀態(tài)組件),因此輪詢調(diào)度算法基本可以實現(xiàn)無狀態(tài)組件在各個節(jié)點上處理能力的負載均衡。

就近調(diào)度算法:在各個層次中,無狀態(tài)組件一般要與有狀態(tài)組件相結(jié)合,共同完成該層次所提供的功能。就近調(diào)度算法就是根據(jù)有狀態(tài)組件所處節(jié)點位置,來決定無狀態(tài)組件所處位置,使該層次中所有無狀態(tài)組件與有狀態(tài)組件處于同一個節(jié)點。這種算法的優(yōu)點就是當(dāng)一個層次中所有串行操作的組件都處于同一個節(jié)點時,數(shù)據(jù)在每一個組件處理完成時不必在不同的節(jié)點間遷移,大大減少了數(shù)據(jù)遷移時的時間延遲。該算法的缺點就是,負載均衡的效果很大程度上取決于有狀態(tài)組件的分布情況對于有狀態(tài)組件,參見后面的組件調(diào)度策略。

3.5組件調(diào)度策略

該策略主要用來分配有狀態(tài)組件在各個節(jié)點的分布,位于組件管理模塊中。

1)平均分配策略

平均分配策略即將每個層次中的有狀態(tài)組件平均的分配到各個節(jié)點中。

該策略的優(yōu)點是實現(xiàn)簡單,在加入新節(jié)點或者節(jié)點故障時也比較容易在集群中重新分配組件。

該策略的缺點是大量的數(shù)據(jù)遷移帶來不可忽視的延遲。不同層次間的數(shù)據(jù)可能需要遷移到不同的節(jié)點,來移交給下一個層次的組件來處。相同層次內(nèi),也有能由多個組件組成一個串行操作,當(dāng)這些組件位于不同節(jié)點時,也會帶來大量的層次內(nèi)組件間的數(shù)據(jù)遷移。

2)流水分配策略

如上圖所示,流水分配策略就是類似于流水線作業(yè),按層次分配組件,將相同層次的組件放在相同的節(jié)點中。

該策略的優(yōu)點是實現(xiàn)也相對比較簡單。使得相同節(jié)點內(nèi)串行操作組件的數(shù)據(jù)全部位于本地節(jié)點內(nèi),完全消除這類數(shù)據(jù)操作遠程存儲和數(shù)據(jù)遷移的時間延遲。

該策略的缺點是不能做到負載均衡,不同層次間的計算量差異較大,也就導(dǎo)致了不同節(jié)點間的負載不均衡。不同節(jié)點層次間的數(shù)據(jù)遷移量很大,對于這一點可以利用分布式緩存服務(wù)的批量遷移功能,減少遷移次數(shù),增大每次的遷移數(shù)據(jù)量,來減少時間延遲。

3)并行分配策略

并行分配策略就是類似于并行作業(yè),將處理相同邏輯的讀寫器定義為一個邏輯讀寫器組,從邏輯讀寫器組出發(fā),跟蹤數(shù)據(jù)流動的路徑,將數(shù)據(jù)流經(jīng)的所有的組件都分配在同一個節(jié)點處。

該策略的優(yōu)點是使得數(shù)據(jù)的本地副本只在一個節(jié)點內(nèi)傳遞,盡可能的消除數(shù)據(jù)遠程調(diào)用和數(shù)據(jù)遷移的時間延遲,復(fù)制緩存服務(wù)也可以批量異步的完成備份數(shù)據(jù)的更新操作。

該策略的缺點是程序?qū)崿F(xiàn)的復(fù)雜度高,當(dāng)邏輯不相關(guān)的組件之間的交叉引用增多時,該策略的效率將會明顯下降。這種情況下,應(yīng)當(dāng)考慮重新設(shè)計組件架構(gòu),適當(dāng)增加重復(fù)組件,以減少不相關(guān)組件之間的交叉引用關(guān)系。

4小結(jié)

本文第一次將集群技術(shù)引入到RFID中間件中來。并且討論了分布式數(shù)據(jù)管理和組件調(diào)度策略。分布式數(shù)據(jù)管理通過分布式緩存服務(wù)形成同一的數(shù)據(jù)視圖,使得每個節(jié)點都可以訪問到其他節(jié)點的數(shù)據(jù);通過復(fù)制緩存服務(wù)為每一個數(shù)據(jù)在不同節(jié)點產(chǎn)生一個備份,使得數(shù)據(jù)具有高可靠性和高可用性。組件調(diào)度策略是把所有的組件分配到不同的節(jié)點去,以實現(xiàn)系統(tǒng)的高擴展性和高性能。最終實現(xiàn)了RFID中間件的高可靠性、高可用性、高擴展性、高性能。

本文作者創(chuàng)新點:本文第一次將集群技術(shù)引入到RFID中間件中來,并且討論了分布式數(shù)據(jù)管理和組件調(diào)度策略在中間件中的實現(xiàn),最終實現(xiàn)了RFID中間件的高可靠性、高可用性、高擴展性、高性能。