國(guó)產(chǎn)數(shù)據(jù)庫(kù)TPC-C基準(zhǔn)性能測(cè)試應(yīng)用與分析

　　　隨著十二五規(guī)劃國(guó)家重大專項(xiàng)的制定發(fā)布，將國(guó)產(chǎn)數(shù)據(jù)庫(kù)的發(fā)展列入國(guó)家基礎(chǔ)軟件重點(diǎn)支持對(duì)象之一。同時(shí)，國(guó)產(chǎn)數(shù)據(jù)庫(kù)的應(yīng)用也變得越來(lái)越廣泛，目前需要對(duì)國(guó)產(chǎn)數(shù)據(jù)庫(kù)的質(zhì)量與國(guó)外數(shù)據(jù)庫(kù)質(zhì)量進(jìn)行對(duì)比的需要日益迫切，而重點(diǎn)又圍繞著數(shù)據(jù)庫(kù)處理的效率問(wèn)題。因此，我們選擇了TPC-C的測(cè)試標(biāo)準(zhǔn)對(duì)此加以測(cè)試。本文描述了TPC-C的標(biāo)準(zhǔn)，同時(shí)提出了TPC-C的的設(shè)計(jì)與實(shí)現(xiàn)方式，最后通過(guò)國(guó)外Oracle數(shù)據(jù)庫(kù)與國(guó)產(chǎn)數(shù)據(jù)庫(kù)的對(duì)比性能測(cè)試實(shí)例給出了TPC-C測(cè)試的流程與方法，為實(shí)施數(shù)據(jù)庫(kù)性能測(cè)試提供了指導(dǎo)依據(jù)。

　　1、 TPC-C概述

　　TPC-C測(cè)試標(biāo)準(zhǔn)是TPC(Transaction Processing Performance Council)委員會(huì)公布的一個(gè)用于衡量在線事務(wù)處理系統(tǒng)性能和性能價(jià)格比的測(cè)試標(biāo)準(zhǔn)。TPC組織定義了一套嚴(yán)格的TPC-C的測(cè)試模型和架構(gòu)為實(shí)現(xiàn)其相應(yīng)的軟件提供依據(jù)和標(biāo)準(zhǔn)，業(yè)務(wù)模型主要是依據(jù)實(shí)際批發(fā)商業(yè)活動(dòng)作為其設(shè)計(jì)模型。TPC-C規(guī)范是專門針對(duì)聯(lián)機(jī)交易處理系統(tǒng)(OLTP系統(tǒng))的，一般情況下我們也把這類系統(tǒng)稱為業(yè)務(wù)處理系統(tǒng)。這類系統(tǒng)具有比較鮮明的特點(diǎn)，這些特點(diǎn)主要表現(xiàn)如下。

　　· 多種事務(wù)處理并發(fā)執(zhí)行，充分體現(xiàn)了事物處理的復(fù)雜性;

　　· 在線與離線的事務(wù)執(zhí)行模式;

　　· 多個(gè)在線會(huì)話終端;

　　· 適中的系統(tǒng)運(yùn)行時(shí)間和應(yīng)用程序運(yùn)行時(shí)間;

　　· 大量的磁盤I/O數(shù)據(jù)流;

　　· 強(qiáng)調(diào)事務(wù)的完整性要求(ACID);

　　· 對(duì)于非一致的數(shù)據(jù)分布，使用主鍵和從鍵進(jìn)行訪問(wèn);

　　· 數(shù)據(jù)庫(kù)由許多大小不一、屬性多樣，而又相互關(guān)聯(lián)的數(shù)據(jù)表組成;

　　· 存在較多數(shù)據(jù)訪問(wèn)和更新之間的資源爭(zhēng)奪。

　　此標(biāo)準(zhǔn)可以在TPC的網(wǎng)站提供免費(fèi)下載。同時(shí)發(fā)布的TPC-C的報(bào)告中，給出了物理服務(wù)器的名稱、操作系統(tǒng)類型、數(shù)據(jù)庫(kù)類型、是否集群、tpmC和性價(jià)比等。從中可以看出只要符合TPC-C測(cè)試標(biāo)準(zhǔn)開(kāi)發(fā)的應(yīng)用，同時(shí)固定其中的配置，變化被測(cè)的對(duì)象，如物理服務(wù)器、操作系統(tǒng)和數(shù)據(jù)庫(kù)，就可以它們進(jìn)行橫向的基準(zhǔn)測(cè)試，通過(guò)tpmC的優(yōu)劣來(lái)評(píng)估被測(cè)對(duì)象的好壞。

　　2、 TPC-C的設(shè)計(jì)

　　TPC-C測(cè)試標(biāo)準(zhǔn)的主要設(shè)計(jì)目標(biāo)是：1)模擬包括更新操作和只讀操作的多類型事務(wù);2)模擬不同特征的事務(wù)處理，包括在線式(對(duì)響應(yīng)時(shí)間有嚴(yán)格要求)和延時(shí)式(對(duì)響應(yīng)時(shí)間的要求比較寬松);3)所有事務(wù)必須嚴(yán)格符合ACID特性;4)擁有復(fù)雜的數(shù)據(jù)結(jié)構(gòu)和聯(lián)系;5)采用多樣的數(shù)據(jù)訪問(wèn)方式;6)模擬重負(fù)載下達(dá)數(shù)據(jù)庫(kù)上的多用戶并發(fā)操作。下圖為TPC-C的設(shè)計(jì)模型。

　　圖 1 TPC-C設(shè)計(jì)模型-資料來(lái)源于中國(guó)評(píng)測(cè)

　　TPC-C測(cè)試用到的模型是一個(gè)大型的商品批發(fā)銷售公司，它擁有若干個(gè)分布在不同區(qū)域的商品倉(cāng)庫(kù)。當(dāng)業(yè)務(wù)擴(kuò)展的時(shí)候，公司將添加新的倉(cāng)庫(kù)。每個(gè)倉(cāng)庫(kù)負(fù)責(zé)為10個(gè)銷售點(diǎn)供貨，每個(gè)銷售點(diǎn)為3000個(gè)客戶提供服務(wù)，每個(gè)客戶提交的訂單中，平均每個(gè)訂單有10項(xiàng)產(chǎn)品，所有訂單中約1%的產(chǎn)品在其直接所屬的倉(cāng)庫(kù)中沒(méi)有存貨，必須由其他區(qū)域的倉(cāng)庫(kù)來(lái)供貨。同時(shí)，每個(gè)倉(cāng)庫(kù)都要維護(hù)公司銷售的100000種商品的庫(kù)存記錄。

　　TPC-C測(cè)試系統(tǒng)數(shù)據(jù)庫(kù)由9張表組成，它們之間的關(guān)系如圖所示。

　　圖 2 TPC-C測(cè)試系統(tǒng)數(shù)據(jù)庫(kù)-資料來(lái)源于中國(guó)評(píng)測(cè)

　　其中，表框里的數(shù)字表示該表將要存放多少條記錄，倉(cāng)庫(kù)數(shù)W的調(diào)整在測(cè)試中能夠體現(xiàn)數(shù)據(jù)庫(kù)所能夠支持的數(shù)據(jù)規(guī)模的能力;表間的數(shù)字表示表數(shù)據(jù)的父子關(guān)系之間兒子的個(gè)數(shù)，比如一個(gè)Warehouse要對(duì)應(yīng)10個(gè)District等，另外，“+”號(hào)表示這種對(duì)應(yīng)關(guān)系可能會(huì)更多。

　　該系統(tǒng)需要處理的交易事務(wù)主要為以下幾種。

　　· 新訂單：客戶輸入一筆新的訂貨交易;

　　· 支付操作：更新客戶賬戶余額以反映其支付狀況;

　　· 發(fā)貨：發(fā)貨(模擬批處理交易);

　　· 訂單狀態(tài)查詢：查詢客戶最近交易的狀態(tài);

　　· 庫(kù)存狀態(tài)查詢：查詢倉(cāng)庫(kù)庫(kù)存狀況，以便能夠及時(shí)補(bǔ)貨。

　　有關(guān)事物的具體描述如下。

　　· 新訂單：其主要事務(wù)內(nèi)容為對(duì)于任意一個(gè)客戶端，從固定的倉(cāng)庫(kù)中隨機(jī)選取5～15件商品，創(chuàng)建新訂單。其中1%的訂單，要由于假想的用戶操作失敗而回滾;該事務(wù)的主要特點(diǎn)為讀寫、頻繁、要求響應(yīng)快，是系統(tǒng)中最典型的操作，也是系統(tǒng)處理中的主要工作量，最終也是以數(shù)據(jù)庫(kù)系統(tǒng)每分鐘能夠處理的新訂單數(shù)來(lái)對(duì)數(shù)據(jù)庫(kù)系統(tǒng)的性能進(jìn)行評(píng)價(jià)。

　　· 支付操作：其主要事務(wù)內(nèi)容為對(duì)于任意一個(gè)客戶端，從固定倉(cāng)庫(kù)隨機(jī)選取一個(gè)轄區(qū)及其內(nèi)的用戶，采用隨機(jī)的金額支付一筆訂單，并同時(shí)將該訂單記錄為相應(yīng)歷史訂單。該事物的主要特點(diǎn)為10個(gè)批量、讀寫、較少、較寬松的響應(yīng)時(shí)間。

　　· 訂單狀態(tài)查詢：其主要事務(wù)內(nèi)容為對(duì)于任意一個(gè)客戶端，從固定倉(cāng)庫(kù)隨機(jī)選取一個(gè)轄區(qū)及其內(nèi)用戶，讀取該用戶的最后一條訂單，顯示訂單內(nèi)每件商品的狀態(tài)。該事物的主要特點(diǎn)為只讀、較少、要求響應(yīng)快。

　　· 發(fā)貨：其主要事務(wù)內(nèi)容為對(duì)于任意一個(gè)客戶端，隨機(jī)選取一個(gè)發(fā)貨包，更新被處理訂單的用戶賬戶余額，并把修改后的訂單從新訂單中刪除。該事物的主要特點(diǎn)為讀寫、頻繁、響應(yīng)快。

　　· 庫(kù)存狀態(tài)查詢：其主要事務(wù)內(nèi)容為對(duì)于任意一個(gè)客戶端，從固定的倉(cāng)庫(kù)和轄區(qū)選取最后的20條訂單，檢查訂單中所有貨物的庫(kù)存。計(jì)算并顯示所有庫(kù)存低于隨機(jī)生成閾值的商品數(shù)量。該事物的主要特點(diǎn)為只讀、較少、較為寬松的響應(yīng)時(shí)間。

　　對(duì)于以上這5種類型的事務(wù)交易，前4種類型的交易要求響應(yīng)時(shí)間在5秒鐘以內(nèi);對(duì)于庫(kù)存狀況查詢交易，要求響應(yīng)時(shí)間在20秒以內(nèi)。同時(shí)，這5種交易最終的比例還必須滿足一定的要求，即支付操作的比例不得少于43%，訂單狀態(tài)查詢、發(fā)貨和庫(kù)存狀態(tài)查詢的比例分別均不得少于4%。具體而言，5種事務(wù)要滿足的時(shí)間、比例及隔離級(jí)別要求如表所示。

　　表 1    5種類型的事務(wù)交易-資料來(lái)源于中國(guó)評(píng)測(cè)

　　TPC-C測(cè)試的結(jié)果主要有兩個(gè)指標(biāo)，即流量指標(biāo)(Throughput，簡(jiǎn)稱tpmC)和性價(jià)比(Price/Performance，簡(jiǎn)稱Price/tpmC)。

　　· 流量指標(biāo)(Throughput，簡(jiǎn)稱tpmC)：按照TPC組織的定義，流量指標(biāo)描述了系統(tǒng)在執(zhí)行支付操作、訂單狀態(tài)查詢、發(fā)貨和庫(kù)存狀態(tài)查詢這4種交易的同時(shí)，每分鐘可以處理多少個(gè)新訂單交易。所有交易的響應(yīng)時(shí)間必須滿足TPC-C測(cè)試規(guī)范的要求，且各種交易數(shù)量所占的比例也應(yīng)該滿足TPC-C測(cè)試規(guī)范的要求。在這種情況下，流量指標(biāo)值越大說(shuō)明系統(tǒng)的聯(lián)機(jī)事務(wù)處理能力越高。

　　· 性價(jià)比(Price/Performance，簡(jiǎn)稱Price/tpmC)：即測(cè)試系統(tǒng)的整體價(jià)格與流量指標(biāo)的比值，在獲得相同的tpmC值的情況下，價(jià)格越低越好。

　　3、 數(shù)據(jù)性能對(duì)比測(cè)試

　　測(cè)試方法：通過(guò)上述的設(shè)計(jì)模型建立相關(guān)的表，對(duì)表中的數(shù)據(jù)按設(shè)計(jì)模型的規(guī)模進(jìn)行填充。將主要的并發(fā)業(yè)務(wù)模型分別部署到不同的并發(fā)客戶端上，通過(guò)主控臺(tái)的統(tǒng)一控制控制測(cè)試的啟動(dòng)、執(zhí)行和結(jié)束，最后統(tǒng)計(jì)各個(gè)客戶端傳來(lái)的性能數(shù)據(jù)，通過(guò)統(tǒng)計(jì)分析展現(xiàn)給測(cè)試人員，幫助分析數(shù)據(jù)庫(kù)的性能。

　　測(cè)試場(chǎng)景：分別在Oracle和國(guó)產(chǎn)數(shù)據(jù)庫(kù)測(cè)試1000個(gè)倉(cāng)庫(kù)持續(xù)2個(gè)小時(shí)，同時(shí)收集服務(wù)器端的系統(tǒng)資源占用、5個(gè)事務(wù)的響應(yīng)時(shí)間，業(yè)務(wù)比例關(guān)系以及最終的流量指標(biāo)(Throughput，簡(jiǎn)稱tpmC)指標(biāo)。

　　在測(cè)試過(guò)程中，我們采用兩臺(tái)配置完全相同的服務(wù)器分別安裝Oracle數(shù)據(jù)庫(kù)11g的版本和國(guó)產(chǎn)數(shù)據(jù)庫(kù)管理系統(tǒng)。網(wǎng)絡(luò)采用1000Gbps快速以太網(wǎng)交換機(jī)進(jìn)行互聯(lián)，測(cè)試端采用一體化分布式管理的方法，即一個(gè)主控管理臺(tái)和多個(gè)分布式并發(fā)客戶端，測(cè)試代碼放在主控臺(tái)上，通過(guò)分發(fā)到客戶端實(shí)現(xiàn)大的并發(fā)訪問(wèn)。測(cè)試拓?fù)鋱D如下：

　　圖 3 測(cè)試拓?fù)鋱D-資料來(lái)源于中國(guó)評(píng)測(cè)

　　結(jié)果分析對(duì)比：

　　1)Tpmc的數(shù)據(jù)對(duì)比：

　　上圖的分析，Oracle在1000個(gè)倉(cāng)庫(kù)下產(chǎn)生的Tpmc值為11,840.90 tpmC

　　國(guó)產(chǎn)數(shù)據(jù)庫(kù)管理系統(tǒng)在1000個(gè)倉(cāng)庫(kù)下產(chǎn)生的Tpmc值為12,840.01 tpmC

　　2)時(shí)間特性分析

　　3)服務(wù)器的資源特性分析

　　a)CPU的利用率對(duì)比

　　 通過(guò)上圖的對(duì)比，Oracle數(shù)據(jù)庫(kù)服務(wù)器多核CPU的利用均等的方式別調(diào)用，而國(guó)產(chǎn)數(shù)據(jù)庫(kù)管理系統(tǒng)服務(wù)器的CPU利用則重點(diǎn)在3個(gè)核CPU上，對(duì)多核處理的均等調(diào)用方式有待進(jìn)一步提升。

　　b)內(nèi)存的利用率對(duì)比

　　通過(guò)上圖的對(duì)比分析，Oracle數(shù)據(jù)庫(kù)在測(cè)試過(guò)程內(nèi)存的使用迅速只剩下5000MB一下的可用空間，而國(guó)產(chǎn)數(shù)據(jù)庫(kù)管理系統(tǒng)服務(wù)器的內(nèi)存占用是漸進(jìn)的方式的消耗。

　　c)網(wǎng)絡(luò)的利用率對(duì)比

　　通過(guò)上圖的對(duì)比分析，Oracle數(shù)據(jù)庫(kù)服務(wù)器在測(cè)試過(guò)程中，服務(wù)器的發(fā)出流量達(dá)到6000KBytes/Sec，接收的流量達(dá)4000Kbytes/Sec;國(guó)產(chǎn)數(shù)據(jù)庫(kù)服務(wù)器在測(cè)試過(guò)程中，服務(wù)器的發(fā)出流量達(dá)到2000KBytes/Sec，接收的流量達(dá)1500Kbytes/Sec。

　　d)磁盤的利用率對(duì)比

　　通過(guò)上圖的對(duì)比分析，Oracle數(shù)據(jù)庫(kù)服務(wù)器在測(cè)試過(guò)程中，數(shù)據(jù)庫(kù)服務(wù)器的磁盤繁忙度達(dá)100%;而國(guó)產(chǎn)數(shù)據(jù)庫(kù)管理系統(tǒng)的磁盤繁忙程度在逐漸下降。

　　4、 結(jié)論

　　本文介紹了一種測(cè)試數(shù)據(jù)庫(kù)性能測(cè)試的方法TPC-C，通過(guò)倉(cāng)庫(kù)的商業(yè)模擬模擬數(shù)據(jù)庫(kù)的在線處理方式。通過(guò)這種測(cè)試方法可以對(duì)國(guó)產(chǎn)數(shù)據(jù)庫(kù)管理系統(tǒng)和國(guó)外的數(shù)據(jù)庫(kù)在在線處理的性能上進(jìn)行對(duì)比分析，幫助國(guó)產(chǎn)數(shù)據(jù)庫(kù)管理系統(tǒng)的制造商改進(jìn)其產(chǎn)品性能提供了客觀的評(píng)價(jià)依據(jù)。