嵌入式軟件測試

北京旋極信息技術(shù)有限公司 測控部 任建國

　　目前在嵌入式領(lǐng)域目標系統(tǒng)的應(yīng)用系統(tǒng)日趨復(fù)雜，而由于競爭要求產(chǎn)品快速上市，開發(fā)技術(shù)日新月異，同時硬件發(fā)展的日益穩(wěn)定，而軟件故障卻日益突出，軟件的重要性逐漸引起人們的重視，越來越多的人認識到嵌入式系統(tǒng)的測試勢在必行。
　　由于嵌入式系統(tǒng)的自身特點，如實時性(Real-timing)，內(nèi)存不豐富，I / O通道少，開發(fā)工具昂貴，并且與硬件緊密相關(guān)，CPU種類繁多，等等。嵌入式軟件的開發(fā)和測試也就與一般商用軟件的開發(fā)和測試策略有了很大的不同，可以說嵌入式軟件是最難測試的一種軟件。
　　嵌入式軟件測試使用有效的測試策略是唯一的出路，它可以使開發(fā)的效率最大化，避免目標系統(tǒng)的瓶頸。自從出現(xiàn)高級語言，開發(fā)環(huán)境與最終運行環(huán)境通常都是存在差異的，嵌入式系統(tǒng)更是如此。開發(fā)環(huán)境被認為是主機平臺，軟件運行環(huán)境為目標平臺。相應(yīng)的測試為host-target測試或cross-testing。
　　討論嵌入式軟件測試首先就會遇到一個問題：為什么不把所有測試都放在目標上進行呢？因為若所有測試都放在目標平臺上有很多不利的因素：
1）測試軟件，可能會造成與開發(fā)者爭奪時間的瓶頸，避免它只有提供更多的目標環(huán)境。
2）目標環(huán)境可能還不可行。
3）比起主機平臺環(huán)境，目標環(huán)境通常是不精密的和不方便的。
4）提供給開發(fā)者的目標環(huán)境和聯(lián)合開發(fā)環(huán)境通常是很昂貴的。
5）開發(fā)和測試工作可能會妨礙目標環(huán)境已存在持續(xù)的應(yīng)用
　　從經(jīng)濟上和開發(fā)效率上考慮，軟件開發(fā)周期中盡可能大的比例在主機系統(tǒng)環(huán)境中進行，其中包括測試。
    確定host-target測試環(huán)境后，開發(fā)測試人員又會遇到以下的問題：
1）多少開發(fā)人員會卷入測試工作（單元測試，軟件集成，系統(tǒng)測試）?
2）多少軟件應(yīng)該測試，測試會花費多長時間？
3）在主機環(huán)境和目標環(huán)境有哪些軟件工具，價格怎樣，適合怎樣?
4）多少目標環(huán)境可以提供給開發(fā)者，什么時候?
5）主機和目標機之間的連接怎樣？
6）被測軟件下載到目標機有多快?
7）使用主機與目標環(huán)境之間有什么限制（如軟件安全標準）?
　　任何人或組織進行嵌入式軟件的測試都應(yīng)深入考慮以上問題，結(jié)合自身實際情況，選定合理測試策略和方案。
    對于嵌入式軟件測試或叫交叉測試（cross-test），在測試的各個階段有著通用的策略：
1．單元測試：
　　所有單元級測試都可以在主機環(huán)境上進行，除非少數(shù)情況，特別具體指定了單元測試直接在目標環(huán)境進行。最大化在主機環(huán)境進行軟件測試的比例，通過盡可能小的目標單元訪問所有目標指定的界面。
　　在主機平臺上運行測試速度比在目標平臺上快的多，當在主機平臺完成測試，可以在目標環(huán)境上重復(fù)作一簡單的確認測試，確認測試結(jié)果在主機和目標機上沒有被他們的不同影響。在目標環(huán)境上進行確認測試將確定一些未知的，未預(yù)料到的，未說明的主機與目標機的不同。例如，目標編譯器可能有bug，但在主機編譯器上沒有。
2．集成測試：
　　軟件集成也可在主機環(huán)境上完成，在主機平臺上模擬目標環(huán)境運行，當然在目標環(huán)境上重復(fù)測試也是必須的，在此級別上的確認測試將確定一些環(huán)境上的問題，比如內(nèi)存定位和分配上的一些錯誤。
　　在主機環(huán)境上的集成測試的使用，依賴于目標系統(tǒng)的具體功能有多少。有些嵌入式系統(tǒng)與目標環(huán)境耦合的非常緊密，若在主機環(huán)境做集成是不切實際的。一個大型軟件的開發(fā)可以分幾個級別的集成。低級別的軟件集成在主機平臺上完成有很大優(yōu)勢，越往后的集成越依賴于目標環(huán)境。
3．系統(tǒng)測試和確認測試
　　所有的系統(tǒng)測試和確認測試必須在目標環(huán)境下執(zhí)行。當然在主機上開發(fā)和執(zhí)行系統(tǒng)測試，然后移植到目標環(huán)境重復(fù)執(zhí)行是很方便的。對目標系統(tǒng)的依賴性會妨礙將主機環(huán)境上的系統(tǒng)測試移植到目標系統(tǒng)上，況且只有少數(shù)開發(fā)者會卷入系統(tǒng)測試，所以有時放棄在主機環(huán)境上執(zhí)行系統(tǒng)測試可能更方便。

{{分頁}}
　　確認測試最終的實施舞臺必須在目標環(huán)境中，系統(tǒng)的確認必須在真實系統(tǒng)之下測試，而不能在主機環(huán)境下模擬。這關(guān)系到嵌入式軟件的最終使用。

　　使用有效的cross-test測試策略可極大的提高嵌入式軟件開發(fā)測試的水平和效率，當然正確的測試工具使用也是必不可少的：
　　下面給出各個階段的嵌入式軟件測試的方案：

一、靜態(tài)測試:
　　靜態(tài)測試不利用計算機運行被測程序，度量程序靜態(tài)復(fù)雜度，檢查軟件是否符合編程   標準。
    靜態(tài)測試工具McCabe QA，QAC/C++
1） 靜態(tài)測試工具-McCabe QA
　　McCabe QA是美國McCabe&Association公司的產(chǎn)品。它利用著名學者McCabe的軟件結(jié)構(gòu)化測試理論，使用V(G)圈復(fù)雜度=模塊內(nèi)部獨立線性路徑數(shù)度量軟件的復(fù)雜度。

　 
    McCabe最大的特點就是可視化，以獨特的圖形技術(shù)表示代碼。軟件通過分析源碼，特到整個軟件系統(tǒng)的結(jié)構(gòu)圖，同時得到了各種基于工業(yè)標準評估代碼復(fù)雜性，包括V(g)，EV(g)，DV(g)，Halstead等數(shù)十種靜態(tài)復(fù)雜度度量。用不同的顏色表示軟件模塊的復(fù)雜性，測試人員的測試重點放在質(zhì)量差的模塊上；提供各種質(zhì)量模型深入評價軟件質(zhì)量，紀錄軟件質(zhì)量波動曲線和版本變化趨勢分析，從而控制軟件修改不同階段的質(zhì)量。在單元級McCabe顯示模塊的流程圖，并且相對應(yīng)的標出了代碼的位置，視圖與代碼相互對應(yīng)，可很快找出問題所在。分析最終可得到各種可定制的符合工業(yè)標準的綜合報告。
2） 代碼規(guī)則檢查工具-QAC/C++
    QAC/QAC++是用于代碼規(guī)則檢查的自動化工具。
　　代碼審查主要檢查代碼和設(shè)計的一致性，代碼對標準的遵循、可讀性，代碼的邏輯表達的正確性，代碼結(jié)構(gòu)的合理性等方面；可以發(fā)現(xiàn)違背程序編寫標準的問題，程序中不安全、不明確和模糊的部分，找出程序中不可移植部分、違背程序編程風格的問題，包括變量檢查、命名和類型審查、程序邏輯審查、程序語法檢查和程序結(jié)構(gòu)檢查等內(nèi)容。
　　MISRA Compliance 模塊為QAC可選組件，執(zhí)行MISRA 2004準則檢查，在MISRA Compliance 模塊的幫助下，分析源代碼查找不符合MISRA的結(jié)構(gòu)。QA C的警告信息直接通過HTML連接到被分析的源代碼，同時也與MISRA相關(guān)規(guī)則參考信息連接。這些參考信息包括MISRA兼容代碼中解釋性的例子和標準描述。

二、動態(tài)測試
    動態(tài)測試時軟件必須被執(zhí)行。動態(tài)測試方法分為黑盒法和白盒法。為了較快得到測試效果，通常先進行功能測試，達到所有功能后，為確定軟件的可靠性進行必要的覆蓋測試。
    在軟件開發(fā)的不同時期進行動態(tài)測試，測試又分為單元測試，集成測試，確認測試，系統(tǒng)測試。
1） 單元測試
單元測試方案之一Cantata++
     Cantata++是能夠滿足開發(fā)者進行高效的單元和集成測試要求的專業(yè)測試工具，該產(chǎn)品能幫助提高測試效率，具有一整套包含測試、覆蓋率分析和靜態(tài)分析的功能。
　　Cantata++含有以下幾個主要部分：
　　CTH-The Cantata++ Test Harness，測試功能庫，Cantata通過CTH提供的測試函數(shù)執(zhí)行測試，提供測試所需用例的輸入輸出，并檢查輸出結(jié)果是否符合要求，給出PASS / FAIL的確切結(jié)果。打樁、封裝和動態(tài)分析的執(zhí)行也是利用CTH。
　　Cantata++主程序包括測試腳本自動生成器和管理器。測試腳本生成工具通過分析源代碼得到參數(shù)和數(shù)據(jù)信息，連同自動產(chǎn)生的Stub樁函數(shù)和Wrap封裝函數(shù)，自動生成到測試腳本中。測試腳本完全使用C或C++語言構(gòu)成，可重用。通過使用測試腳本管理器可以自動完成測試用例定義到測試腳本的轉(zhuǎn)換。對于熟練的用戶，可以直接利用CTH提供的庫函數(shù)，直接編寫C或C++語言的測試腳本。

{{分頁}}
　　完全支持白盒測試和黑盒測試技術(shù)，通過腳本檢查所有標準的和用戶定義的類型，對期望和不期望的異常進行檢查；對繼承類和模板實例的測試用例重用；為所有預(yù)期結(jié)果和實際結(jié)果的檢查進行詳細的測試分析。支持覆蓋率分析，提供從語句覆蓋級到MC/DC (DO-178B A)的度量。
 
　
2）集成測試IntegratedTesting
　　集成測試是軟件的單元測試完成后進行的。
集成測試工具：
　　Cantata++同樣支持集成測試方法，進行調(diào)用序列，傳遞參數(shù)的檢查。并且提供獨一無二的封裝功能，完成硬件錯誤注入的測試。提供Wrapping技術(shù)，相對于樁函數(shù)stub，封裝Wrapping有以下優(yōu)勢：

1) 在被測模塊中模擬errors，避免真實代碼的執(zhí)行。模擬硬件問題，進行逆向測試。
2) 可以校驗集成調(diào)用的執(zhí)行過程Call 序列：
a) 允許測試者控制被測軟件的外部環(huán)境。
b) 檢查調(diào)用其成員函數(shù)執(zhí)行的是否正確（包括參數(shù)、執(zhí)行的順序）
3) 允許真實調(diào)用類的某些成員函數(shù)，而封裝wrap另一些函數(shù)調(diào)用，控制其的輸入和返回參數(shù)。

　　另一款集成階段測試工具是McCabe Test。正如前一部分提到的，它可很直觀從整體上把握軟件的結(jié)構(gòu)，生成集成測試Plan，通過插裝被測試軟件，得到被插裝后的源代碼。運行目標編譯器，最后并測量覆蓋率。McCabe自動跟蹤軟件執(zhí)行，得到測試信息，產(chǎn)生覆蓋率報告。
　　通過被測試軟件的結(jié)構(gòu)圖，直觀的評估“測了多少”，深入得到代碼級，以圖形的方式標那些代碼測試過，而那些還沒測。支持MC / DC覆蓋分析，滿足DO178B-A標準。

　
    McCabe QA 與McCabe TEST等組件組成McCabe IQ工具包，構(gòu)成了一整套完整的白盒測試方案。

13）確認測試&系統(tǒng)測試
　　包括恢復(fù)測試、安全測試、強度測試、性能測試，已超出了本文討論的范疇，本文暫不詳述。
     總結(jié)一下，應(yīng)用以上測試工具進行.Cross-test時的策略：
A) 使用測試工具的插裝功能（主機環(huán)境）執(zhí)行靜態(tài)測試分析，并且為動態(tài)覆蓋測試準備好一插裝好的軟件代碼。
B) 使用源碼在主機環(huán)境執(zhí)行功能測試，修正軟件的錯誤和測試腳本中的錯誤。
C) 使用插裝后的軟件代碼執(zhí)行覆蓋率測試，添加測試用例或修正軟件的錯誤，保證達到所要求的覆蓋率目標。
D) 在目標環(huán)境下重復(fù)（B），確認軟件在目標環(huán)境中執(zhí)行測試的正確性。
E) 若測試需要達到極端的完整性，最好在目標系統(tǒng)上重復(fù)（C），確定軟件的覆蓋率沒有改變。

　　通常在主機環(huán)境執(zhí)行多數(shù)的測試，只是在最終確定測試結(jié)果和最后的系統(tǒng)測試才移植到目標環(huán)境，這樣可以避免發(fā)生訪問目標系統(tǒng)資源上的瓶頸，也可以減少在昂貴資源如在線仿真器上的費用。另外，若目標系統(tǒng)的硬件由于某種原因而不能使用時，最后的確認測試可以推遲直到目標硬件可用，這為嵌入式軟件的開發(fā)測試提供了彈性。設(shè)計軟件的可移植性是成功進行cross-test的先決條件，它通常可以提高軟件的質(zhì)量，并且對軟件的維護大有益處。以上所提到的測試工具，都可以通過各自的方式提供測試在主機與目標之間的移植，從而使嵌入式軟件的測試得以方便的執(zhí)行。

{{分頁}}
　　使用有效的cross-test測試策略可極大的提高嵌入式軟件開發(fā)測試的水平和效率，提高嵌入式軟件的質(zhì)量。
附錄：
HOST-TARGET的連接方法簡介：
　
                                    直接連接
　
                            通過仿真器連接
 
                           使用介質(zhì)進行間接連接
　
                           使用PROM等傳遞被測軟件
　
                              測試的交互界面
　
                               無交互界面的連接