LabVIEW中測試測量數(shù)據(jù)的存儲（7）

1. TDMS文件的邏輯格式

TDMS文件的邏輯格式遵循TDM三層結(jié)構(gòu)，仍然是文件、通道組、通道三層。用戶在使用時(shí)只需要關(guān)心這三層就行了。

2. TDMS文件API

TDMS文件格式基本上可以稱為NI用在測試測量領(lǐng)域的通用數(shù)據(jù)文件格式，LabVIEW, CVI/LabWindows, Signal Express, DIAdem中都可以使用，也常看到在Excel, MatLab被中調(diào)用。TDMS最核心的內(nèi)容都在一個(gè)dll中，用戶如果安裝了LabVIEW，就會(huì)發(fā)現(xiàn)在Program FilesNational InstrumentsSharedTDMS文件夾中有個(gè)tdms.dll的文件。其他軟件正是通過調(diào)用這個(gè)dll的API來操作TDMS文件的。

在LabVIEW中操作TDMS文件其實(shí)相當(dāng)方便，有專門的TDMS面板，提供了TDMS絕大多數(shù)的功能。雖然我們一直說Write/Read Measurement Files, Storage VIs, TDMS分別面向初級、中級、高級的用戶，但是我個(gè)人覺得LabVIEW中的TDMS用起來十分方便，即便是初級用戶，也能很容易的上手。在面板上一共就10個(gè)SubVI，無論是什么樣的數(shù)據(jù)類型，都可以用這樣同一套SubVI，無需大量額外的編程工作。

這里可以簡單介紹一下TDMS面板上的兩個(gè)SubVI，我個(gè)人覺得十分有用。一個(gè)是“TDMS File Viewer”，當(dāng)用戶寫完某個(gè)TDMS文件之后，就可以用這個(gè)SubVI來方便的查看文件的內(nèi)容，只要輸入TDMS文件的路徑即可，運(yùn)行VI就會(huì)跳出一個(gè)Viewer的界面，可以查看數(shù)據(jù)、屬性，并且可以根據(jù)數(shù)據(jù)簡單的繪制出一些波形圖。另外一個(gè)是“TDMS Defragment”，通常用戶寫完TDMS文件之后，可能會(huì)發(fā)現(xiàn)這個(gè)文件非常大，那么這時(shí)就可以使用這個(gè)SubVI，可以大幅度的減小文件的size。

3. TDMS二進(jìn)制文件

TDMS從設(shè)計(jì)之初就確定它必須是二進(jìn)制的。二進(jìn)制文件帶來兩個(gè)優(yōu)點(diǎn)：第一，與一般的文本式文件相比，二進(jìn)制文件通常比較??；第二，二進(jìn)制文件讀寫通常比較快。這兩個(gè)都是其他二進(jìn)制文件都具備的優(yōu)點(diǎn)，就不再多說了。

4. TDMS頭文件

用戶寫完TDMS文件之后，會(huì)發(fā)現(xiàn)硬盤上其實(shí)有兩個(gè)TDMS文件，一個(gè)是.tdms，另一個(gè)是.tdms_index文件，我們通常把前者稱為主文件或者數(shù)據(jù)文件，而把后者稱為頭文件或者索引文件。頭文件與主文件相比，最大的區(qū)別就是把主文件中的raw data都去掉了，只留下屬性等信息。這樣做，有兩個(gè)目的，第一，可以使得讀文件加快速度，并且支持隨機(jī)讀取文件數(shù)據(jù)，這個(gè)稍后再解釋，用戶看完后面的內(nèi)容就可以理解。第二，可以使得某些軟件的搜索TDMS文件功能加快。比如在DIAdem中搜索TDMS文件，可以根據(jù)文件名、通道組名、通道名（其實(shí)這些也是屬性），或者其他某些屬性進(jìn)行搜索，這個(gè)時(shí)候，僅將TDMS的頭文件載入進(jìn)行搜索，其速度遠(yuǎn)遠(yuǎn)比將TDMS主文件載入搜索快得多。

5. TDMS的內(nèi)部結(jié)構(gòu)

TDMS文件的內(nèi)部結(jié)構(gòu)，也就是物理結(jié)構(gòu)，可以在這里找到原文。一般的用戶并不需要了解這方面的知識就可以方便的使用TDMS文件。在這里介紹這個(gè)內(nèi)部結(jié)構(gòu)，是為了更好的解釋TDMS文件格式的優(yōu)點(diǎn)。

TDMS內(nèi)部結(jié)構(gòu)的核心概念是segment，如下圖。為了避免混淆，在這里必須澄清的是，這個(gè)segment的概念與TDM的三層結(jié)構(gòu)（即邏輯結(jié)構(gòu)）沒有任何對應(yīng)的關(guān)系，也就是說，一個(gè)通道可能對應(yīng)著多個(gè)segment，一個(gè)segment中也可能有多個(gè)通道。segment是什么意思？我們在寫TDMS文件的時(shí)候，數(shù)據(jù)本來可能存放在內(nèi)存中，那么總要往硬盤上寫這些數(shù)據(jù)的，每次往硬盤上寫（flush to disk）就會(huì)產(chǎn)生這樣一個(gè)segment。同樣，我們在讀TDMS文件的時(shí)候，也是一個(gè)segment一個(gè)segment的把內(nèi)容讀出來。

再稍微深入介紹一下這個(gè)segment中的內(nèi)容。一開始有一些頭信息，比如這個(gè)segment中是否含有meta data，是否含有raw data，version是多少。下面的東西就很重要了，有個(gè)“next segment offset”的信息，指向下一個(gè)segment的起始位置，這個(gè)有什么用呢？比如我要讀某個(gè)通道的數(shù)據(jù)，發(fā)現(xiàn)這個(gè)segment中并不包含這個(gè)通道的內(nèi)容，就可以使用這樣的信息直接跳到下個(gè)segment中看下個(gè)segment是否有要找的信息。同樣，還有一個(gè)“raw data offset”的信息，比如用戶只想讀raw data，并不關(guān)心屬性之類的信息，那么這個(gè)“raw data offset”的信息就派上用場了。說到這里，就可以明白，TDMS是怎樣支持Random access，怎樣支持獨(dú)立的讀屬性信息和raw data的信息。

此外，這個(gè)segment還有一個(gè)極為重要的特點(diǎn)。我們每次寫數(shù)據(jù)，每次往TDMS文件中flush to disk的時(shí)候就在文件的后面添加這樣一個(gè)segment，而不去關(guān)心之前的segment中包含了什么樣的信息。這個(gè)特點(diǎn)非常關(guān)鍵，這就可以使得我們寫文件的速度非?？?，我們并不關(guān)心之前文件中包含了什么信息，也就使得我們寫TDMS文件的速度并不和TDMS文件的大小成正比或者有任何關(guān)系。

6. TDMS文件格式的優(yōu)點(diǎn)

我在以前的文章中提到幾個(gè)數(shù)據(jù)文件格式的技術(shù)要求，我們現(xiàn)在再來回顧一下，看看TDMS文件是如何實(shí)現(xiàn)這些技術(shù)要求的，這樣也就能看出TDMS文件的優(yōu)點(diǎn)來。

1）寫文件速度必須要快——通過segment實(shí)現(xiàn)以及二進(jìn)制。

2）向文件追加（append）數(shù)據(jù)的時(shí)候，速度要快——segment。

3）寫文件的速度不能與文件大小成正比——segment。

4）支持隨機(jī)的讀取——segment以及頭文件。

5）支持分別讀寫描述性信息和原始數(shù)據(jù)——segment以及頭文件。

6）對讀文件的速度也有一定的要求——segment以及頭文件。

7）文件不能太大——二進(jìn)制。

7. 其他

TDMS文件格式目前（LabVIEW 8.5）只支持Windows和PharLap（一種實(shí)時(shí)操作系統(tǒng)）平臺上。不過我還看到一個(gè)基于VI的TDMS API，這個(gè)完全基于LabVIEW，既然LabVIEW能在其他平臺上工作，那么這個(gè)小工具也能在其他平臺上工作。當(dāng)然，效率、性能的會(huì)差很多了。

通?？傆腥四肨DMS文件格式和一般的基于Windows API文件流操作比較，然后會(huì)說TDMS比那樣的Win32 streaming API慢嘛，是不是TDMS不行？比如在某些磁盤陣列的配置下，Win32 streaming API可以達(dá)到650MB/S，而TDMS只能600MB/S左右。我在這里需要澄清的是，TDMS在保持著數(shù)據(jù)良好邏輯結(jié)構(gòu)（TDM的三層結(jié)構(gòu)）、良好的數(shù)據(jù)管理的前提下，還能保持著這樣高速的性能，這才是TDMS最大的優(yōu)點(diǎn)。Win32 streaming API只是純粹的追求速度（也僅比TDMS快5-10%左右），并不能將測試測量的數(shù)據(jù)良好的組織好、管理好，用戶如果片面的追求速度而不管寫入文件的數(shù)據(jù)如何保存如何管理，那就有點(diǎn)得不償失了。

當(dāng)然，TDMS文件也并不完美，同樣存在著種種缺點(diǎn)。比如不能支持方便的刪除某個(gè)通道的功能，目前還不支持其他操作系統(tǒng)等等。相信將來都會(huì)有改善的。

最后，用一個(gè)不是很恰當(dāng)?shù)睦觼斫Y(jié)束這篇文章。測試測量數(shù)據(jù)的文件格式，有很多種，文件格式就像我們中午帶飯的飯盒一樣。其他的數(shù)據(jù)文件格式就是把飯菜都放在一起，吃起來不方便（速度慢），而且味道都混雜在一起（組織不好）；而TDMS文件格式就像是內(nèi)部有分隔的飯盒，不同的飯菜分開存放，吃起來又方便（速度快）味道又好（組織良好）。