如何管理模擬世界的大規(guī)模測量數(shù)據(jù)

雖然將測試數(shù)據(jù)通過標(biāo)準(zhǔn)總線，如USB和以太網(wǎng)，傳輸?shù)絇C主機(jī)上(“智能”)非常常見，但是高通道數(shù)測量的采樣速率非?？?，很可能超過通信總線的負(fù)荷。另一種方法是在本地存儲數(shù)據(jù)，在測試運(yùn)行后傳輸文件進(jìn)行后期處理，所花費(fèi)的時間會增加，但能獲得有價(jià)值的結(jié)果。 為了應(yīng)對這些挑戰(zhàn)，最新的測量系統(tǒng)集成了來自ARM、Intel和Xilinx的領(lǐng)先技術(shù)，可提供更高的性能和處理能力，以及現(xiàn)成的存儲組件，以提供高通量數(shù)據(jù)傳輸。

借助板載處理器，處理元件更接近傳感器和測量，測量系統(tǒng)的數(shù)據(jù)就變得更為分散。 現(xiàn)代數(shù)據(jù)采集硬件包含了高性能的多核處理器，可以根據(jù)測量運(yùn)行采集軟件和處理密集型分析算法。 這些智能測量系統(tǒng)能夠更快地分析并得出結(jié)論，無需花費(fèi)時間再等待大量的傳輸數(shù)據(jù)，也無需立即記錄數(shù)據(jù)，優(yōu)化了系統(tǒng)，從而更有效地利用磁盤空間。

云存儲和計(jì)算的崛起

DAQ硬件和板載智能化的統(tǒng)一可創(chuàng)建出進(jìn)一步嵌入式或遠(yuǎn)程系統(tǒng)。 在許多行業(yè)，它解決了眾多全新應(yīng)用的難題。 真實(shí)世界正變得智能化，人類現(xiàn)在也能夠收集幾乎所有周圍環(huán)境的數(shù)據(jù)集，物聯(lián)網(wǎng)因而出現(xiàn)在了我們眼前。 它能夠處理并分析真實(shí)世界新數(shù)據(jù)集，將對眾多行業(yè)領(lǐng)域產(chǎn)生深遠(yuǎn)的影響，醫(yī)療、能源、交通、健身器材、樓宇自動化、保險(xiǎn)，它可謂無處不在。

在大部分的行業(yè)中，內(nèi)容自身 (所采集的數(shù)據(jù))并非問題的根本。 聰明的人們收集了大量有用的數(shù)據(jù)。 至目前為止，主要的問題還是出在IT上面。 物聯(lián)網(wǎng)通過分布在世界各地的遠(yuǎn)程現(xiàn)場設(shè)備產(chǎn)生大量數(shù)據(jù)，有些數(shù)據(jù)還可能來自最偏遠(yuǎn)、荒涼的地區(qū)。

這些分布式采集和分析節(jié)點(diǎn)(DAAN)嵌入在其他終端產(chǎn)品中，軟件驅(qū)動程序和圖像并行連接至多個計(jì)算機(jī)網(wǎng)絡(luò)，形成了計(jì)算機(jī)系統(tǒng)。 他們形成了最為復(fù)雜的分布式系統(tǒng)，生成了史上最大的數(shù)據(jù)集。 這些系統(tǒng)需要基于遠(yuǎn)程網(wǎng)絡(luò)的系統(tǒng)管理工具來自動配置、維護(hù)及升級DAANs，并需要一種高效、低成本的方式來處理所有數(shù)據(jù)。

問題的復(fù)雜在于，如果您減少數(shù)據(jù)采集傳統(tǒng)的IT拓?fù)浣Y(jié)構(gòu)，簡化形式，就會發(fā)現(xiàn)他們實(shí)際上運(yùn)行在兩個并行的分布式系統(tǒng)網(wǎng)絡(luò)上： “嵌入式網(wǎng)絡(luò)”連接到所有采集數(shù)據(jù)的現(xiàn)場設(shè)備(DAAN)， “傳統(tǒng)IT網(wǎng)絡(luò)”，進(jìn)行最有用的數(shù)據(jù)分析，并傳送給用戶。

而往往，這兩個并行的組織網(wǎng)絡(luò)內(nèi)存在巨大的差異，它們不能互相操作。 這意味著，數(shù)據(jù)集的效果發(fā)揮至極致。 石油和天然氣公司收集地下生成以及通過阿拉斯加管道石油量的實(shí)時數(shù)據(jù)，將這些數(shù)據(jù)交給會計(jì)部門、采購部門、物流部門或財(cái)政部門——他們都位于休斯頓——這一切在數(shù)分鐘或數(shù)小時內(nèi)就能完成，省去了成天甚至成月的時間。

組織內(nèi)的并行網(wǎng)絡(luò)和其中大量的投資大大抑制了物聯(lián)網(wǎng)的發(fā)展。 而如今，通過云存儲、云計(jì)算，以及基于云的“海量數(shù)據(jù)”工具，這些難題都能夠得到解決。 使用云存儲和云計(jì)算資源創(chuàng)建單個匯聚點(diǎn)非常容易，它能夠匯集來自嵌入式設(shè)備(例如DAAN)的大量數(shù)據(jù)，且組織內(nèi)的任何一組都能訪問這些數(shù)據(jù)。 這就解決了兩個并行嵌入式與IT網(wǎng)絡(luò)不能相互操作的問題。

用戶可以使用云中無限的存儲和計(jì)算資源，并根據(jù)使用量計(jì)費(fèi)，這為他們提供了管理分布式系統(tǒng)以及處理大型測量數(shù)據(jù)集的解決方案。 云服務(wù)供應(yīng)商所提供的海量數(shù)據(jù)工具套件，可以幫助用戶輕松的獲取并處理這些龐大的測量數(shù)據(jù)集。

總的說來，云計(jì)算技術(shù)為分布式系統(tǒng)管理和數(shù)據(jù)訪問帶來了三大好處： 數(shù)據(jù)的匯總、訪問數(shù)據(jù)，以及卸載計(jì)算繁重的任務(wù)。