磁盤陣列（RAID）技術(shù)在視頻監(jiān)控應(yīng)用的問題與發(fā)展

視頻監(jiān)控網(wǎng)絡(luò)化步伐已全面展開，大量的監(jiān)控?cái)?shù)據(jù)被保存在安裝硬盤的NVR、IP-SAN中，眾所周知，目前大容量硬盤都屬于精密機(jī)械部件，本身故障多發(fā)，屬于易耗品。那么直接保存在硬盤中的數(shù)據(jù)必然面臨數(shù)據(jù)丟失的風(fēng)險(xiǎn)。

　　在傳統(tǒng)的視頻監(jiān)控應(yīng)用中，比如：小區(qū)、樓宇、園區(qū)監(jiān)控等，對數(shù)據(jù)可靠性要求并不高，其監(jiān)控?cái)?shù)據(jù)的有效利用率一直保持在很低的比例上，一旦不幸運(yùn)遇到硬盤故障，損失一塊硬盤的數(shù)據(jù)對這些應(yīng)用來講都是可以承受的，大量的嵌入式錄像設(shè)備廠商正是看重這一點(diǎn)，推出使用單盤模式的廉價(jià)NVR，免去支持硬盤數(shù)據(jù)冗余帶來的成本提升；由于不做RAID，可以配置同樣廉價(jià)的監(jiān)控級硬盤，大大降低錄像產(chǎn)品與方案的整體成本，低成本優(yōu)勢大大提升嵌入式NVR的出貨量。

　　眾所周知，RAID技術(shù)可以消除硬盤故障帶來的數(shù)據(jù)丟失和業(yè)務(wù)中斷，但是它也對硬盤本身提出要求，一般要求是企業(yè)級硬盤，這種硬盤的固件對處于RAID 工作環(huán)境下的各種狀態(tài)進(jìn)行調(diào)優(yōu)，例如：可以對RAID下多塊硬盤一起工作時產(chǎn)生的共振進(jìn)行很好的磁頭偏移補(bǔ)償、可以固化一個硬盤錯誤處理的最大響應(yīng)時間，以免錯誤修復(fù)時間過長，被RAID誤以為硬盤不響應(yīng)而踢掉、支持較好的并發(fā)讀寫性能等；這些調(diào)優(yōu)都極大的增強(qiáng)了企業(yè)級硬盤在RAID環(huán)境的可用性。

　　如果是低成本的監(jiān)控級硬盤，由于硬盤固件本身的限制，不能很好的在RAID環(huán)境中工作；例如：沒有針對共振的磁盤校正，RAID環(huán)境下數(shù)據(jù)讀寫出錯機(jī)率大增，而監(jiān)控級硬盤并沒有固化錯誤處理的最大響應(yīng)時間，硬盤忙時一個錯誤處理可長達(dá)2~5分鐘，而一般RAID允許的硬盤響應(yīng)時間為30秒左右，造成 RAID掉盤現(xiàn)象增加，甚至連RAID初始化都完成不了；在RAID5工作和重構(gòu)過程中，在寫數(shù)據(jù)之前需要讀出大量數(shù)據(jù)進(jìn)行校驗(yàn)計(jì)算，但是監(jiān)控級硬盤的讀性能表現(xiàn)顯然沒有它的寫性能表現(xiàn)好，大量的讀IO隊(duì)列經(jīng)常堵塞，而造成多塊硬盤的響應(yīng)時間嚴(yán)重增加，可能導(dǎo)致批量掉盤。

　　對于視頻監(jiān)控應(yīng)用來說，只有付得起企業(yè)級硬盤高成本的高端用戶才可以享受得起傳統(tǒng)RAID技術(shù)帶來的數(shù)據(jù)可靠性好處，傳統(tǒng)RAID技術(shù)與監(jiān)控級硬盤的糟糕兼容表現(xiàn)已經(jīng)成為向大量視頻監(jiān)控中低端用戶普及的阻力。

　　因此，視頻監(jiān)控應(yīng)用對傳統(tǒng)RAID技術(shù)提出以下挑戰(zhàn)：

　　1、要求可配置低成本的非企業(yè)級硬盤組建RAID組，降低硬盤成本；

　　2、要求降低大容量硬盤的重建時間，提升重構(gòu)成功率；

　　3、要求提升非企業(yè)級硬盤RAID組的可用性；

看到以上需求，中科藍(lán)鯨公司對傳統(tǒng)RAID算法進(jìn)行改造和更新，開發(fā)了新一代Smart RAID技術(shù)，該技術(shù)思路是縮小硬盤管理的最小單位，將故障范圍縮小在局部，從而提升硬盤RAID組的整體可用性；同時優(yōu)化了RAID對監(jiān)控級硬盤故障的響應(yīng)時間容忍度，極大提升了非企業(yè)級硬盤（包括監(jiān)控級硬盤）的RAID可用性。

　　在Smart RAID組建過程中，首先對硬盤進(jìn)行碎化處理，每塊物理硬盤會被碎化為64份，每塊物理盤相同位置的小數(shù)據(jù)塊會被組建為一個基本的Smart RAID管理單元，多個Smart RAID管理單元可組建為一個大的邏輯卷對外使用；Smart RAID管理單元具備RAID級別的所有屬性，如介質(zhì)檢測、故障踢盤、替換熱備、重構(gòu)等；實(shí)際運(yùn)行情況下，當(dāng)物理硬盤發(fā)生磁道扇區(qū)故障，對故障數(shù)據(jù)塊的掉盤、替換熱備、重建操作都可以在一組Smart RAID內(nèi)完成，大大減少重構(gòu)讀取與寫入的IO量，縮短重建完成的整體時間；每塊物理盤的最后4個數(shù)據(jù)塊是作為熱備使用的。如下圖所示：

　　使用Smart RAID技術(shù)后的好處顯而易見，由于對監(jiān)控級硬盤故障的響應(yīng)時間容忍度提升，使用監(jiān)控級硬盤制作RAID5組的可用性明顯提升，頻繁掉盤現(xiàn)象得到有效解決。

　　在實(shí)際運(yùn)行表現(xiàn)中，硬盤運(yùn)行中出現(xiàn)的故障90%都集中在局部錯誤導(dǎo)致的讀寫異常，因電路或機(jī)械原因?qū)е碌恼P不工作的故障更是少見，因此，當(dāng)發(fā)生硬盤錯誤，Smart RAID技術(shù)能夠很好的發(fā)揮局部重構(gòu)優(yōu)勢，重構(gòu)完成只需10來分鐘；即使發(fā)生整盤故障，Smart RAID也能夠和傳統(tǒng)RAID一樣對整塊物理盤進(jìn)行踢盤、重構(gòu)。