在視頻監(jiān)控向數(shù)字化、網(wǎng)絡化、集成化監(jiān)控體系發(fā)展過程中,“高清”技術日漸成為眾多監(jiān)控系統(tǒng)的重點應用趨勢。高清帶來更為清晰、直觀的視覺體驗,08年奧運會、09年國慶閱兵和上海世博會中高清監(jiān)控均得到非常成功的應用,切實加強了對重點區(qū)域的安全防范。
高清視頻監(jiān)控應用背景
高清監(jiān)控系統(tǒng)碼率大(4Mbps-20Mbps)、綜合性強、數(shù)據(jù)量巨大,對存儲系統(tǒng)的要求很高,主要體現(xiàn)在以下幾方面:
·性能較高的并發(fā)讀寫能力;
·合理的空間管理能力;
·海量數(shù)據(jù)的快速檢索能力;
·穩(wěn)定可靠的數(shù)據(jù)保存能力;
·靈活快速的空間擴展能力。
本文將重點介紹海康威視針對高清監(jiān)控的兩種典型存儲方案--監(jiān)控CVR存儲和監(jiān)控云存儲,此兩種方案均采用了針對監(jiān)控的優(yōu)化措施和針對海量數(shù)據(jù)的存儲管理技術,在高清應用中表現(xiàn)突出。
高清監(jiān)控存儲方案介紹
CVR存儲方案
CVR存儲方案以存儲系統(tǒng)作為數(shù)據(jù)的管理和存儲核心環(huán)節(jié),減少了存儲服務器環(huán)節(jié),前端監(jiān)控數(shù)據(jù)流直接寫入存儲系統(tǒng)中,平臺和客戶端直接從存儲系統(tǒng)中讀取和調用視頻數(shù)據(jù),所有的傳輸協(xié)議均采用針對視頻的流媒體傳輸協(xié)議。系統(tǒng)架構參見圖1。
該方案在架構上可以省略存儲服務器,消除其固有的性能瓶頸和單點故障隱患?;诹髅襟w的數(shù)據(jù)傳輸和數(shù)據(jù)管理結構,幾乎可以*消除傳統(tǒng)文件系統(tǒng)下覆蓋讀寫帶來了的文件碎片問題,大幅提高存儲系統(tǒng)的寫入和檢索速度;同時也將*消除傳統(tǒng)文件系統(tǒng)由于供電和網(wǎng)絡的不穩(wěn)定引起的文件系統(tǒng)損壞、數(shù)據(jù)只讀等問題。
監(jiān)控云存儲方案
該監(jiān)控云存儲解決方案,分為應用層、云存儲接口層和云存儲層,前端所有應用只要通過統(tǒng)一的云存儲接口接入云存儲系統(tǒng)即可接受存儲服務。方案具有如下特點:
·采用*架構,統(tǒng)一的云存儲服務接口,存儲對用戶透明,應用步驟簡化;
·云存儲管理服務器支持集群化,無核心節(jié)點;
·云存儲根據(jù)各節(jié)點壓力和空間情況自動調節(jié)負載,實現(xiàn)智能負載均衡;
·部分存儲節(jié)點發(fā)生故障時,該節(jié)點的負載可透明轉移到其它節(jié)點,保證服務持續(xù),實現(xiàn)故障對應用層透明;
·通過增加相應節(jié)點即可實現(xiàn)云存儲的容量和性能擴展,且對上層應用透明;
·采用了眾多針對視頻應用的流媒體文件系統(tǒng)、緩存優(yōu)化、數(shù)據(jù)保護機制等技術,提供近乎100%的服務保證。
高清視頻存儲技術
高性能流存儲技術
該存儲系統(tǒng)從系統(tǒng)架構、文件結構、高速緩存等方面入手,針對監(jiān)控應用進行了優(yōu)化設計,推出高性能流存儲系統(tǒng)。數(shù)據(jù)傳輸均采用數(shù)據(jù)流方式,底層采用突破傳統(tǒng)文件系統(tǒng)限制的流媒體數(shù)據(jù)結構,大幅提高了系統(tǒng)性能。
緩存算法順序化技術
監(jiān)控應用是一種大碼流多并發(fā)寫為主的存儲應用,對性能、并發(fā)性和穩(wěn)定性等方面有很高的要求。該存儲系統(tǒng)采用*的大緩存順序化算法,把多路隨機并發(fā)訪問變?yōu)轫樞蛟L問,解決了硬盤磁頭因頻繁尋道而導致的性能迅速下降和硬盤壽命縮短的問題。
合理的空間管理技術
集群管理技術
高清監(jiān)控中會產(chǎn)生PB級海量監(jiān)控數(shù)據(jù),存儲設備的數(shù)量達數(shù)十臺上百臺,因此管理方式的科學顯得十分重要。其提供基于集群管理技術的多設備集中管理工具,具有設備集中監(jiān)控、集群管理、系統(tǒng)軟硬件運行狀態(tài)的監(jiān)控、主動報警,圖像化系統(tǒng)檢測等功能。
針對大規(guī)模監(jiān)控系統(tǒng)提供多設備集群存儲服務,流媒體應用下可以提供EB級海量卷尋址。64位命令尋址,8TB為單位的數(shù)據(jù)卷,可以多數(shù)據(jù)卷為同一組錄像提供空間,總的空間大小為264X8TB。
快速的檢索回放技術
海量數(shù)據(jù)快速數(shù)據(jù)定位技術
在高清監(jiān)控應用中,數(shù)據(jù)檢索尤為重要。傳統(tǒng)文件系統(tǒng)中,文件檢索采用的是“目錄->子目錄->文件->定位”的檢索步驟,在海量數(shù)據(jù)的高清視頻監(jiān)控,目錄和文件數(shù)量十分可觀,這種檢索模式的效率就會大打折扣。海康流存儲系統(tǒng)采用*的“設備號->對應數(shù)據(jù)卷->偏移“檢索方式,zui大限度精簡檢索深度,提高檢索效率。
定位、回放
基于底層流存儲數(shù)據(jù)結構和快速數(shù)據(jù)定位技術,可以實現(xiàn)任意時間段(時間段可以無限小或無限接近當前時間)的即時回放和任意時間點/時間段的快速檢索定位。檢索到的單路視頻錄像可以切割為多段并行回放,大大提高回放效率。
穩(wěn)定可靠的數(shù)據(jù)保存技術
數(shù)據(jù)塊空間預分配技術
監(jiān)控應用中幾乎全部是循環(huán)覆蓋讀寫應用,必定產(chǎn)生文件碎片,將對存儲系統(tǒng)產(chǎn)生很大影響。
該方案存儲基于流媒體數(shù)據(jù)結構,通過數(shù)據(jù)空間預分配空間策略,在循環(huán)覆蓋應用環(huán)境中幾乎*消除文件碎片,使系統(tǒng)具備良好的性能和穩(wěn)定性。
原理:把數(shù)據(jù)塊劃分為大的虛擬數(shù)據(jù)塊vblock(至少是16MB),并且按錄像周期再把虛擬數(shù)據(jù)塊劃分為不同區(qū)域,保證每個數(shù)據(jù)區(qū)域的覆蓋周期是一致的,盡大可能的避免出現(xiàn)碎片,同時提高性能和穩(wěn)定性。
N+n+m冗余
提供N+n+m的備機工作模式:N臺在線存儲設備,n臺熱備(休眠)存儲設備,m臺冷備(關機狀態(tài))存儲設備。當在線存儲系統(tǒng)出現(xiàn)故障后,熱備機立即接替服務,故障恢復時,服務和數(shù)據(jù)回遷;如果故障機數(shù)據(jù)需要調用,可以把故障機的磁盤插入到冷備機中,實現(xiàn)所有數(shù)據(jù)的立即可用。
靈活快速的空間擴展技術
對于高清監(jiān)控系統(tǒng),隨著監(jiān)控前端的增加和存儲時間的延長,擴展能力十分重要。某些廠商已提供單純針對容量的擴展柜擴展模式和性能容量同步線性擴展的堆疊擴展模式。
MAID節(jié)能技術
該存儲設備支持磁盤MAID節(jié)能機制,可根據(jù)策略對磁盤組或整機進行休眠,zui大化降低設備正常工作的功耗,減少數(shù)據(jù)中心能源成本并有利于環(huán)保。
歸檔存儲和錄像鎖定技術
針對重要敏感數(shù)據(jù)的歸檔保存,WORM功能保證數(shù)據(jù)存儲級的安全可靠。同時,對于重要事件相關錄像提供鎖定功能,在設定的時間范圍內不被覆蓋。
結語
高清視頻監(jiān)控對存儲系統(tǒng)的性能、可靠性、容量及擴展和管理性、節(jié)能性和開放性都提出很高的要求。CVR流存儲方案支持直接連接編解碼器和客戶端,提供更簡潔的架構和更高的性能,是目前*的高清海量視頻存儲解決方案。新一代由視頻云存儲、數(shù)據(jù)云存儲和云計算組成的視頻監(jiān)控云存儲系統(tǒng)解決方案,可以為用戶提供智能存儲、智能分析等云服務,提供*透明的、便捷的、安全的解決方案,特別適合大規(guī)模部署的視頻存儲系統(tǒng)。