視頻監(jiān)控系統(tǒng)中數據的存取優(yōu)化技術研究.pdf

1、隨著人們對公共安全越來越重視,視頻監(jiān)控系統(tǒng)在安全防范領域的作用日益突出?，F代的視頻監(jiān)控系統(tǒng)需要存儲海量的數據,包括視頻數據和小文件數據(關鍵幀、運動物體截圖)等,對這些數據進行高效的存取是非常重要的?；贖adoop分布式框架對海量的視頻監(jiān)控數據進行存儲和處理。Hadoop在對海量的視頻監(jiān)控數據進行存儲和處理的過程中存在兩個問題:其一,OpenCV沒有提供解析二進制視頻流的接口,導致對視頻進行分布式處理時視頻的讀取性能較差。其二,分布式

2、文件系統(tǒng)對于大文件的流式訪問效率非常高,但是對于小文件的存取性能非常低下。
　　根據OpenCV解析本地視頻文件的原理,通過將二進制視頻流順序傳輸到解碼包的緩沖區(qū)中,調用解碼器對解碼包中的數據進行解析,實現了二進制視頻流的解析和視頻的讀取優(yōu)化,以減少Map任務的執(zhí)行時間。在分布式文件系統(tǒng)中增加小文件的處理模塊,利用視頻監(jiān)控系統(tǒng)中小文件存取的相關性及連續(xù)性的特點,將系統(tǒng)中的小文件合并成大文件進行存取,以提高小文件的寫入性能;采取兩級

3、元數據機制以減少元數據節(jié)點的內存占用,有效的利用數據節(jié)點的內存:在元數據節(jié)點中保存小文件的一級索引信息,在數據節(jié)點中保存小文件的二級索引信息;另外在數據節(jié)點中采用分布獨立式緩存結構,利用小文件數據存取的連續(xù)性,對文件數據進行緩存預取,以提高小文件的讀取性能。
　　實驗表明,基于二進制流的解析方法的視頻解析速度比現有的方法提高了10％~30%;對于視頻監(jiān)控系統(tǒng)中的小文件,相比于原生的HDFS,改進后的HDFS的小文件寫入速度整體提高