基于Hadoop視頻處理與檢索系統(tǒng).pdf

1、隨著數(shù)碼攝像設備的普及和社交網(wǎng)絡的盛行，互聯(lián)網(wǎng)絡上每時每刻都有海量的視頻數(shù)據(jù)從各個終端上傳，網(wǎng)絡中豐富的視頻信息無疑給人們的生活帶來了很多愉悅，但是同時隨之而來的是視頻大數(shù)據(jù)的管理的難題。試想在無任何組織和管理的視頻庫中去查找我們感興趣的一個視頻文件，那幾乎與大海撈針無異，所以對于大視頻數(shù)據(jù)的有效管理也是使人們能夠有效利用視頻信息，享受數(shù)字化時代信息豐富與便捷的必然要求。然而，與單純的文字、圖片或聲音等表達方式相比，視頻數(shù)據(jù)雖然具有制作

2、簡單、表意豐富、生動形象、容易引起關注等優(yōu)點，但也具有非結構化的特點，即數(shù)據(jù)中包含的信息卻無法利用機器直接分析其語義，視頻數(shù)據(jù)處理技術消耗大量計算資源等等方面，使得對視頻大數(shù)據(jù)的有效組織和管理成為一大難題。
　　視頻檢索是視頻數(shù)據(jù)管理的主要內容，視頻數(shù)據(jù)是一種非結構化、時空并存、數(shù)據(jù)量大的數(shù)據(jù)，對視頻文件進行檢索面臨的最大挑戰(zhàn)在于如何從二進制的視頻數(shù)據(jù)中提取出表達視頻內容的文本信息。一種傳統(tǒng)方法是基于文本的視頻檢索，即利用視頻附加

3、的標簽進行索引和檢索。但原始格式的視頻本身通常不具有任何語義標簽，而有語義標簽的視頻又存在著標簽錯誤或者標簽不完整等問題，加之利用人工進行標注來獲取標簽的代價高等現(xiàn)實情況，基于文本的視頻檢索已經(jīng)不能滿足人們的要求。另一種有效的方法是基于內容的視頻檢索技術，這種技術實質上是一種機器標注的方法?；趦热莸臋z索技術是指基于信息的內容或特征對多媒體信息進行有效的檢索。所謂信息的內容或特征主要是指視頻數(shù)據(jù)中的幀、鏡頭和場景等，圖像數(shù)據(jù)中的顏色、紋

4、理、輪廓和對象等，音頻數(shù)據(jù)中的音調、音色和旋律等。要進行基于內容的視頻檢索，首先要建立一個合理的視頻數(shù)據(jù)模型，并在此模型的基礎上對視頻數(shù)據(jù)進行分割和特征提取，然后對視頻數(shù)據(jù)進行檢索。基于內容的視頻檢索技術具有廣泛的應用領域，如遠程監(jiān)控、多媒體會議、虛擬現(xiàn)實、電視新聞、衛(wèi)星云圖、信息娛樂、交互購物、電影和電視的后期制作等，因此它將對多媒體業(yè)產生很大的沖擊。
　　本文主要是采用基于內容的視頻檢索方法，首先通過視頻處理工具，分析并得到視

5、頻中所表達內容的文本信息，然后利用這些文本信息構建視頻索引，最后開發(fā)了一個Web接口為用戶提供檢索平臺。該系統(tǒng)對原始視頻數(shù)據(jù)進行圖像和音頻的分離，然后對圖像數(shù)據(jù)進行自動圖片標注，對語音數(shù)據(jù)進行自動語音識別。最終結合兩種處理所生成的含有視頻內容的文本來構建索引，從而實現(xiàn)對視頻數(shù)據(jù)的檢索。Web檢索部分，我們使用的是Ajax、JSP和Servlet相結合的方式，在前端界面中輸入查詢語句，后端從查詢語句中抽取出關鍵字，然后在視頻索引中進行檢索

6、，最后將檢索到的視頻文件返回到前端用戶界面。
　　本系統(tǒng)的一個創(chuàng)新點在于利用比較成熟有效的Hadoop分布式計算框架，將視頻處理的任務分發(fā)到不同的計算節(jié)點，從而充分利用已有計算資源，節(jié)省處理時間提高了處理效率。通過用戶友好的系統(tǒng)界面，視頻的檢索結果可以直觀地展示出來，同時我們也實現(xiàn)了處理過程的“一鍵化”實施，擁有權限的用戶登錄后可以點擊幾個按鈕就可以對視頻進行復雜的處理。同時支持視頻數(shù)據(jù)集的更新，對新添加的視頻也可以做到快速地處理