家用視頻內容分析方法研究.pdf

1、 隨著便攜式電子記錄設備的普及，越來越多的家庭用戶開始使用這些設備來記錄有意義的生活經歷和日常生活片斷，家用視頻的數(shù)據量呈現(xiàn)出快速增長的趨勢。但是，家用視頻具有視覺和聲音質量較差、內容沒有經過編輯等特點。為了實現(xiàn)對家用視頻內容的自動、有效的組織和管理，減輕普通家庭用戶瀏覽、檢索和共享視頻內容的負擔，視頻內容分析已經成為家用視頻領域一個重要的研究課題。對家用視頻內容分析方法進行研究，不僅能為家庭用戶提供個性化的多媒體服務，而且有助于

2、推動視頻領域的語義建模、機器學習和信息檢索等相關課題的發(fā)展。由此可見，家用視頻內容分析方法研究具有重要的理論和應用價值。 本論文從三個不同層次研究了家用視頻內容分析中的關鍵問題，即質量評估、內容理解和內容表征，目標是實現(xiàn)一個自動理解、表征和瀏覽的家用視頻處理系統(tǒng)。由于家用視頻視覺質量較差的特點，為實現(xiàn)對家用視頻內容的過濾，質量評估成為內容分析的一個基本步驟，處于最底層。內容理解主要解決對視頻內容中的語義概念進行建模，處于比質量評

3、估更高的層次。而內容表征則是基于質量評估和內容理解的結果，對家用視頻內容以最緊湊和有效的方式進行表征；作為家用視頻的一種應用，它處于最高層。這三個層次組成了家用視頻內容分析的一個相對完整的框架。本文對家用視頻內容分析方法進行了深入的研究，取得了以下成果： (1)對于質量評估問題，針對目前家用視頻領域缺乏專門的視覺質量評估方法這一現(xiàn)狀，提出了一個全新的、面向家用視頻的時空質量評估方法，并深入研究了影響整體視覺質量的幾個關鍵時空因素

4、以及這些因素和整體視覺質量的內在關系。與傳統(tǒng)的基于單幀圖像的質量評估方法不同的是，采用子鏡頭這種視頻時序結構單元作為質量評估的基本單位。在子鏡頭上分析了一組影響視覺質量的時空因素，包括不穩(wěn)定性、驟動性、失真性、模糊性、亮度性和方向性，并提出三種方法將這些時空因素融合到整體視覺質量的評估準則中，分別是基于用戶研究、基于規(guī)則和基于學習的方法。為實現(xiàn)對視頻內容的過濾，提出了一個可擴展的、基于視覺質量的家用視頻摘要系統(tǒng)，目的是在保證視頻摘要信息

5、性的同時，保證其視覺質量最優(yōu)。與基于用戶注意力的視頻摘要系統(tǒng)的對比實驗表明，本文提出的基于質量的視頻摘要系統(tǒng)對家用視頻具有更好的適用性。 (2)對于內容理解問題，從“用戶拍攝意圖”這一全新的角度來研究家用視頻內容分析方法，并參考心理學上的意圖產生機制，建立了對用戶拍攝意圖進行建模和挖掘的完整的理論和系統(tǒng)框架。首先，基于心理學上的意圖機制和廣泛的用戶研究實驗，定義了一組用戶拍攝意圖的概念，包括“靜態(tài)場景”、“動態(tài)事件”、“特寫畫面

6、”、“美麗風景”、“轉換記錄”、“長時間記錄”和“隨意記錄，，等。提出了一個對用戶拍攝意圖進行挖掘的全面和可擴展的框架，包括視頻結構分解、意圖相關的特征分析、基于奇異值分解的意圖單元分割和基于學習的意圖概念分類等部分。實驗在一個具有90段家用視頻序列、由16位普通家庭用戶在最近20年拍攝的視頻數(shù)據庫上進行?？陀^和主觀評價都驗證了意圖挖掘這一全新分析方法的有效性。 (3)對于內容表征問題，提出了一個新的家用視頻內容表征和瀏覽系統(tǒng)—

7、—視頻相冊，改變了普通家庭用戶傳統(tǒng)的利用PC機、鍵盤和鼠標的視頻瀏覽方式，支持更為自然和有效的視頻瀏覽和檢索，從而在數(shù)字家用視頻和模擬家庭相冊之間建立了一種無縫的通信方式。首先，視頻相冊通過基于優(yōu)化的方法挑選出具有代表性的縮略圖集合，并將這些縮略圖按照預定義的個性化形狀模板進行變形，然后采用基于關鍵幀或全拼圖的方式對變形后的縮略圖進行表征，并將其打印成真實的相冊形式。這樣，用戶可以像瀏覽普通家庭相冊一樣瀏覽視頻相冊。當用戶想觀看打印出來

8、的視頻相冊中特定照片對應的視頻片斷時，可以通過手機或其他拍攝設備隨意的拍下該照片，并通過無線網絡將其傳送到服務器。服務器中的視頻相冊系統(tǒng)將通過自訓練主動形狀模型算法對拍攝的照片輪廓進行精確定位和重建。最后，根據重建的照片內容特征對相應的視頻片斷進行檢索，并將該片斷在用戶終端進行回放。 (4)在視頻相冊系統(tǒng)中，分別對傳統(tǒng)的全拼圖和主動形狀模型算法進行了改進。提出一種新的基于運動特征的快速有效的全拼圖算法，在提高全拼圖視覺質量的同時