基于運動信息與背景信息相結合的視頻序列配準.pdf

1、視頻序列配準是圖像處理的一個重要領域，是對不同攝像機從不同角度或者不同時間拍攝的相似視頻序列進行時間同步和空間幾何校準的技術，廣泛應用于視頻監(jiān)控、目標識別、視頻拼接以及三維重建等眾多計算機視覺領域。本文主要的研究工作以及成果如下：
　　1、詳細討論了兩種經(jīng)典的基于軌跡的視頻序列配準方法，這兩種方法分別是基于時間線約束和基于軌跡射影不變表示的方法。研究表明，目前的方法存在一些問題。基于時間線約束的方法采用背景圖像間的對極幾何信息描述

2、軌跡點，同時利用軌跡與對極線的交點尋找候選匹配軌跡點，該方法對于運動軌跡是曲線的視頻序列可以獲得較好的配準效果，但是對于軌跡近似是直線并與其對極線重合的視頻序列，由于找到的軌跡與對極線的交點太多致使配準效果較差。基于軌跡射影不變表示的方法，采用軌跡點鄰域內的形狀信息描述軌跡點，同時利用交比的統(tǒng)計特性尋找候選匹配軌跡點，從而實現(xiàn)視頻序列的時間同步，但是該方法對于軌跡上存在大量形狀特征相似的軌跡段的視頻序列，獲取的描述符不具有很好的區(qū)分性致

3、使配準結果誤差較大。此外，上述兩種算法描述軌跡點時均忽略了運動目標與背景特征之間的空間信息。
　　2、針對以上兩種算法存在的問題，提出了一種基于運動信息與背景信息相結合的視頻序列配準算法，該算法首先采用低秩與稀疏分解算法分別提取參考視頻序列和待配準視頻序列的背景圖像和運動軌跡，并采用特征點檢測與匹配的方法，獲取背景圖像的特征點匹配對；其次利用獲得的背景圖像的特征點匹配對，計算背景圖像間的基礎矩陣，并從中選取三維空間中不共面的四個點

4、對應的匹配點對；然后利用運動目標與背景特征的空間信息來進一步提高軌跡點的可區(qū)分性，采用三維空間中不共面的四個點建立的坐標系以及對極幾何約束共同對軌跡進行描述和匹配，獲取候選時間對應點的集合；最后采用隨機抽樣一致性算法對候選時間對應點的集合進行時間線擬合，確定參考視頻序列和待配準視頻序列之間的時空變換模型參數(shù)。仿真實驗表明提出的算法與基于時間線約束和基于軌跡射影不變表示的方法相比，能夠獲得更加精確的配準結果，尤其對于場景中運動目標的軌跡近