視頻概念檢測(cè)中的領(lǐng)域自適應(yīng)和語(yǔ)義關(guān)聯(lián)研究.pdf

1、當(dāng)今社會(huì)，智能設(shè)備正以前所未有的速度進(jìn)行普及，日漸完善的互聯(lián)網(wǎng)和移動(dòng)網(wǎng)絡(luò)將來(lái)自全世界的信息匯總和連接，人們從信息的接受者逐漸變成了信息的創(chuàng)造者和傳播者。視頻作為一種信息的常見(jiàn)載體，融合了圖像、時(shí)序、音頻等多種特征，具有直觀生動(dòng)的特點(diǎn)，被廣泛地應(yīng)用。然而視頻中所包含的復(fù)雜的語(yǔ)義層級(jí)信息對(duì)高效的管理和準(zhǔn)確的檢索提出了更為嚴(yán)苛的挑戰(zhàn)。在視頻人工標(biāo)注過(guò)于昂貴的情況下，為了從視頻內(nèi)容中直接讀取出其中包含的物體、人物、場(chǎng)景等語(yǔ)義層概念，發(fā)展出了基于

2、內(nèi)容的視頻概念檢測(cè)技術(shù)。
　　然而，當(dāng)前的視頻概念檢測(cè)技術(shù)尚且面臨著種種困難，還無(wú)法很好地在實(shí)際中得到應(yīng)用。比如訓(xùn)練庫(kù)與測(cè)試庫(kù)不同領(lǐng)域之間廣泛存在的樣本分布差異導(dǎo)致檢測(cè)器的性能下降、找尋視頻中多種特征之間靈活高效的融合方式、低層特征與高層特征之間存在的“語(yǔ)義鴻溝”等問(wèn)題。本文以上述三方面中的研究難點(diǎn)為出發(fā)點(diǎn)，對(duì)視頻概念檢測(cè)中的特征層領(lǐng)域自適應(yīng)問(wèn)題、多特征融合中的領(lǐng)域自適應(yīng)問(wèn)題以及視頻概念間的語(yǔ)義關(guān)聯(lián)進(jìn)行了探討和創(chuàng)新，主要取得的成果

3、如下:
　　(1)針對(duì)目前特征層的不同領(lǐng)域間樣本分布差異的問(wèn)題，本文基于Adaboost提出了領(lǐng)域自適應(yīng)boosting算法(DAB)。它主要解決的是當(dāng)前TrAdaBoost算法中存在的目標(biāo)領(lǐng)域（測(cè)試庫(kù)）與源領(lǐng)域（訓(xùn)練庫(kù)）數(shù)據(jù)分配不合理的問(wèn)題，分為兩個(gè)主要步驟:首先對(duì)源領(lǐng)域的數(shù)據(jù)在特征空間內(nèi)進(jìn)行無(wú)監(jiān)督分類;然后在迭代訓(xùn)練中，將目標(biāo)領(lǐng)域驗(yàn)證集中選擇出的樣本映射到已分類的源領(lǐng)域特征空間中，匹配出一定數(shù)量的源領(lǐng)域樣本。最后，兩個(gè)領(lǐng)域選擇

4、出的數(shù)據(jù)共同進(jìn)行弱分類器的訓(xùn)練。作為TrAdaBoost算法的一種改進(jìn)型算法，DAB算法能夠很好地解決大規(guī)模領(lǐng)域定義和小尺寸驗(yàn)證集的情況。DAB算法有兩個(gè)主要優(yōu)點(diǎn):在訓(xùn)練中能夠突出目標(biāo)領(lǐng)域數(shù)據(jù)的重要性，在實(shí)驗(yàn)中獲得了更好性能表現(xiàn);由于不需要對(duì)源領(lǐng)域的數(shù)據(jù)進(jìn)行判別和權(quán)值計(jì)算，因而減小了計(jì)算量。
　　(2)針對(duì)當(dāng)前多特征融合研究中的領(lǐng)域自適應(yīng)能力缺失的問(wèn)題，本文提出了領(lǐng)域自適應(yīng)的線性融合方法(DALC)。它是一種后期融合方法，基于多特

5、征分類器的輸出分值進(jìn)行融合。該算法以線性融合模型(LC)為基礎(chǔ)，通過(guò)分析源領(lǐng)域和目標(biāo)領(lǐng)域之間的差異，來(lái)自適應(yīng)更新LC模型的融合參數(shù)。它的原理是找尋領(lǐng)域樣本與LC融合參數(shù)之間的關(guān)聯(lián)關(guān)系，利用源領(lǐng)域中已經(jīng)建立的關(guān)聯(lián)關(guān)系去指導(dǎo)目標(biāo)領(lǐng)域的關(guān)聯(lián)關(guān)系，通過(guò)優(yōu)化搜索來(lái)找尋更新后的融合參數(shù)，使得兩個(gè)領(lǐng)域中存在的關(guān)聯(lián)關(guān)系距離最小。DALC模型是一種通用的非監(jiān)督式方法，不需要訓(xùn)練，有著很快的自適應(yīng)速度。與當(dāng)前一些沒(méi)有考慮領(lǐng)域自適應(yīng)的多特征融合方法相比，有著

6、更好的融合性能。
　　(3)針對(duì)視頻概念間的語(yǔ)義關(guān)聯(lián)問(wèn)題，本文提出了基于節(jié)點(diǎn)平衡(NE)的概念關(guān)聯(lián)模型，它與DALC模型共同構(gòu)成了一個(gè)兩級(jí)語(yǔ)義模型。該方法以物理模型為基礎(chǔ)，將概念之間的關(guān)聯(lián)性用物理性的引力和斥力進(jìn)行建模，而將一個(gè)個(gè)鏡頭-概念對(duì)看作是物理節(jié)點(diǎn)，它們的分值則是它們所處的位置。對(duì)不同類別的概念關(guān)聯(lián)方式，可以定義不同種類的力，它們可以共同作用在一個(gè)節(jié)點(diǎn)之上，從而達(dá)到使用多種概念關(guān)聯(lián)共同作用的結(jié)果。與現(xiàn)有的方法相比，它可以使