基于卷積神經(jīng)網(wǎng)絡(luò)的視頻語(yǔ)義概念分析.pdf

1、近年來(lái)，隨著多媒體技術(shù)的日新月異，視頻語(yǔ)義概念檢測(cè)成了大家日益關(guān)注的研究熱點(diǎn)。而在多媒體數(shù)據(jù)中，視頻相比較于其他數(shù)據(jù)所包含的信息更加的復(fù)雜，如何很好的得到每個(gè)視頻所包含的語(yǔ)義概念，并將其作為視頻合適的標(biāo)簽也就成為了視頻檢索領(lǐng)域中的重點(diǎn)和難點(diǎn)。
　　本文首先介紹傳統(tǒng)的視頻語(yǔ)義分析方法，其次詳細(xì)介紹深度學(xué)習(xí)中幾種模型，并討論以往視頻語(yǔ)義分析方法存在的問(wèn)題；再次主要介紹本文所提出的視頻語(yǔ)義概念分析方法，并驗(yàn)證方法的有效性，且簡(jiǎn)單介紹原型

2、系統(tǒng)的構(gòu)建；最后討論視頻語(yǔ)義概念分析領(lǐng)域?qū)?lái)的研究方向。本文的主要內(nèi)容如下：
　?。?）提出基于拓?fù)淠Ｐ皖A(yù)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)的視頻語(yǔ)義概念分析方法
　　卷積神經(jīng)網(wǎng)絡(luò)可以自適應(yīng)提取輸入數(shù)據(jù)中的分布式表征，通過(guò)構(gòu)建不同的操作層，將原始數(shù)據(jù)進(jìn)行低層級(jí)特征提取，并進(jìn)行高層的變換從而得到更復(fù)雜且更具魯棒性的特征。針對(duì)該模型需要較多的有標(biāo)簽數(shù)據(jù)，且為了進(jìn)一步提升模型對(duì)視頻圖像幀中目標(biāo)的旋轉(zhuǎn)、縮放、平移等不變性，首先將拓?fù)浼s束引入到稀疏線性

3、解碼器模型中提出一種拓?fù)渚€性解碼器模型，將該模型作為卷積神經(jīng)網(wǎng)絡(luò)的預(yù)訓(xùn)練模型，然后用較少的有標(biāo)簽關(guān)鍵幀對(duì)該模型進(jìn)行微調(diào)，從而得到針對(duì)視頻數(shù)據(jù)集的卷積神經(jīng)網(wǎng)絡(luò)特征提取模型，最后將提取的特征輸送到支持向量機(jī)中做進(jìn)一步的結(jié)果預(yù)測(cè)。實(shí)驗(yàn)結(jié)果表明，基于卷積神經(jīng)網(wǎng)絡(luò)的特征提取方法比傳統(tǒng)的特征提取方法效果要好，而且在基于拓?fù)淠Ｐ皖A(yù)訓(xùn)練的基礎(chǔ)上效果有進(jìn)一步的提升。
　?。?）提出基于自適應(yīng)閾值混合池化卷積神經(jīng)網(wǎng)絡(luò)的視頻語(yǔ)義概念分析方法
　　

4、傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)模型的池化層一般為最大池化或者平均池化，而最大池化因每次都是選取最大值，故而容易過(guò)擬合，而平均池化雖然考慮了整個(gè)池化區(qū)域的所有激活值，卻極容易因池化區(qū)域中存在過(guò)小的激活值而使得池化的結(jié)果普遍偏小從而容易造成欠擬合。對(duì)此，本文提出自適應(yīng)閾值混合池化的方法來(lái)代替?zhèn)鹘y(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)池化層的池化方法。首先計(jì)算池化區(qū)域中每個(gè)激活值對(duì)應(yīng)的貢獻(xiàn)概率，并基于此作為每個(gè)激活值的權(quán)重求出該池化區(qū)域的激活值加權(quán)和，用其作為該池化區(qū)域的閾值，

5、將大于該閾值的激活值予以保留，并對(duì)保留的激活值做平均操作從而得到最后的池化結(jié)果。實(shí)驗(yàn)結(jié)果表明，該方法相比傳統(tǒng)的最大池化和平均池化方法能夠更進(jìn)一步的提高視頻語(yǔ)義分類的準(zhǔn)確率。
　?。?）設(shè)計(jì)并實(shí)現(xiàn)基于卷積神經(jīng)網(wǎng)絡(luò)模型的視頻語(yǔ)義分析原型系統(tǒng)
　　基于程序模塊化的設(shè)計(jì)理念，采用Python、CUDA以及Theano和Numpy庫(kù)作為系統(tǒng)的核心算法開(kāi)發(fā)，PyQt作為原型系統(tǒng)界面的開(kāi)發(fā)，設(shè)計(jì)并實(shí)現(xiàn)數(shù)據(jù)預(yù)處理、模型構(gòu)建與訓(xùn)練、語(yǔ)義檢測(cè)三