基于本體的視頻服務(wù)網(wǎng)站監(jiān)管技術(shù)研究.pdf

1、隨著網(wǎng)絡(luò)帶寬的提高、網(wǎng)絡(luò)用戶的增加，以及數(shù)碼產(chǎn)品的普及，網(wǎng)上視頻內(nèi)容日益豐富，收看網(wǎng)絡(luò)視頻的用戶急劇增多，視頻服務(wù)網(wǎng)站也不斷涌現(xiàn)。然而由于開放性、匿名性以及資源缺乏統(tǒng)一管理的特點(diǎn)，互聯(lián)網(wǎng)在帶給人們便利的同時(shí)，許多不良視頻服務(wù)網(wǎng)站也混入其中。這些不良視頻服務(wù)網(wǎng)站對(duì)青少年的健康成長(zhǎng)和社會(huì)的穩(wěn)定有著非常不利的影響。盡管國家已加大了打擊力度，然而事實(shí)上不良視頻服務(wù)網(wǎng)站仍然存在，且通過搜索引擎的幫助獲取的難度很低。因此如何自動(dòng)發(fā)現(xiàn)和準(zhǔn)確識(shí)別不良視

2、頻服務(wù)網(wǎng)站從而對(duì)其進(jìn)行有效監(jiān)管成為了值得研究的問題。
　　 目前視頻服務(wù)網(wǎng)站監(jiān)管主要存在的難點(diǎn)和問題包括:(1)視頻服務(wù)網(wǎng)站的自動(dòng)發(fā)現(xiàn)，目前僅中國的網(wǎng)站數(shù)量就已經(jīng)達(dá)到230萬之多，如何從互聯(lián)網(wǎng)的海洋中自動(dòng)發(fā)現(xiàn)視頻服務(wù)網(wǎng)站成為了視頻服務(wù)網(wǎng)站監(jiān)管的重要問題;(2)支持網(wǎng)站健康性評(píng)估的領(lǐng)域本體自動(dòng)構(gòu)建技術(shù)，不良視頻領(lǐng)域本體可以提供計(jì)算機(jī)可理解的不良視頻的語義描述，從而為后續(xù)的不良視頻網(wǎng)頁識(shí)別以及網(wǎng)站的健康性評(píng)估提供語義基礎(chǔ)，傳統(tǒng)的領(lǐng)域

3、本體自動(dòng)構(gòu)建方法多依賴于自然語言處理技術(shù)，受限于自然語言處理工具的性能，構(gòu)建出的領(lǐng)域本體的質(zhì)量往往不高;(3)基于領(lǐng)域本體的網(wǎng)站健康性分析評(píng)估技術(shù)，在擁有了不良視頻領(lǐng)域本體之后，如何設(shè)計(jì)出一種可以利用本體中的文字和結(jié)構(gòu)信息的網(wǎng)頁相關(guān)度計(jì)算方法從而準(zhǔn)確地計(jì)算出網(wǎng)站的健康性，就成為了值得研究的問題。針對(duì)這三個(gè)問題，本論文的主要研究工作和創(chuàng)新點(diǎn)如下:
　　 1.提出了視頻服務(wù)網(wǎng)站的自動(dòng)發(fā)現(xiàn)方法。
　　 針對(duì)視頻服務(wù)網(wǎng)站自動(dòng)發(fā)現(xiàn)

4、的問題，本文首先提出了一種基于元搜索的視頻服務(wù)網(wǎng)站的自動(dòng)發(fā)現(xiàn)方法，該方法設(shè)計(jì)了一種關(guān)鍵詞更新和評(píng)價(jià)機(jī)制用以向元搜索系統(tǒng)提供高質(zhì)量的搜索關(guān)鍵詞，元搜索的結(jié)果將作為初始網(wǎng)站列表提供給主題爬行模塊以進(jìn)一步發(fā)現(xiàn)更多的視頻服務(wù)網(wǎng)站。通過分析網(wǎng)頁的標(biāo)簽特征和候選播放器的視覺特征，本文提出了一種基于多特征多策略的視頻播放頁識(shí)別方法。在確定一個(gè)視頻播放頁后，將該頁面存為播放頁模板，后續(xù)視頻播放頁的識(shí)別利用其與播放頁模板的相似性來判定。在對(duì)搜索過程所遇到

5、的網(wǎng)頁及鏈接主題相關(guān)度的分析基礎(chǔ)上，本文提出了一種URL的預(yù)期剩余能量模型用以計(jì)算每個(gè)方向的搜索能量，進(jìn)而決定主題爬蟲的搜索方向和步長(zhǎng)。實(shí)驗(yàn)中，基于多特征多策略的視頻播放頁識(shí)別準(zhǔn)確率和召回率分別達(dá)到了99.21％和99.24％，而基于預(yù)期剩余能量模型的主題爬行算法則明顯優(yōu)于對(duì)比算法的性能。
　　 2.提出了基于超鏈接結(jié)構(gòu)圖聚類的領(lǐng)域本體自動(dòng)構(gòu)建方法。
　　 針對(duì)領(lǐng)域本體自動(dòng)構(gòu)建的問題，著重研究了領(lǐng)域概念的自動(dòng)識(shí)別和領(lǐng)域概

6、念間同義/近義關(guān)系的自動(dòng)構(gòu)建方法。首先，本文提出了基于超鏈接結(jié)構(gòu)圖聚類的領(lǐng)域概念識(shí)別方法，該方法首先利用網(wǎng)絡(luò)爬蟲從指定的入口地址處深度受限廣度優(yōu)先遍歷Wiki頁面，構(gòu)建關(guān)于某特定領(lǐng)域的無向超鏈接結(jié)構(gòu)圖。然后利用得到的網(wǎng)頁數(shù)據(jù)庫和詞匯表構(gòu)建詞匯-文檔矩陣，使用潛在語義索引算法和余弦相似度計(jì)算節(jié)點(diǎn)間的相似度，將該相似度作為相應(yīng)邊的權(quán)重，再利用有權(quán)圖滲濾算法對(duì)有權(quán)無向鏈接結(jié)構(gòu)圖進(jìn)行聚類，并對(duì)聚類結(jié)果進(jìn)行評(píng)估，進(jìn)而得到相應(yīng)的領(lǐng)域概念。針對(duì)概念間

7、同義/近義關(guān)系的自動(dòng)構(gòu)建，本文首先構(gòu)建鏈接-詞語的共現(xiàn)矩陣，使用余弦相似度度量，再使用自底向上的凝聚型層次聚類算法對(duì)詞語進(jìn)行聚類，從而得到詞語間的同義/近義關(guān)系。實(shí)驗(yàn)結(jié)果顯示，領(lǐng)域概念識(shí)別的準(zhǔn)確率在top-10階段接近96％，而同義/近義聯(lián)系的識(shí)別準(zhǔn)確率則接近90％。
　　 3.提出了基于領(lǐng)域本體的網(wǎng)站健康性評(píng)估方法。
　　 針對(duì)網(wǎng)站健康性的計(jì)算問題，本文提出了一種基于領(lǐng)域本體的網(wǎng)站健康性計(jì)算方法。傳統(tǒng)的網(wǎng)頁分類和相關(guān)性

8、計(jì)算方法使用的文檔表示模型通常假設(shè)特征項(xiàng)之間是相互獨(dú)立的，并且特征詞的權(quán)值大都基于詞頻信息，忽略了詞的位置及上下文信息，而已有的本體分類系統(tǒng)只是將本體用于輔助分類的過程，無法有效利用到本體自身的結(jié)構(gòu)和文字信息。針對(duì)這些問題，本文提出了一種基于網(wǎng)頁概念樹和領(lǐng)域本體樹匹配的網(wǎng)頁健康性計(jì)算方法。該方法首先提出了一種可以不依賴于獨(dú)立性假設(shè)的新的網(wǎng)頁文檔表示模型，并在該模型的基礎(chǔ)上使用了一種可以利用到詞語的位置及上下文信息的詞語加權(quán)算法，最后在新

9、的網(wǎng)頁表示模型的基礎(chǔ)上，提出了一種可以有效利用領(lǐng)域本體的結(jié)構(gòu)及文字信息的網(wǎng)頁健康性計(jì)算方法。實(shí)驗(yàn)結(jié)果顯示，該方法的不良網(wǎng)頁識(shí)別準(zhǔn)確率、召回率和F1值分別為96％、95.7％和95.8％，視頻服務(wù)網(wǎng)站健康性評(píng)估的準(zhǔn)確率則達(dá)到了95％。
　　 上述方法已部分應(yīng)用于國家863項(xiàng)目“結(jié)合語義的視頻網(wǎng)站自動(dòng)發(fā)現(xiàn)與分析評(píng)估服務(wù)”課題中的主題聚集搜索和網(wǎng)站內(nèi)容分析評(píng)估部分，并將應(yīng)用于國家科技支撐計(jì)劃“增強(qiáng)型搜索系統(tǒng)架構(gòu)、關(guān)鍵技術(shù)及測(cè)試規(guī)范的研