垃圾博客檢測及相關(guān)技術(shù)的研究.pdf

1、近年來隨著internet技術(shù)的發(fā)展，博客(Web blog)通過為作者和讀者之間提供交互式交流平臺和動態(tài)更新的社會網(wǎng)絡(luò)而成為極受歡迎的一種新媒體的社會溝通機制。據(jù)調(diào)查科學研究、統(tǒng)計調(diào)查、公共建設(shè)、教育、社會福利等研究領(lǐng)域都會應用博客的分析結(jié)果，所以博客巨大的信息源和信息量具有極其寶貴的價值。但隨之產(chǎn)生的垃圾博客(spamblog or splog)也肆意猖獗。它產(chǎn)生的主要方式是盜竊他人內(nèi)容或機器自動生成，其目的是提高目標網(wǎng)站在搜索引擎

2、中的排名以鏈接盈利廣告。垃圾博客造成的問題包括：1)嚴重降低博客的檢索質(zhì)量；2)明顯浪費網(wǎng)絡(luò)和存儲資源。因此，為保護博客世界的良好環(huán)境，必須對垃圾博客進行過濾。
　　 首先本文根據(jù)博客的各種特征分析，提取了兩種高效特征并結(jié)合傳統(tǒng)的內(nèi)容特征，采用特征組合的方法對博客進行分類。鑒于Yuuki Sato Takehito Utsuro對垃圾博客的統(tǒng)計規(guī)律以及對垃圾博客作者屬性的分析[1]，挖掘出博客的作者屬性在博客分類中的重要性。這表

3、明博客的作者屬性具有十分重要的研究價值。博客作者常會無規(guī)律地發(fā)表博客，而垃圾博客為提高網(wǎng)頁的點擊率進而提高網(wǎng)站在ALEXA中的排名，須在短時間內(nèi)發(fā)表大量的博文，同時機器生成垃圾博文的速度非?？?。因此正常博客與垃圾博客在時間自相似特征上存在較大差異。本文根據(jù)文章中的作者屬性和自相似特征的不同，對博客文章進行首次過濾，同時結(jié)合提取出的內(nèi)容特征，增加特征之間的互補性，使垃圾博客過濾的效率大大提高。
　　 其次，本文設(shè)計了一種針對垃圾博

4、客特征篩選的特征關(guān)聯(lián)樹分類算法。該算法根據(jù)特征之間的相關(guān)性構(gòu)造出一種特征關(guān)聯(lián)樹結(jié)構(gòu)來篩選特征，剪枝掉不相關(guān)和冗余特征，保留強相關(guān)和弱相關(guān)特征，同時利用期望交叉熵對特征關(guān)聯(lián)樹進行二次篩選[2]。與傳統(tǒng)的特征選擇算法[3]相比，該算法可以消除博客樣本數(shù)據(jù)非平衡的影響，根據(jù)特征的相似度和期望交叉熵的大小，自適應地調(diào)整特征關(guān)聯(lián)樹的規(guī)模，降低特征維度。垃圾博客過濾的對比實驗表明，該算法用于垃圾博客過濾時，可以獲得較好的準確率和召回率。