Web Spam檢測及網(wǎng)頁排序算法的研究.pdf

1、Web Spam是一種不考慮網(wǎng)頁的真正價值，卻有意實施不公正的相關(guān)性或重要性的排名行為。它的出現(xiàn)不但威脅到搜索引擎的公正排名，同時還嚴(yán)重影響用戶的搜索體驗。如何通過分類來檢測 Web Spam，以及如何通過網(wǎng)頁排序得到內(nèi)容相關(guān)的網(wǎng)頁已成為目前的研究熱點(diǎn)。本文針對 Web Spam分類和網(wǎng)頁排序算法進(jìn)行了深入的研究。主要工作如下：
　　第一，首先分析了內(nèi)容特征屬性和鏈接特征屬性對 Web Spam的影響，針對單純利用內(nèi)容或鏈接作為特

2、征屬性分類的不足，提出了一種新的特征屬性。該特征屬性基于網(wǎng)頁內(nèi)容和鏈接之間的關(guān)系，通過計算兩個網(wǎng)頁中不同元素的相似度來獲得。然后，將內(nèi)容特征屬性、鏈接特征屬性和新特征屬性融合產(chǎn)生一種新的分類特征屬性。最后，根據(jù)Web Spam數(shù)據(jù)集不平衡的特點(diǎn)，將代價敏感方法與決策樹算法C4.5結(jié)合用于Web Spam分類。通過數(shù)據(jù)集 WebSpam-UK2007進(jìn)行實驗，分類結(jié)果優(yōu)于決策樹算法C4.5，驗證了該分類算法的可行性和有效性。
　　第