基于鏈接分析的web組合分類器研究.pdf

1、論文從網(wǎng)頁自身的結(jié)構(gòu)化信息出發(fā)，分析和改進(jìn)Web分類的相關(guān)環(huán)節(jié)：網(wǎng)頁表達(dá)、特征選擇和分類算法；從網(wǎng)頁之間的鏈接信息出發(fā)，討論了結(jié)合分類技術(shù)的排序算法，并在此基礎(chǔ)上，綜合考慮結(jié)構(gòu)化信息和鏈接信息，將基于鏈接分析的級聯(lián)組合分類器作為研究重點(diǎn).主要工作包括以下方面： (1)提出了標(biāo)簽詞頻加權(quán)標(biāo)引法，綜合考慮不同標(biāo)簽中的特征詞反映網(wǎng)頁主題的差別以及特征詞在整個特征空間中的比例，對網(wǎng)頁表達(dá)進(jìn)行改進(jìn). (2)研究一種基于一定類別空間

2、閾值的MI+CHI聯(lián)合特征選擇法，該算法彌補(bǔ)了CHI選擇法的缺陷：過濾指定類別中出現(xiàn)頻率低，其它類別中出現(xiàn)頻率高的詞；提高特定類中出現(xiàn)的低頻詞的權(quán)重. (3)提出了基于N-Gram模型對NaiveBayes的改進(jìn)算法，一定程度上改進(jìn)NaiveBayes的特征相關(guān)性問題. (4)研究一種使用分類技術(shù)改進(jìn)的排序算法.借助預(yù)分類技術(shù)增強(qiáng)PageRank與Hits算法在計算網(wǎng)頁中的鏈接所指向頁面的重要性的能力，使得重要程度高的網(wǎng)

3、頁對于同一類別或相關(guān)類別的其它網(wǎng)頁具有更好的類別調(diào)整能力，進(jìn)而提高網(wǎng)頁分類的精確度. (5)提出了兩種可行的組合分類器策略(SVM+NB、NB+NB)，分類器由兩層分類器級聯(lián)組成，傳統(tǒng)純文本分類器作為一級分類器，基于超鏈接分析的分類器作為二級分類器，前一級分類器的分類信息用于指導(dǎo)下一級分類器的訓(xùn)練和分類過程. (6)研究一種基于類別歸并的組合分類方法，對訓(xùn)練集的一些小類別和交叉類別進(jìn)行歸并，重組類別集，采用二級分類器對原