半監(jiān)督網(wǎng)頁分類及其在目錄式搜索引擎中的應(yīng)用研究.pdf

1、隨著網(wǎng)絡(luò)信息的迅猛發(fā)展，包括目錄式搜索引擎在內(nèi)的搜索引擎已成為信息檢索的重要工具之一，正成為計算機工業(yè)界和學(xué)術(shù)界爭相研究和開發(fā)的對象。然而，目錄式搜索引擎需要人工介入，依靠編輯員來實現(xiàn)目錄式搜索引擎中所需要完成的網(wǎng)頁自動分類，導(dǎo)致出現(xiàn)了訓(xùn)練效率低、信息量少和信息更新不及時等缺陷。另外，在目錄式搜索引擎所搜索的網(wǎng)頁信息中，存在著大量的無標(biāo)簽樣本和少量的有標(biāo)簽樣本，因此，如何利用這些樣本來構(gòu)建分類器已成為網(wǎng)頁自動分類研究中一個關(guān)鍵問題，研究

2、目錄式搜索引擎中網(wǎng)頁的半監(jiān)督自動分類具有較高的學(xué)術(shù)價值和十分重要的現(xiàn)實意義。 論文分析了半監(jiān)督網(wǎng)頁分類技術(shù)的優(yōu)缺點以及國內(nèi)外研究現(xiàn)狀，介紹了論文的研究目的和意義，針對網(wǎng)頁分類中數(shù)據(jù)集偏斜以及TSVM方法無法確定無標(biāo)簽樣本中類別比例等問題，結(jié)合數(shù)據(jù)融合理論和模糊聚類思想，提出了一種基于模糊聚類的半監(jiān)督網(wǎng)頁分類方法。 論文主要工作包括以下幾個方面： 1．系統(tǒng)回顧了傳統(tǒng)文本特征提取方法，分析并實現(xiàn)了幾種典型的特征提取方

3、法。 2．針對所提取的Web文本特征容易出現(xiàn)數(shù)據(jù)集偏移和維數(shù)過高等問題，結(jié)合數(shù)據(jù)融合思想，提出一種基于自適應(yīng)數(shù)據(jù)融合的Web文本特征提取方法。 3．針對TSVM分類方法無法確定無標(biāo)簽樣本中的類別比例等問題，深入研究模糊聚類思想，將該思想運用到TSVM方法中，提出一種基于模糊聚類的半監(jiān)督分類方法FC_TSVM，并將網(wǎng)頁超鏈接信息作為網(wǎng)頁分類的一個重要依據(jù)。 4．設(shè)計并實現(xiàn)了一個基于半監(jiān)督網(wǎng)頁分類的目錄式搜索引擎原型