基于維基類目網(wǎng)絡(luò)和URL模式樹的網(wǎng)頁(yè)分類方法探究.pdf

1、分類是信息檢索中的一個(gè)重要問題,而網(wǎng)頁(yè)分類對(duì)于提高互聯(lián)網(wǎng)服務(wù)質(zhì)量尤其意義重大。諸多互聯(lián)網(wǎng)上的關(guān)鍵應(yīng)用包括站點(diǎn)目錄、搜索引擎、網(wǎng)頁(yè)爬蟲、推薦系統(tǒng)、用戶行為分析系統(tǒng)和廣告投放系統(tǒng)無不依賴于高效而準(zhǔn)確的頁(yè)面分類來提高服務(wù)質(zhì)量。針對(duì)這些應(yīng)用中涉及到的分類問題,有許多分類方法相繼被提出,其中包括基于頁(yè)面內(nèi)容的文本分類方法。基于頁(yè)面內(nèi)容的分類方法依賴于正文質(zhì)量,如果正文質(zhì)量太差,或者文本長(zhǎng)度太短,會(huì)導(dǎo)致分類性能的下降。隨著一些大規(guī)模詞典和類目體系的

2、建立,基于第三方詞庫(kù)的分類方法引起了廣泛的關(guān)注。第三方詞庫(kù)可以提供現(xiàn)成的語(yǔ)義類目,一方面可以作為輔助信息增強(qiáng)語(yǔ)義識(shí)別能力,提高分類的精度;另一方面可以直接用于分類,這樣的分類方式能從一定程度上解決短文本的分類缺陷,并且不需要依靠訓(xùn)練集,能高效地進(jìn)行分類。
　　本文的分類建立在全網(wǎng)環(huán)境,全網(wǎng)環(huán)境數(shù)據(jù)結(jié)構(gòu)復(fù)雜、噪聲多、干擾強(qiáng),使用傳統(tǒng)的分類方法,一方面如果文本質(zhì)量太差,會(huì)大大影響分類的準(zhǔn)確率;另一方面,全網(wǎng)數(shù)據(jù)量龐大,使用傳統(tǒng)分類方法

3、勢(shì)必要通過引入大量訓(xùn)練集來訓(xùn)練分類模型,可能無法進(jìn)行高效地分類。本文提出了一種基于維基網(wǎng)絡(luò)的主題分類模型,詞匯量和語(yǔ)義都及其豐富的維基類目網(wǎng)絡(luò)涵蓋了大量詞匯,并且維基百科是在線實(shí)時(shí)編輯系統(tǒng),很多詞匯甚至能“與時(shí)俱進(jìn)”,從而對(duì)全網(wǎng)范圍的詞匯有較好的覆蓋。另外,這種分類方法不需要依賴訓(xùn)練集來訓(xùn)練模型,只要完成了維基網(wǎng)絡(luò)的類目關(guān)聯(lián)就可以用于分類預(yù)測(cè)。同時(shí),盡管維基類目詞匯實(shí)時(shí)變化,但是整個(gè)類目體系相對(duì)比較穩(wěn)定,從而本方法可以在長(zhǎng)時(shí)間內(nèi)保持有效