Web文本自動(dòng)分類(lèi)技術(shù)研究.pdf

1、作為從萬(wàn)維網(wǎng)上海量的文本信息資源中發(fā)現(xiàn)潛在的有價(jià)值知識(shí)的一種有效技術(shù)，Web 文本挖掘正方興未艾。Web 文本分類(lèi)研究是Web 文本挖掘中的一個(gè)研究熱點(diǎn)。在Web 文本分類(lèi)中，通過(guò)更好地體現(xiàn)Web 文本數(shù)據(jù)的特性可以提高機(jī)器學(xué)習(xí)領(lǐng)域中通用分類(lèi)算法的性能，因此很有必要研究如何更好地將通用的機(jī)器學(xué)習(xí)算法同Web 文本數(shù)據(jù)相結(jié)合的方法。 在垃圾郵件過(guò)濾這個(gè)文本分類(lèi)的重要應(yīng)用中，必須考慮不同類(lèi)別的文檔被錯(cuò)誤分類(lèi)而導(dǎo)致的不同損失，為此定義

2、了一個(gè)損失函數(shù)，結(jié)合貝葉斯定理，將郵件表示為布爾型向量并用信息增益公式進(jìn)行特征篩選，給出了一種基于最小損失的垃圾郵件過(guò)濾方法。在公共垃圾郵件數(shù)據(jù)集PU1 上進(jìn)行了試驗(yàn)，試驗(yàn)結(jié)果驗(yàn)證了定義損失函數(shù)的有效性。 為了更充分地體現(xiàn)文檔的內(nèi)在特性，把Web 文本表示成以單詞為最小元素的序列，考慮特征間的相互位置關(guān)系隱含的豐富語(yǔ)義信息，將計(jì)算生物學(xué)中DNA 序列分析問(wèn)題的一種解決方法應(yīng)用到文本分類(lèi)中，使用特征序列來(lái)描述一個(gè)類(lèi)別的內(nèi)在特征，給