基于支持向量機(jī)的Web文本挖掘技術(shù)研究.pdf

1、我們?cè)谥形腤eb文本挖掘的背景下,研究了用SVM進(jìn)行特征抽取、用虛樣本引入先驗(yàn)知識(shí)以及增量學(xué)習(xí)等關(guān)鍵問題,取得了一定的成果.主要工作包括:第一,對(duì)比了6種常用特征抽取方法在中文Web文本挖掘中的性能,并研究了如何用SVM方法來進(jìn)行特征抽取,取得了比常規(guī)方法更好的實(shí)驗(yàn)結(jié)果.第二,對(duì)于類別分布不均勻的文本集的分類問題,我們提出采用人工生成虛樣本的方法引入先驗(yàn)知識(shí),這一方面可以減少對(duì)已標(biāo)記文本的需求,另一方面,如果在學(xué)習(xí)過程中引入了有助于學(xué)習(xí)

2、的先驗(yàn)知識(shí),將直接有助于提高整個(gè)系統(tǒng)的泛化能力,減少過量匹配的發(fā)生,最終提高學(xué)習(xí)的精度.實(shí)驗(yàn)結(jié)果表明,我們的方法是比較有效的.第三,通過概括支持向量集的特點(diǎn)及其在增量學(xué)習(xí)過程中的變化,我們分析比較了幾種現(xiàn)有的SVM增量學(xué)習(xí)方法,并對(duì)它們?cè)谥形木W(wǎng)頁分類器中的性能進(jìn)行了對(duì)比.第四,研究了一種基于模糊隸屬關(guān)系預(yù)抽取訓(xùn)練樣本的方法,得出的結(jié)論是這種方法不僅相對(duì)簡單,而且在保證分類器性能的情況下,可以允許我們適當(dāng)?shù)剡x擇訓(xùn)練樣本,減少支持向量,從而