基于主題和態(tài)度分類的文本過濾系統(tǒng).pdf

1、近年來，隨著互聯(lián)網(wǎng)的發(fā)展，人們可以獲取的信息以指數(shù)的速度增長。一方面，為了便于管理如此龐大的信息，文本分類技術(shù)日益引起人們的關(guān)注。另一方面，對于特定的用戶而言，所需要的信息往往只占其中極小的一部分，因此從大量的文本數(shù)據(jù)流中尋找滿足特定用戶需求的文本的文本過濾技術(shù)顯得猶為重要。 本文首先研究了主題文本分類中的各項關(guān)鍵技術(shù)，在文本表示方面，采用向量空間模型來表示文本，以詞匯作為向量空間模型的特征項，然后介紹了7種不同的特種選擇的算法

2、，包括文檔頻率、互信息量、x2一統(tǒng)計量、詞匯的熵、KL距離、信息增益、優(yōu)勢比，接著介紹了機(jī)器學(xué)習(xí)中比較常見的幾種分類算法：中心向量分類器、K近鄰算法、樸素貝葉斯分類器、AdaBoost算法、支持向量機(jī)算法。在中英文語料上的實驗結(jié)果表明特征選擇算法中，信息增益、x2一統(tǒng)計量有著相對較好的性能。在20-newsgroups數(shù)據(jù)集上，采用SVM算法，選用全部特征項，0-1權(quán)重，5-fold交叉驗證，宏平均和微平均分別達(dá)到89．2％和89．4％

3、。 其次，在態(tài)度文本分類中，我們研究了詞的傾向性分析和篇章態(tài)度分類。在中文詞的傾向性判斷方面，我們提出了將知網(wǎng)的語義相似度和語義相關(guān)場計算功能應(yīng)用到對于詞匯進(jìn)行語義傾向性判別，最好的性能達(dá)到了87％的準(zhǔn)確率。在篇章態(tài)度分類方面，使用傾向性詞表的無監(jiān)督分類在中文和英文語料上都低于60％的準(zhǔn)確率，而采用支持向量機(jī)算法的監(jiān)督學(xué)習(xí)的方法在中文和英文語料上則都達(dá)到了86．5％。 最后，介紹了一個基于主題文本分類和態(tài)度文本分類技術(shù)的