基于句子級頻繁項目集的文本分類方法研究.pdf

1、文本分類就是自動地將自然語言文本文檔根據(jù)其內(nèi)容分類到預(yù)定義好的類別中去。文本分類技術(shù)的關(guān)鍵之一在于特征詞或特征詞組的選擇，一篇文檔的主題并不是與文檔中的所有的詞相關(guān)，因此如何挑選判斷一篇文檔中的主題詞或詞組作為文檔的特征詞或詞組就成為了關(guān)鍵所在。而由于人類語言中一詞多義現(xiàn)象的普遍存在，一個詞的具體意思往往需要參考上下文中出現(xiàn)的其它詞才能更準(zhǔn)確地判斷。 為了解決這一問題。參考目前的數(shù)據(jù)挖掘領(lǐng)域的工作，將每一篇文檔映射為一個文檔數(shù)據(jù)

2、庫，文檔中的每個句子看作數(shù)據(jù)庫中的一個交易，每一個詞看作一個項目。通過將文檔映射為文檔數(shù)據(jù)庫，可以在文檔數(shù)據(jù)庫中使用數(shù)據(jù)挖掘算法挖掘出句子級的頻繁項目集，即在句子中頻繁同時出現(xiàn)的詞，并將其作為文檔的特征詞組。相比較于傳統(tǒng)的文本關(guān)聯(lián)規(guī)則，句子級的頻繁項目集包含了更多的局部上下文信息。 由于挖掘出的特征項目集可能很多，為了進一步的精簡項目集，給出了一個以可變精度粗糙集模型為基礎(chǔ)的方法對每個特征頻繁項目集對分類的貢獻進行評估，剪除那些