文本分類中詞共現(xiàn)關(guān)系的研究及其應(yīng)用.pdf

1、在網(wǎng)絡(luò)信息時代，文本分類作為大規(guī)模文本處理的技術(shù)基礎(chǔ)，有著廣泛的應(yīng)用前景。隨著研究的深入，文本分類技術(shù)日趨成熟，開始進入實用階段，對于文本分類算法本身的研究越來越難以取得突破性創(chuàng)新。在這種情況下，尋找新的研究切入點，從基礎(chǔ)性問題入手，解決關(guān)鍵技術(shù)，再逐步展開應(yīng)用于分類器性能的改進，對于文本分類技術(shù)研究的發(fā)展具有重要的意義。
　　 本文從分析文本類別特征入手，提出了文本分類中詞語共現(xiàn)關(guān)系研究的課題，從關(guān)聯(lián)和相關(guān)兩個方面研究了詞語共

2、現(xiàn)關(guān)系，然后提出了多種將詞關(guān)聯(lián)和詞相關(guān)應(yīng)用于文本分類的方法，可概括為直接的基于關(guān)聯(lián)或相關(guān)的文本分類模型構(gòu)建以及間接的其它文本分類模型的改進這樣兩種應(yīng)用方式。
　　 關(guān)聯(lián)和相關(guān)的概念源于數(shù)據(jù)挖掘中的規(guī)則有趣性度量，本文將其應(yīng)用于文本分類，又采用了統(tǒng)計學(xué)中對于相關(guān)的一般性解釋，從線性和非線性兩個方面分析了詞間相關(guān)性，其中線性相關(guān)分析包括了線性方程參數(shù)求解和線性相關(guān)系數(shù)的計算，而非線性相關(guān)則主要分析了基于概率的相關(guān)性度量指標(biāo)計算。

3、r>　　 對于關(guān)聯(lián)分析在文本分類中的應(yīng)用，本文從關(guān)聯(lián)文本分類模型和關(guān)聯(lián)特征選擇這兩個方面進行研究。關(guān)聯(lián)文本分類模型是一種基于規(guī)則的文本分類模型，在分類規(guī)則挖掘算法上，我們提出了一種應(yīng)用于長頻繁集挖掘的基于變動鄰域搜索的遺傳算法(VNS-GA)設(shè)計，在文檔類別判定方法上，我們提出了基于規(guī)則匹配長度計算的文檔區(qū)分算法。在關(guān)聯(lián)特征選擇的研究中，我們總結(jié)了文檔類別區(qū)分能力和文檔覆蓋率這兩個特征選擇原則，提出了k項頻集的并集的選擇方法。在Yah

4、oo中文文本數(shù)據(jù)集上的實驗結(jié)果表明本文提出的長頻繁集挖掘算法能夠有效地應(yīng)用于關(guān)聯(lián)文本分類模型，而運用關(guān)聯(lián)特征選擇的樸素貝葉斯文本分類模型也大大提高了分類性能。
　　 對于相關(guān)分析在文本分類中的應(yīng)用，本文所作研究包括線性最小二乘擬合(LLSF)分類、LLSF和樸素貝葉斯組合分類和基于概率相關(guān)性分析的改進貝葉斯分類。在Reuters-21578文本集上的實驗結(jié)果可得以下結(jié)論：首先，LLSF分類器的效果不夠理想，說明在文本分類中詞間線