中文文本層次分類研究及其在唐詩分類中的應用.pdf

1、作為大規(guī)模信息處理重要的應用技術之一，文本分類有其不可忽視的重要性?，F(xiàn)有大部分的文本分類方法，無論是二類分類還是多類分類，所分類別都處在同一個層次，即處于同一個平面類空間上。在文本類別數(shù)量龐大的情況下，平面分類的性能會受到很大制約。可人們發(fā)現(xiàn)有些類別在一起比和別的類別更有共性，可以組成一個類別的集合，從而提出了層次型分類的概念。層次型分類是把分類系統(tǒng)構造為層次結構，即把各類按照一定的層次關系組織成樹狀結構。因此，層次型分類從結構和性能上

2、，對分類方法來說是一個大的改進，是一種有效的分類途徑。 本文就中文文本的層次型分類方法進行了研究。主要研究結果如下： 1.提出了基于向量空間模型的二重特征選擇方法(Feature Dual-Selection, FDS)和層次分類算法(Hierarchical Text Classification, HTC)。針對層次分類的結構特點，本文提出了新的基于向量空間模型的二重特征選擇方法FDS以及層次分類算法HTC。由于在某

3、一層中對分類貢獻大的某些特征在另一層中并不一定重要，為了突顯各個特征在不同層次中的重要程度，因此二重特征選擇方法對每一層均進行一次特征選擇，并設定權重系數(shù)δ，逐層改變特征數(shù)量和權重計算方法。HTC算法摒棄了一般的層次分類算法即只使用一種分類方法進行分類，把分別對粗分和細分更有效的類中心向量法與支持向量機(Support Vector Machine, SVM)方法相結合，通過在分類時設定的差值閾值α來調節(jié)對分類方法的選擇，達到了分類方法

4、的優(yōu)化。 2.引入最大熵模型進行文本的層次型分類。最大熵理論是一種在廣泛應用于自然語言處理中的概率估計方法，它使未知事件的概率分布總是盡可能均勻，即傾向于得到最大熵。對于文本分類問題，通過建立最大熵模型，把事件集當作類別集，將上下文環(huán)境當作文本集，那么就可以使用最大熵模型求任意一篇文檔屬于任意類別的概率。但是，將最大熵模型應用在文本分類中的研究卻非常少，而使用最大熵模型進行中文文本層次分類的研究尚未見到。把該方法和層次分類相結合