改進貝葉斯模型在中文文本分類系統(tǒng)中的應用.pdf

1、隨著Internet的迅猛發(fā)展，電子文本信息迅速膨脹，文本分類系統(tǒng)作為處理和組織電子文本信息的一項重要技術，成為信息處理領域不可或缺的工具。在我國信息化建設蓬勃發(fā)展的今天，開發(fā)適合中文的文本分類系統(tǒng)顯得尤為重要。目前常用的文本分類算法有以下幾種：貝葉斯、KNN、支持向量機、決策樹、粗糙集、神經(jīng)網(wǎng)絡等，其中貝葉斯算法以其良好的準確性和較高的效率逐漸成為當前文本分類技術的主流。 本文在介紹常用文本分類算法的基礎上，著重研究貝葉斯算法

2、及其相關模型，詳細介紹貝葉斯方法的二項式獨立模型、多項式模型及混和模型，并通過實驗比較三種模型的分類性能。 然而貝葉斯分類算法具有一個嚴重的缺陷——數(shù)據(jù)稀疏問題，即如果一些特征屬性在訓練語料的某個類中沒有出現(xiàn)，則在分類階段如果某待分類文檔含有這些特征屬性，那么不論別的特征屬性的條件概率有多高，都會導致該文檔屬于這個類的條件概率為零。雖然上述三種貝葉斯模型針對這一問題都作了簡單處理，但依然存在很多問題。為了解決現(xiàn)有貝葉斯算法中處理

3、數(shù)據(jù)稀疏問題的缺陷，本文在討論統(tǒng)計語言模型中N-gram平滑技術的基礎上，考慮貝葉斯算法的獨立假設特性，提出采用Unigram平滑技術的三種不同方法來改進貝葉斯分類器，分別為One-count平滑方法、Jelinek-Mercer 平滑方法以及Katz平滑方法。 最后，本文設計并實現(xiàn)了基于貝葉斯方法的中文文本分類系統(tǒng)，將三種平滑方法分別應用于系統(tǒng)中的二項式、多項式和混合貝葉斯模型中，并通過實驗與原始貝葉斯分類器進行比較。實驗表明