基于改進向量空間模型的郵件分類.pdf

1、電子郵件在當今已經成為人們聯(lián)系交流不可缺少的通信工具，但用戶每天都需要花費大量的工作時間對眾多郵件進行整理。因此，研究郵件的自動歸類具有重要意義，目前郵件自動歸類有基于統(tǒng)計和基于規(guī)則兩類。本文主要研究的是基于統(tǒng)計的分類。 本文對電子郵件分類系統(tǒng)中所有必要的構成階段進行了研究，包括訓練階段和分類階段，并給出了在兩個階段中經常采用的技術。這些技術主要有郵件表示、特征選擇與提取、分類技術等。在這些技術中本文主要討論了郵件的表示方法，著

2、重分析了基于向量空間模型的表示形式。 基于統(tǒng)計的郵件分類一般采用向量空間模型來表示郵件，該模型將郵件表示成為向量形式，將對郵件內容的處理簡化成了對向量空間中的向量進行運算，從而使模式識別和其他領域的計算方法能夠在自然語言文本處理中運用，得以實現(xiàn)對郵件的可操作性和可計算性。但是該模型并未考慮到詞所在郵件的結構特征，影響了分類的精度。 針對向量空間模型存在的缺點，本文的系統(tǒng)借助粘合性衡量方法提取n-gram的思想，對向量空間

3、模型進行改進，提出了計算詞權重的一種新方法。這種方法以段落為郵件的最小分塊，將郵件內容視為一個n-gram，段落視為n-gram中的單詞，并結合段落間的邏輯關系計算詞的權重。它不僅沒有打亂郵件內容的順序性，而且也較好地體現(xiàn)了郵件的結構特征，這使得系統(tǒng)在發(fā)揮向量空間模型優(yōu)勢的同時，也能夠提高分類的精確度。 本論文的實驗證明，采用改進向量空間模型的郵件分類系統(tǒng)與采用傳統(tǒng)的向量空間模型算法相比，在分類的精度上有了明顯提高，從而有效地改