郵件分類的意群算法研究.pdf

1、垃圾郵件的過濾是互聯(lián)網(wǎng)時代一個重要的研究領域。郵件分類是垃圾郵件過濾的先決條件，其往往受用戶主觀性的影響較大，因此基于郵件內(nèi)容的郵件分類技術越來越受到研究者的重視，其中文本分類技術是實現(xiàn)基于內(nèi)容的郵件分類的重要方式。
　　 目前的中文文本分類技術大多借鑒英文的研究成果，對于中文的語言特點未多加考慮，僅僅從詞語的層面提取特征項表示文本，未考慮詞語之間的語法語義聯(lián)系，分類準確率較低。
　　 綜合以上的分析，本文結合中文的語言

2、學特點，提出中文文本意群分類算法，并將其應用于電子郵件的分類中。本文的主要工作有如下的幾個方面:
　　 (1)對文本分類和電子郵件的基礎知識進行了簡單的介紹，例如文本分類的流程，關鍵技術與分類算法原理，深入探討中文語言構成的特點與處理難點，并對基于文本分類的郵件分類現(xiàn)狀進行了討論。
　　 (2)依存語法可以表達詞語之間的語法關系，但目前的中文依存句法分析未進行語義的結構排歧，針對依存句法分析存在的搭配錯誤本文提出了融合語

3、義的依存句法分析方法，對存在的歧義結構從語義角度對語法進行約束。實驗證明了該方法提升了依存分析的準確率。
　　 (3)針對中文復句識別中忽略無標復句處理的問題進行了完善，結合條件隨機場的原理，本文提出了基于中文依存句法和條件隨機場的復句識別方法，并用實驗驗證了方法對復句識別的較高性能。
　　 (4)提出中文文本意群分類算法，首先利用融合語義的依存句法的分析結果制定了意群提取規(guī)則，進行意群提取，將意群作為表示文本的特征項;

4、其次利用所提的復句識別方法對復句進行識別，并按照中文的理解方式對不同的復句定義了不同的復句權重，將tf.idf.IG權重算法和復句權重綜合作為意群的特征權重;最后利用支持向量機的分類算法實現(xiàn)分類。通過實驗表明了提出算法的有效性。
　　 (5)將中文文本意群分類算法應用于電子郵件分類中，并針對郵件分類的特點進行了反饋調整，增加用戶個性化標準，結果表明郵件分類的意群算法查準率和查全率均達到了96％以上的良好性能。
　　 本文