基于內(nèi)容的多級垃圾郵件過濾系統(tǒng)研究.pdf

1、電子郵件已經(jīng)成為人們?nèi)粘Ｉ钪型ㄐ拧⒔涣鞯闹匾侄沃?，但垃圾郵件問題也日益嚴(yán)峻，網(wǎng)民平均每天收到的垃圾郵件數(shù)量已超過了正常郵件。目前經(jīng)常采用的垃圾郵件過濾技術(shù)一般包括白名單與黑名單技術(shù)、規(guī)則過濾以及基于關(guān)鍵詞匹配的內(nèi)容掃描等。 基于內(nèi)容的垃圾郵件過濾就是從電子郵件的內(nèi)容入手，使用文本分類、機器學(xué)習(xí)算法，在訓(xùn)練郵件集合上學(xué)習(xí)垃圾郵件分類器。垃圾郵件過濾中常用的分類方法有簡單貝葉斯、κ-近鄰、決策樹、boosting等。簡單貝葉斯

2、方法計算簡便，但召回率和正確率難以提到一個更高的層次，而且不適合于增量式的反饋學(xué)習(xí)。其他的幾種方法有的效果比簡單貝葉斯好一些，但計算較復(fù)雜。Winnow是一種錯誤驅(qū)動的在線學(xué)習(xí)線性分類算法，其在線學(xué)習(xí)的特性非常適合“實時學(xué)習(xí)”的增量式反饋，本文將貝葉斯方法與winnow算法相結(jié)合，構(gòu)造了一種速度快、計算簡便、性能好、反饋學(xué)習(xí)方便的垃圾郵件過濾器。實驗表明，該過濾方法的分類效果優(yōu)于單一的貝葉斯方法或者winnow方法。 本文的主要

3、工作如下： （1）在分析了常用特征提取方法的基礎(chǔ)上，提出了一種基于成詞概率的語詞特征提取方法。一次掃描待分類郵件，通過成詞置信參數(shù)控制特征提取的速度與成詞準(zhǔn)確度，使其復(fù)雜度適應(yīng)郵件分類算法的需要。 （2）研究了現(xiàn)有的貝葉斯分類方法，并在此基礎(chǔ)上設(shè)計了一種簡單快速的貝葉斯MDA層過濾算法，該算法能夠通過成詞參數(shù)以及代價函數(shù)控制過濾敏感度，適應(yīng)于不同應(yīng)用環(huán)境下的過濾需求。 （3）利用winnow算法的反饋學(xué)習(xí)性能較好