基于內(nèi)容的垃圾郵件過濾研究.pdf

1、電子郵件已經(jīng)成為人們?nèi)粘Ｉ钪型ㄐ?、交流的重要手段之?但垃圾郵件問題也日益嚴(yán)峻,網(wǎng)民平均每天收到的垃圾郵件數(shù)量已超過了正常郵件.目前經(jīng)常采用的垃圾郵件過濾技術(shù)一般包括白名單與黑名單技術(shù)、規(guī)則過濾以及基于關(guān)鍵詞匹配的內(nèi)容掃描等.另外一條路線就是從電子郵件的文本內(nèi)容入手,使用文本分類、信息過濾的算法,在訓(xùn)練郵件集合上學(xué)習(xí)垃圾郵件分類器.垃圾郵件過濾中常用的文本分類方法有簡單貝葉斯、k-近鄰、決策樹、boosting等.簡單貝葉斯方法計(jì)算簡

2、便,但召回率和正確率難以提到一個(gè)更高的層次,而且不適合于增量式的反饋學(xué)習(xí).其他的幾種方法有的效果比簡單貝葉斯好一些,但計(jì)算較復(fù)雜.該文在分析簡單貝葉斯方法的基礎(chǔ)上,試圖尋找一種速度快、計(jì)算簡便、性能好、反饋學(xué)習(xí)方便的垃圾郵件過濾器.Winnow是一種錯(cuò)誤驅(qū)動(dòng)的在線學(xué)習(xí)線性分類算法,其在線學(xué)習(xí)的特性非常適合"一例一學(xué)"的增量式反饋,作者將Winnow算法應(yīng)用于垃圾郵件過濾.在公用的郵件語料上的實(shí)驗(yàn)表明,Winnow的效果比簡單貝葉斯方法要

3、好,接近于Boosting方法.具體的說,該文的工作主要包含下列內(nèi)容:1)概述垃圾郵件過濾問題的研究現(xiàn)狀.包括垃圾郵件的定義、危害以及常用的過濾技術(shù).2)介紹文本分類算法在郵件過濾上的應(yīng)用,總結(jié)了常用的特征選擇方法、分類算法以及通用的郵件語料庫.3)詳細(xì)分析郵件過濾中的簡單貝葉斯算法.使用PU1郵件語料實(shí)驗(yàn)貝葉斯算法的性能,并比較特征數(shù)量、分類閾值以及語料的預(yù)處理層次對結(jié)果的影響.4)將Winnow線性分類算法引入到郵件過濾中,在PU1