基于數(shù)據(jù)驅(qū)動(dòng)的垃圾郵件檢測(cè)技術(shù)研究.pdf

1、垃圾郵件作為電子郵件的副產(chǎn)品，已經(jīng)給人們生活、工作等多個(gè)方面帶來嚴(yán)重的影響。如何有效地檢測(cè)出垃圾郵件已經(jīng)成為急需解決的一個(gè)難題。因此本文針對(duì)常見的垃圾郵件文本檢測(cè)進(jìn)行了深入研究。具體描述如下：
　　(1)提出了基于Boosting Tree算法的垃圾郵件檢測(cè)方法。Boosting Tree算法基本原理是以Decision Tree分類算法作為Boosting算法框架中的基分類方法，利用Boosting算法框架對(duì)歷史郵件文本(訓(xùn)練集

2、)進(jìn)行訓(xùn)練以獲得多個(gè)不同的訓(xùn)練樣本子集。然后應(yīng)用Decision Tree分類算法對(duì)這些樣本子集進(jìn)行訓(xùn)練生成Decision Tree基分類器，經(jīng)過T輪的訓(xùn)練后產(chǎn)生T個(gè)Decision Tree基分類器。再將T個(gè)Decision Tree基分類器進(jìn)行加權(quán)融合成一個(gè)最終結(jié)果的分類器。最后利用這個(gè)最終結(jié)果的分類器對(duì)電子郵件進(jìn)行檢測(cè)分類。傳統(tǒng)貝葉斯算法、Decision Tree算法和Boosting Tree算法的對(duì)比結(jié)果充分說明了基于Bo

3、osting Tree算法的垃圾郵件分類器的性能明顯優(yōu)于其它。
　　(2)提出了基于隨機(jī)森林的垃圾郵件檢測(cè)方法。隨機(jī)森林以Decision Tree算法為基分類器，通過bagging抽樣方法從訓(xùn)練樣本集中重復(fù)抽取多個(gè)訓(xùn)練樣本子集，再對(duì)每個(gè)訓(xùn)練樣本子集分別進(jìn)行建立Decision Tree算法數(shù)學(xué)模型，然后根據(jù)分類結(jié)果對(duì)每個(gè)決策樹進(jìn)行“投票”，獲得票數(shù)最多的作為最優(yōu)分類樹。隨機(jī)森林和Decision Tree算法仿真實(shí)驗(yàn)結(jié)果表明基于

4、隨機(jī)森林的垃圾郵件分類器的分類效率大幅度提高。
　　(3)提出了一種新型的Elastic net-Decision Tree兩步垃圾郵件分類算法。該算法彌補(bǔ)了單獨(dú)使用一些算法進(jìn)行特征降維或回歸分析時(shí)分類的效果不足的缺陷。第一步運(yùn)用Elastic Net算法對(duì)歷史郵件文本數(shù)據(jù)進(jìn)行特征降維；第二步將特征降維產(chǎn)生的結(jié)果輸入到Decision Tree算法中進(jìn)行分類，即篩選出哪些郵件是垃圾郵件，哪些是合法郵件。與PLS、PCA和Lasso