基于規(guī)則權(quán)重合成的垃圾郵件過(guò)濾算法研究

1、國(guó)內(nèi)圖書(shū)分類號(hào)：TP393.098國(guó)際圖書(shū)分類號(hào)：621.3工學(xué)碩士學(xué)位論文基于規(guī)則權(quán)重合成的垃圾郵件過(guò)濾算法研究碩士研究生：宋智洋導(dǎo)師：丁宇新副教授申請(qǐng)學(xué)位：工學(xué)碩士學(xué)科、專業(yè)：計(jì)算機(jī)科學(xué)與技術(shù)所在單位：深圳研究生院答辯日期：2007年12月授予學(xué)位單位：哈爾濱工業(yè)大學(xué)摘要I摘要電子郵件過(guò)濾系統(tǒng)的主要任務(wù)是幫助用戶節(jié)省手動(dòng)刪除垃圾郵件的時(shí)間和精力，幫助服務(wù)器過(guò)濾掉垃圾郵件以節(jié)省網(wǎng)絡(luò)資源。郵件過(guò)濾屬于文本分類的二值分類，系統(tǒng)必須具有實(shí)時(shí)

2、性、高效性、高可靠性，必要時(shí)要考慮用戶個(gè)性化。根據(jù)2007年第一次反垃圾郵件調(diào)查報(bào)告分析顯示，半數(shù)以上的用戶沒(méi)有使用郵件過(guò)濾服務(wù)，其中41%的用戶認(rèn)為過(guò)濾效果不明顯、19%的用戶認(rèn)為過(guò)濾系統(tǒng)的功能不能滿足其需要，由于中文垃圾郵件過(guò)濾的研究在國(guó)內(nèi)起步較晚，在國(guó)外做得較少，影響了中文郵件過(guò)濾系統(tǒng)的性能和普及。本課題研究的目的在于提高郵件過(guò)濾系統(tǒng)的性能。本文分析了普通文本分類與垃圾郵件過(guò)濾在特征提取上的相同點(diǎn)和不同點(diǎn)，在規(guī)則提取上考慮了郵件特

3、征詞匯的分布特性，通過(guò)對(duì)統(tǒng)計(jì)結(jié)果的分析，改進(jìn)了原有的特征提取算法，在郵件過(guò)濾中得到了較好的效果。接著引入理想化模型，提出了邊界點(diǎn)圓半徑特征提取算法。本文主要研究?jī)?nèi)容包括：(1)采用特征向量空間的樣本建模方法，把郵件樣本表示為特征詞匯(規(guī)則）向量的形式。(2)分析郵件特征詞的分布特點(diǎn)，改進(jìn)并提出了若干特征提取算法，使提取出的規(guī)則可以較好的表現(xiàn)郵件的特性。(3)研究梯度下降神經(jīng)網(wǎng)絡(luò)，設(shè)計(jì)了BP神經(jīng)網(wǎng)絡(luò)，通過(guò)實(shí)驗(yàn)得到較好的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)，實(shí)

4、現(xiàn)特征提取算法地規(guī)則提取特征性比較。(4)研究遺傳算法理論，采用基于突變的遺傳神經(jīng)網(wǎng)絡(luò)方法設(shè)計(jì)了一個(gè)郵件過(guò)濾系統(tǒng)，提高了郵件過(guò)濾的精度和可靠性，滿足了中文垃圾郵件過(guò)濾的需求。本文在實(shí)現(xiàn)郵件過(guò)濾系統(tǒng)時(shí)采用了可以實(shí)現(xiàn)全局最優(yōu)的遺傳算法和預(yù)選擇的小生境搜索等優(yōu)化方法，在實(shí)驗(yàn)中獲得了較理想的分類結(jié)果。對(duì)遺傳神經(jīng)網(wǎng)絡(luò)與梯度下降的神經(jīng)網(wǎng)絡(luò)算法進(jìn)行的對(duì)比分析表明：本系統(tǒng)所采用的遺傳神經(jīng)網(wǎng)絡(luò)算法在效率和可靠性上都有了一定的提高，適合在郵件過(guò)濾系統(tǒng)的應(yīng)用