基于神經(jīng)網(wǎng)絡(luò)和詞共現(xiàn)模型的垃圾郵件分類器研究.pdf

1、互聯(lián)網(wǎng)已經(jīng)成為現(xiàn)代生活中不可分割的一部分,互聯(lián)網(wǎng)時(shí)代人們之間的聯(lián)系交流日益緊密,電子郵件作為非常重要的非即時(shí)聯(lián)系方式,顯示出越來(lái)越高的重要性。但是由于電子郵件現(xiàn)有的收發(fā)協(xié)議的缺陷以及利益的驅(qū)使,導(dǎo)致了目前互聯(lián)網(wǎng)上垃圾郵件泛濫成災(zāi)。越來(lái)越多的垃圾郵件侵占了有限的存儲(chǔ)、計(jì)算和網(wǎng)絡(luò)資源,耗費(fèi)了用戶大量的處理時(shí)間,影響和干擾了用戶的正常工作、生活和學(xué)習(xí)。如何有效地治理垃圾郵件問題是全世界共同面臨的一道難題,也是目前互聯(lián)網(wǎng)上亟待解決的問題。

2、>　　目前,經(jīng)常采用的垃圾郵件過(guò)濾技術(shù)一般包括白名單與黑名單技術(shù)、基于規(guī)則的過(guò)濾以及基于關(guān)鍵詞匹配的內(nèi)容掃描等。另外還有一個(gè)研究方向就是從電子郵件的文本內(nèi)容入手,使用文本分類算法,對(duì)郵件進(jìn)行分類。垃圾郵件過(guò)濾中常用的文本分類方法有簡(jiǎn)單貝葉斯、k-近鄰、決策樹等。近年來(lái)隨著小型計(jì)算機(jī)性能的提高,基于神經(jīng)網(wǎng)絡(luò)的分類方法研究也越來(lái)越多。張鈴和張鈸教授于1999提出的交叉覆蓋算法,也是神經(jīng)網(wǎng)絡(luò)算法的一種。交叉覆蓋算法是利用了M-P神經(jīng)元模型的幾

3、何意義得到的一種領(lǐng)域覆蓋的算法,它在一定意義上考慮到了網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化問題,可以使得產(chǎn)生的神經(jīng)網(wǎng)絡(luò)的規(guī)模較小,而且方法實(shí)用、可行,解決了多年以來(lái)一直未能很好解決的前向網(wǎng)絡(luò)設(shè)計(jì)問題。
　　傳統(tǒng)的基于內(nèi)容識(shí)別的垃圾郵件過(guò)濾方法主要采用向量空間模型來(lái)表示郵件文檔。向量空間模型假設(shè)詞與詞間不相關(guān),以向量來(lái)表示文本,從而簡(jiǎn)化了文本中的關(guān)鍵詞之間的復(fù)雜關(guān)系,文檔用十分簡(jiǎn)單的向量表示,使得模型具備了可計(jì)算性。向量空間模型把文檔簡(jiǎn)化為以詞為單位的項(xiàng)

4、,每項(xiàng)都有權(quán)重,項(xiàng)即是向量空間中的維度,權(quán)重即是維度的大小。這樣每篇文檔就被表示為一個(gè)n維空間中的向量,就可以通過(guò)空間向量的運(yùn)算來(lái)處理文檔,使得問題的復(fù)雜性大大降低。但是這種表示方法是以詞與詞之間不相關(guān)為前提,模型沒有考慮文檔中上下文詞語(yǔ)之間的語(yǔ)義聯(lián)系。而詞共現(xiàn)模型是一種以統(tǒng)計(jì)為基礎(chǔ)的自然語(yǔ)言處理模型,研究發(fā)現(xiàn),兩個(gè)詞經(jīng)常共同出現(xiàn)在文檔的同一窗口單元(如一句話、一個(gè)自然段等),則可以認(rèn)為這兩個(gè)詞在意義上是相互關(guān)聯(lián)的,并且共現(xiàn)的概率越高,

5、其相互關(guān)聯(lián)越緊密?；谶@樣的思想,本文將傳統(tǒng)的向量空間模型和詞共現(xiàn)模型結(jié)合起來(lái)表示郵件文檔,在傳統(tǒng)方法的基礎(chǔ)上,增加使用詞共現(xiàn)模型選取出的一部分詞共同構(gòu)成向量空間來(lái)表示郵件,再采用交叉覆蓋算法構(gòu)建垃圾郵件過(guò)濾分類器。實(shí)驗(yàn)表明,本文提出的方法能夠提高郵件過(guò)濾的性能。
　　縱觀全文,主要做了以下工作:
　　1)分析了現(xiàn)有的郵件過(guò)濾技術(shù),并做了歸納總結(jié)。
　　2)提出了基于詞共現(xiàn)模型和向量空間模型的郵件表示方法,以及在此基礎(chǔ)