代價(jià)敏感的個(gè)性化郵件過濾技術(shù)研究.pdf

1、Internet飛速發(fā)展和普及，使得電子郵件成為信息交互的重要工具。但是，垃圾郵件的傳播卻嚴(yán)重干擾了用戶的日常生活和信息的正常通信，電子郵件成為各類廣告、政治反動(dòng)宣傳、病毒傳播及惡意攻擊的工具，占用大量帶寬資源，并經(jīng)常引起嚴(yán)重的郵件欺騙和安全問題。因此，研究郵件過濾技術(shù)具有舉足輕重的作用。
　　 在郵件過濾中，分類的任務(wù)是期望建立誤分類最小的分類器，在傳統(tǒng)上都是基于分類錯(cuò)誤具有相同的代價(jià)假定上的。眾所周知，如果用戶查看大量垃圾郵

2、件會(huì)浪費(fèi)用戶的時(shí)間，相反如果漏掉用戶特別重要的郵件則會(huì)造成用戶損失。顯然，相對(duì)于前者，后者所付出的損失代價(jià)要遠(yuǎn)大于前者所付出的代價(jià)。對(duì)一批郵件而言，可能存在的情況是全部郵件中僅有極少數(shù)是用戶真正需要的，則在最糟糕的情況下，使用傳統(tǒng)分類方法產(chǎn)生的分類器只需要以大多數(shù)的郵件為標(biāo)準(zhǔn)作為分類即可獲得比較高精度的分類結(jié)果。但此時(shí)這個(gè)分類器也就失去了存在的價(jià)值。因此在處理分類不平衡數(shù)據(jù)時(shí)，單純以分類精度作為分類器的標(biāo)準(zhǔn)就顯得不恰當(dāng)。一種合理的解決方

3、法是以代價(jià)敏感來取代精度敏感的分類。因此，本文研究中，根據(jù)郵件過濾特點(diǎn)和用戶興趣，結(jié)合對(duì)分類結(jié)果的后處理代價(jià)敏感學(xué)習(xí)方法、可適應(yīng)推進(jìn)算法以及閾值過濾郵件的思想，給錯(cuò)誤分類的重要郵件賦予相應(yīng)的權(quán)值，以引起下一輪分類中更加重視，這樣當(dāng)學(xué)習(xí)完弱分類器后，按照閾值高低進(jìn)行過濾郵件，誤分類代價(jià)就會(huì)減小。實(shí)驗(yàn)結(jié)果表明：改進(jìn)后的方法能根據(jù)用戶興趣對(duì)分類器進(jìn)行設(shè)置，減少了誤分類代價(jià)。
　　 信任覆蓋郵件過濾模型提供了分布式的過濾能力、實(shí)現(xiàn)了結(jié)點(diǎn)

4、間的相互推薦。在結(jié)合用戶興趣的差異性，還有待改進(jìn)，從而滿足用戶個(gè)性化的需求。本文分析了信任覆蓋模型的特點(diǎn)，提出了改進(jìn)的信任覆蓋郵件過濾模型。本模型能反映垃圾郵件趨勢(shì)，能根據(jù)用戶興趣過濾郵件，并把用戶對(duì)郵件的評(píng)判情況反饋給郵件服務(wù)器中的可信管理模塊?？蛻舳讼到y(tǒng)模擬表明，用戶能調(diào)整閾值過濾郵件，反饋后誤判率和漏判率有一定降低。
　　 最后，本文將第三章的算法應(yīng)用于實(shí)際的郵件收發(fā)中，設(shè)計(jì)并實(shí)現(xiàn)了郵件過濾系統(tǒng)，測試表明系統(tǒng)基本上能夠?qū)崿F(xiàn)