中文垃信過濾中典型判別學(xué)習(xí)模型和生成模型的比較.pdf

1、垃圾短信嚴(yán)重干擾了其正常生活，危害到個(gè)人隱私。垃圾短信的泛濫造成了運(yùn)營商短信中心等基礎(chǔ)設(shè)施投資的巨大浪費(fèi)，并增加了網(wǎng)絡(luò)遭到惡意攻擊的危險(xiǎn)。利用短信進(jìn)行勒索、詐騙的違法犯罪的活動(dòng)日漸猖獗(如以中獎(jiǎng)、征婚、辦證、敲詐等主要方式出現(xiàn))。由于一些居心叵測、別有用心的人利用短信傳播不實(shí)消息和謠言，在群眾中造成大面積恐慌，破壞社會(huì)穩(wěn)定。(如非典時(shí)期一些地方發(fā)生的藥品、食品搶購風(fēng)潮，就與短信中某些虛假消息的迅速傳播有關(guān))。少數(shù)不法分子利用它傳播黃色信

2、息，毒化社會(huì)風(fēng)氣。短信作為一種方便快捷的聯(lián)絡(luò)方式，在過去幾年受到越來越多用戶的歡迎，并取得突飛猛進(jìn)的發(fā)展。然而，這些垃圾信息的背后，是一個(gè)巨大的產(chǎn)業(yè)鏈，而被肆意販賣的正是手機(jī)用戶的個(gè)人隱私。
　　 本文在全面分析國內(nèi)外研究現(xiàn)狀的基礎(chǔ)上，探討了垃圾短信過濾系統(tǒng)的必要性和重要意義，并對垃圾短信過濾系統(tǒng)進(jìn)行了詳細(xì)的理論概述，對支撐模型進(jìn)行了系統(tǒng)研究。本文以直接優(yōu)化核心評價(jià)指標(biāo)1-ROCA來提升過濾系統(tǒng)性能為核心思想，同時(shí)提升1am％指

3、標(biāo)。在此基礎(chǔ)上，選擇了邏輯回歸模型和貝葉斯模型作為過濾器的模型，這兩種模型在以往的中文信息過濾任務(wù)中表現(xiàn)出極佳的性能，并且具有較低的時(shí)間復(fù)雜度和空間復(fù)雜度并提出字節(jié)級n-gram的特征提取方法，通過提取短信的二進(jìn)制片段序列特征，使過濾模型具有語言無關(guān)性，同時(shí)解決垃圾短信偽裝和隱藏的問題。
　　 實(shí)驗(yàn)證明，本文的兩種垃圾短信過濾器均具有較好的實(shí)驗(yàn)結(jié)果。然而，相對這種兩種模型，我們發(fā)現(xiàn)樸素貝葉斯模型的性能優(yōu)于邏輯回歸模型，但隨著短信

4、數(shù)量的增加，邏輯回歸模型的性能最終略優(yōu)于貝葉斯模型。
　　 基于邏輯回歸模型的垃圾短信過濾方法可以取得很好的過濾效果。本文在模型上采用邏輯回歸模型、利用字級n-gram方法進(jìn)行特征提取，具有簡單易行，效率高等優(yōu)勢。并對TONE訓(xùn)練加以改進(jìn)。實(shí)驗(yàn)表明，該方法可以以很高的準(zhǔn)確率識別出垃圾短信，同時(shí)，對合法短信判斷的錯(cuò)誤率很低，減少了因?yàn)檎`判對手機(jī)用戶造成的損失。由于該方法分類耗時(shí)較短，對系統(tǒng)資源占用較少，適用于移動(dòng)通信系統(tǒng)。