基于內(nèi)容的客戶端垃圾短信過濾系統(tǒng)的研究.pdf

1、當(dāng)今社會(huì)垃圾短信泛濫，嚴(yán)重騷擾著手機(jī)用戶，并且為人們正常使用手機(jī)進(jìn)行交流和溝通帶來(lái)了極大的不便，有些違法短信和不良短信也帶來(lái)了一定的社會(huì)危害。因此垃圾短信過濾是當(dāng)今學(xué)術(shù)界研究的一大熱點(diǎn)也是難點(diǎn)，但它同時(shí)也是廣大手機(jī)用戶的迫切需求。 本文主要研究了基于內(nèi)容的垃圾短信過濾，它可以看成是一個(gè)不規(guī)則短文本的分類問題。其核心是分類算法。主要工作包括短信語(yǔ)料的采集和分析、過濾系統(tǒng)的研究設(shè)計(jì)、核心過濾算法的選擇和實(shí)驗(yàn)、實(shí)驗(yàn)系統(tǒng)的搭建和測(cè)試等。

2、 在短信語(yǔ)料方面，本文采集了2089條短信，并且從中選擇了部分語(yǔ)料進(jìn)行深入分析，總結(jié)提取了短信和垃圾短信的特征，為以后的過濾研究打下了基礎(chǔ)。同時(shí)這些短信語(yǔ)料也將作為實(shí)驗(yàn)系統(tǒng)的訓(xùn)練和測(cè)試語(yǔ)料。 在系統(tǒng)框架設(shè)計(jì)中，首先考慮了實(shí)現(xiàn)途徑和過濾原則。通過對(duì)比選擇了基于客戶端的垃圾短信過濾途徑。并且根據(jù)手機(jī)用戶對(duì)垃圾短信的過濾需求，提出了垃圾短信過濾原則，即“寧可放過，不能錯(cuò)殺”。 在核心過濾算法方面，借鑒了目前成熟垃圾郵件

3、過濾方法，選取了三種過濾方法，即決策樹算法、最大熵算法和顯式規(guī)則算法，并實(shí)現(xiàn)了基于PC機(jī)的垃圾短信過濾實(shí)驗(yàn)系統(tǒng)。都取得了較好的過濾效果，其中決策樹算法的平均正確率為97.2％，平均召回率為96.71％。最大熵算法的平均正確率為96.55％，平均召回率為95.85％，基于顯式規(guī)則的過濾系統(tǒng)在保證了100％的正確的情況下，召回率達(dá)到76.79％。最后對(duì)三種算法從過濾效果，時(shí)間復(fù)雜度和靈活性方面進(jìn)行了對(duì)比，闡述了基于顯式規(guī)則的過濾算法的優(yōu)越性