基于集成學(xué)習(xí)的垃圾短信多級分類技術(shù)研究.pdf

1、近年來手機短信以其廉價性和方便快捷性的特點越來越成為人們所喜愛的一種聯(lián)絡(luò)方式，短信的應(yīng)用也從最初的人與人之間的溝通工具漸漸地擴展到了一種服務(wù)的提供方式，如航班查詢、天氣預(yù)報訂閱等。雖然手機短信業(yè)務(wù)的爆發(fā)式增長帶給人們的生活極大的便利，但是與此同時，隨之而來的大量的垃圾手機短信也逐漸對人們的生活產(chǎn)生極大負(fù)面影響。垃圾短信的泛濫不僅干擾人們的正常生活，同時給社會穩(wěn)定帶來了不利影響。
　　本文以垃圾短信過濾技術(shù)為研究對象，首先介紹了垃圾

2、短信過濾的傳統(tǒng)技術(shù)的基本原理，如黑白名單法、關(guān)鍵詞過濾法和基于內(nèi)容識別的機器學(xué)習(xí)法，以及它們各自的優(yōu)缺點，并且著重比較了各種不同的機器學(xué)習(xí)算法對于垃圾短信的分類能力。其次，本文介紹了旨在提高短信分類的穩(wěn)定性和準(zhǔn)確性的各種集成學(xué)習(xí)多級分類方法，并且以 Stacking作為我們的短信過濾系統(tǒng)的集成學(xué)習(xí)算法，通過實驗兩種集成策略，我們最終得到了一個比較有效的短信分類系統(tǒng)。本文的主要工作體現(xiàn)在如下幾個方面：
　?。?）通過實驗分析比較了各

3、種機器學(xué)習(xí)算法對垃圾短信的分類能力以及它們的優(yōu)缺點。
　　（2）提出了一種分類器訓(xùn)練策略，通過合并那些容易混淆的類別的數(shù)據(jù)作為訓(xùn)練集訓(xùn)練出第一級分類器，然后再將這些容易混淆的類別的數(shù)據(jù)提取出來作為另外一個訓(xùn)練集訓(xùn)練出第二級分類器，使用兩級分類策略有助于分類效果的提高。
　?。?）提出了一種基于互信息的特征選擇改進(jìn)算法，使用改進(jìn)后的算法后取得良好的效果。
　　（4）采用Stacking集成學(xué)習(xí)技術(shù)集成了多個基本分類器，并