基于文本挖掘的垃圾短信過濾方法.pdf

1、手機短信作為一種收發(fā)便捷、移動性好、價格低廉的通訊方式，逐漸影響著人們的生活。但隨著短信的日益普及，垃圾短信問題也變得同益嚴峻，其嚴重的泛濫不僅僅嚴重影響人們的正常生活，而且嚴重影響社會穩(wěn)定和公共安全。垃圾短信的過濾成為了當前人們生活急需解決的一個重要任務(wù)，因此垃圾短信智能過濾技術(shù)的研究具有重要的意義。目前垃圾短信過濾技術(shù)包括黑白名單技術(shù)、規(guī)則過濾以及關(guān)鍵詞匹配等。然而現(xiàn)有的技術(shù)需要對短信進行逐條分析與判斷，存在大量運算，會造成短信服務(wù)

2、中心網(wǎng)絡(luò)堵塞，使得短信發(fā)送得不到及時的處理。 針對目前過濾技術(shù)的缺點，本文提出了一種基于抽樣的短信流過濾方法，該方法提出用部分短信代表整個短信流的思想；同時給每個用戶設(shè)定一個可信值，并根據(jù)用戶可信值的不同，對發(fā)送到短信服務(wù)中心的短信進行不同強度的檢測。檢測到的短信根據(jù)短信的文字信息進行分類，而不必對每一條短信進行分析，提高了垃圾短信的處理效率。該方法整合了現(xiàn)有的垃圾短信過濾技術(shù)(長度過濾，黑白名單、關(guān)鍵詞及內(nèi)容過濾等技術(shù))。在內(nèi)

3、容過濾技術(shù)中，本文采用了協(xié)同神經(jīng)網(wǎng)絡(luò)的分類方法，然而經(jīng)典的Haken模型對海量數(shù)據(jù)識別是極為困難的，本文根據(jù)協(xié)同神經(jīng)網(wǎng)絡(luò)在注意參數(shù)相等時能快速識別的原理，改進算法，使之能適應(yīng)海量垃圾短信分類。同時將現(xiàn)有的垃圾短信過濾技術(shù)和改進的協(xié)同神經(jīng)網(wǎng)絡(luò)應(yīng)用于MapReduce模型之中。實驗表明基于抽樣的垃圾短信過濾方法比單一的內(nèi)容過濾方法準確率和處理時間上有很大的提高，以及這些技術(shù)應(yīng)用MapReduce模型中的可行性和有效性。 本文的主要工

4、作包括： (1)概述了現(xiàn)有的垃圾短信過濾技術(shù)以及分析了這些技術(shù)存在的問題，同時對垃圾短信的定義、危害進行了描述。 (2)介紹了協(xié)同神經(jīng)網(wǎng)絡(luò)模型原理，并在現(xiàn)有的模型基礎(chǔ)上進行改進，建立一個多輸入單輸出的協(xié)同神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，使之能適合海量的短信識別。 (3)提出了抽樣短信流過濾方法，構(gòu)建了一個基于抽樣的短信流過濾系統(tǒng)。 (4)介紹了MapReduce模型，并將現(xiàn)有的垃圾短信過濾技術(shù)和改進的協(xié)同神經(jīng)網(wǎng)絡(luò)應(yīng)用于Ma