社交平臺(tái)垃圾信息過(guò)濾系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的迅猛發(fā)展，網(wǎng)絡(luò)社交平臺(tái)已經(jīng)成為人們溝通交流的重要方式，給人們帶來(lái)了極大的便利。但在各種數(shù)據(jù)飛速增長(zhǎng)的同時(shí)垃圾信息也不斷的膨脹，垃圾信息嚴(yán)重干擾用戶的正常交流，損害用戶利益，甚至危害社會(huì)安定。這迫切需要凈化網(wǎng)絡(luò)空間，營(yíng)造健康良好的社交體系。因此，社交平臺(tái)垃圾信息過(guò)濾技術(shù)已經(jīng)成為當(dāng)前研究普遍關(guān)注的熱點(diǎn)問(wèn)題。
　　本文設(shè)計(jì)并實(shí)現(xiàn)了一種基于文本分類算法的社交平臺(tái)垃圾信息過(guò)濾系統(tǒng)，其主要工作如下:
　　(1)闡述了數(shù)據(jù)爬取

2、的基本原理，對(duì)天涯論壇進(jìn)行數(shù)據(jù)采集和標(biāo)注，構(gòu)建實(shí)驗(yàn)語(yǔ)料庫(kù)，作為實(shí)驗(yàn)數(shù)據(jù)。其中數(shù)據(jù)采集是通過(guò)編寫python腳本調(diào)用urllib2和BeautifulSoup來(lái)讀取并分析天涯論壇頁(yè)面;數(shù)據(jù)標(biāo)注是通過(guò)人工研判進(jìn)行文本標(biāo)注。
　　(2)研究了基于文本分類算法的垃圾信息過(guò)濾算法，實(shí)現(xiàn)了k近鄰、邏輯回歸、支持向量機(jī)、隨機(jī)森林和神經(jīng)網(wǎng)絡(luò)五種模型的垃圾信息過(guò)濾器，并從過(guò)濾性能和過(guò)濾器消耗的時(shí)間等方面評(píng)價(jià)五種過(guò)濾器的優(yōu)缺點(diǎn)。實(shí)驗(yàn)證明支持向量機(jī)算法

3、過(guò)濾效果最好，但運(yùn)行時(shí)間相對(duì)較長(zhǎng)。針對(duì)垃圾信息過(guò)濾時(shí)由于忽略文本結(jié)構(gòu)而導(dǎo)致大量語(yǔ)義信息丟失的問(wèn)題，本文將一種基于詞序列核的支持向量機(jī)算法應(yīng)用于垃圾信息過(guò)濾中，而針對(duì)原始詞序列核無(wú)句子概念，本文提出了一種基于句抽取的詞序列核，在沒(méi)有大幅度增加時(shí)間和空間復(fù)雜度的基礎(chǔ)上提高了本實(shí)驗(yàn)環(huán)境下垃圾信息過(guò)濾的準(zhǔn)確率。
　　(3)設(shè)計(jì)并實(shí)現(xiàn)了一種社交平臺(tái)垃圾信息過(guò)濾系統(tǒng)(SFS)，該系統(tǒng)包括數(shù)據(jù)導(dǎo)入模塊、數(shù)據(jù)預(yù)處理模塊、特征選擇模塊、垃圾信息過(guò)濾

4、模塊等，其中特征選擇模塊采用詞頻-逆文檔頻率、信息增益、期望交叉熵、互信息四種方法，并對(duì)該系統(tǒng)進(jìn)行了功能測(cè)試和性能測(cè)試。
　　在該社交平臺(tái)垃圾信息過(guò)濾系統(tǒng)中對(duì)帖子內(nèi)容進(jìn)行了測(cè)試分析，若內(nèi)容屬于美白、減肥、瘦身產(chǎn)品等垃圾廣告帖時(shí)過(guò)濾效果好，若屬于中獎(jiǎng)、色情、反動(dòng)言論等垃圾信息帖則過(guò)濾效果不好。這可能是因?yàn)閺奶煅恼搲廊〉臄?shù)據(jù)中大多是產(chǎn)品廣告，而其他類別的垃圾信息很少。通過(guò)對(duì)社交平臺(tái)垃圾信息進(jìn)行分析和過(guò)濾，以幫助軟件開(kāi)發(fā)者或使用人員盡