基于規(guī)則和統(tǒng)計的網(wǎng)絡(luò)不良信息識別研究.pdf

1、互聯(lián)網(wǎng)的高速發(fā)展，給社會和人們的生活帶來了巨大而深遠的影響?；ヂ?lián)網(wǎng)作為信息傳播的載體，與傳統(tǒng)的紙媒相比具有無法比擬的優(yōu)越性，為不同領(lǐng)域如政治、經(jīng)濟、文化等的信息傳播提供了優(yōu)質(zhì)的平臺，也為人與人之間的交流創(chuàng)建了一種新的途徑。
　　互聯(lián)網(wǎng)給人們生活帶來便利的同時，也帶來一些負面的效應(yīng)。虛擬的網(wǎng)絡(luò)環(huán)境中，每一個用戶都被轉(zhuǎn)化為一串虛擬的符號，用戶通過個人網(wǎng)頁、微博、微信公眾號、論壇等形式的網(wǎng)絡(luò)媒體發(fā)布的信息、言論等，都具有一定的不確定性，

2、即使許多平臺采取一定的事前審核、事后過濾措施，但仍然有某些身份隱蔽、道德意識、文化素養(yǎng)較差的人存在，使得大量虛假的、色情類、政治敏感類、詐騙類、迷信類等信息充斥網(wǎng)絡(luò)的角角落落，、敗壞社會風(fēng)氣，蠱惑人心，給人們的身心健康造成極大的損害。
　　作為一種用戶量巨大的網(wǎng)絡(luò)社交媒體，微博是一種基于用戶關(guān)系的信息分享、傳播、獲取的平臺，用戶發(fā)布的微博消息可以通過客戶端或者平臺及時推送給粉絲，實現(xiàn)了實時、快捷的信息傳播。同時微博粉絲也可以通過發(fā)

3、表評論與博主進行互動，或者可以進行轉(zhuǎn)發(fā)、評論、收藏等操作，實現(xiàn)信息分享、傳播，擴大信息傳播的范圍，增強信息的影響力。微博的這個特點同時也導(dǎo)致了微博成為不良信息的藏身之地。因此微博已經(jīng)成為許多學(xué)者研究的對象。
　　為了凈化網(wǎng)絡(luò)環(huán)境，讓未成年人遠離不良信息的侵害，給互聯(lián)網(wǎng)用戶提供良好的搜索體驗，有必要控制這些不良信息的發(fā)布和傳播，采取相應(yīng)的措施和手段加強監(jiān)督和管理。為此，本文以網(wǎng)絡(luò)中不良信息的識別為目的，結(jié)合已有的中文文本挖掘技術(shù)來進

4、行實驗研究。通過爬蟲程序采集微博用戶針對特定微博正文進行評論和轉(zhuǎn)發(fā)內(nèi)容，得到原始數(shù)據(jù)。并對原始數(shù)據(jù)進行去除無關(guān)的符號、分詞處理、依存關(guān)系標(biāo)注、詞頻統(tǒng)計等操作，并利用得到的數(shù)據(jù)來提取文本的特征集。為了提高分詞的準(zhǔn)確性，本文設(shè)計了不良詞庫，其中包含不良詞語本身對應(yīng)的基本詞表、近義詞表、縮寫詞表、詞語之間的依存關(guān)系表;將基于統(tǒng)計的特征提取算法與依存關(guān)系分析相結(jié)合，有效提取文本特征，并使用樸素貝葉斯算法實現(xiàn)了文本分類模型。進一步將該模型應(yīng)用于微