數(shù)據(jù)挖掘在Internet有害信息過(guò)濾中的應(yīng)用.pdf

1、近年來(lái)，我國(guó)互聯(lián)網(wǎng)發(fā)展迅速，對(duì)于促進(jìn)經(jīng)濟(jì)發(fā)展和社會(huì)進(jìn)步、提高全民族科學(xué)文化素質(zhì)、加強(qiáng)社會(huì)主義精神文明建設(shè)，起到了重要作用。但與此同時(shí)，互聯(lián)網(wǎng)信息內(nèi)容的安全管理工作也面臨著一些新的情況和問(wèn)題，境內(nèi)外敵對(duì)勢(shì)力和一些不法分子，利用互聯(lián)網(wǎng)進(jìn)行各種違法犯罪活動(dòng)問(wèn)題突出，各種反動(dòng)、淫穢、迷信、暴力等有害信息在互聯(lián)網(wǎng)上的傳播，嚴(yán)重地危害了國(guó)家安全和社會(huì)穩(wěn)定，影響了社會(huì)主義精神文明建設(shè)，對(duì)青少年的身心健康造成極大傷害，廣大人民群眾和社會(huì)各界反應(yīng)強(qiáng)烈。

2、 據(jù)中國(guó)互聯(lián)網(wǎng)信息中心(CNNIC)發(fā)布的“第十六次互聯(lián)網(wǎng)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告”顯示，截止2005年6月30日，我國(guó)上網(wǎng)用戶(hù)總?cè)藬?shù)已經(jīng)達(dá)到10300萬(wàn)人，網(wǎng)站總數(shù)達(dá)到677500個(gè)。面對(duì)如此眾多的網(wǎng)站，傳統(tǒng)的通過(guò)人工瀏覽來(lái)進(jìn)行內(nèi)容核查的方式，不僅需要大量的人力和財(cái)力，也難以在有限的時(shí)間內(nèi)發(fā)現(xiàn)網(wǎng)絡(luò)上出現(xiàn)的特定內(nèi)容。因此有必要研制一種計(jì)算機(jī)軟件來(lái)幫助人們自動(dòng)搜集網(wǎng)絡(luò)信息、分析信息的內(nèi)容，從而為人工甄別提供便捷有效的技術(shù)手段。 本文

3、對(duì)網(wǎng)絡(luò)信息挖掘、文本挖掘、搜索引擎的工作機(jī)理以及WebBrowser、Mshtml組件進(jìn)行了深入研究，在此基礎(chǔ)上，設(shè)訃并實(shí)現(xiàn)了一整套互聯(lián)網(wǎng)有害信息搜索采集系統(tǒng)(ASystemforSearchingandCollectingHarmfulMessagesintheInternet)，所做的主要工作包括： 1、對(duì)數(shù)據(jù)挖掘、網(wǎng)絡(luò)信息挖掘、文本挖掘技術(shù)進(jìn)行了分析，提出了如何在BBS、聊天室等交互式欄目中進(jìn)行特征提取，關(guān)鍵詞搜索的方法。

4、 2、分析了網(wǎng)頁(yè)的結(jié)構(gòu)和BBS的構(gòu)成，通過(guò)設(shè)置網(wǎng)頁(yè)的搜索策略和采用深度優(yōu)先搜索算法，完成了對(duì)網(wǎng)站和BBS的整站搜索。 3、分析了IE的體系結(jié)構(gòu)和WebBrowser、Mshtml組件的基本功能，對(duì)聊天室頁(yè)面結(jié)構(gòu)進(jìn)行HTML元素分析，實(shí)現(xiàn)了聊天室的自動(dòng)登陸和對(duì)聊天信息的動(dòng)態(tài)監(jiān)控。 4、探討了網(wǎng)絡(luò)搜索引擎的工作原理和檢索模型，通過(guò)分析Google、Baidu等搜索引擎的輸出結(jié)果特征，獲得了搜索引擎搜索數(shù)據(jù)的通用代碼。