WEB內(nèi)容監(jiān)控的研究與實(shí)現(xiàn).pdf

1、在當(dāng)前社會(huì)環(huán)境和Internet網(wǎng)絡(luò)環(huán)境日趨復(fù)雜的條件下，網(wǎng)絡(luò)信息已經(jīng)對(duì)社會(huì)的穩(wěn)定和人們的生活產(chǎn)生了重大的影響。為了防止互聯(lián)網(wǎng)上非法信息的傳播和瀏覽，對(duì)WEB內(nèi)容進(jìn)行主動(dòng)監(jiān)管，保證互聯(lián)網(wǎng)環(huán)境的健康發(fā)展，成為關(guān)系社會(huì)穩(wěn)定的重要課題，因此研究主動(dòng)對(duì)網(wǎng)站內(nèi)容進(jìn)行監(jiān)控的技術(shù)具有重要的意義。
　　本論文對(duì)開(kāi)源網(wǎng)絡(luò)爬蟲(chóng)、WEB信息抽取、文本挖掘相關(guān)技術(shù)進(jìn)行研究，并在此基礎(chǔ)上實(shí)現(xiàn)了一個(gè)網(wǎng)絡(luò)內(nèi)容監(jiān)控系統(tǒng)—WCMS（Web Content Moni

2、tor System），通過(guò)WCMS對(duì)網(wǎng)站內(nèi)容進(jìn)行主動(dòng)監(jiān)控，分析其網(wǎng)頁(yè)內(nèi)容，將網(wǎng)頁(yè)內(nèi)容熱點(diǎn)排序展示、內(nèi)容分類展示、話題展示，便于監(jiān)控者對(duì)網(wǎng)站內(nèi)容進(jìn)行分析和了解網(wǎng)絡(luò)上的熱點(diǎn)信息。
　　WCMS系統(tǒng)主要包括三個(gè)相互獨(dú)立模塊的研究與實(shí)現(xiàn)：
　　1) WCMS爬蟲(chóng)與信息抽取模塊：WCMS爬蟲(chóng)基于開(kāi)源網(wǎng)絡(luò)爬蟲(chóng)進(jìn)行擴(kuò)展,獲取WEB原始數(shù)據(jù)；通過(guò)對(duì)WEB信息抽取的研究，實(shí)現(xiàn)對(duì)WEB原始數(shù)據(jù)進(jìn)行正文內(nèi)容、標(biāo)題、評(píng)論等關(guān)鍵信息的抽取，并將WE

3、B原始數(shù)據(jù)和提取的信息進(jìn)行分類保存，便于后續(xù)處理。
　　2) WCMS信息處理模塊：首先設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)數(shù)據(jù)庫(kù)存取接口，通過(guò)此接口從數(shù)據(jù)庫(kù)中取出網(wǎng)頁(yè)正文內(nèi)容集合?；趯?duì)文本挖掘相關(guān)技術(shù)的研究，對(duì)網(wǎng)頁(yè)正文內(nèi)容集合進(jìn)行文本預(yù)處理，然后進(jìn)行文本分類、聚類處理，并將處理結(jié)果寫(xiě)入數(shù)據(jù)庫(kù)相應(yīng)網(wǎng)頁(yè)記錄中。通過(guò)給網(wǎng)頁(yè)標(biāo)題、作者、評(píng)論、正文分類結(jié)果和聚類結(jié)果各自賦予不同的權(quán)值，設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)評(píng)估網(wǎng)頁(yè)內(nèi)容熱點(diǎn)程度的方法，通過(guò)此方法對(duì)網(wǎng)頁(yè)內(nèi)容進(jìn)行熱點(diǎn)