網(wǎng)絡(luò)內(nèi)容過濾系統(tǒng)設(shè)計與實現(xiàn).pdf

1、校園網(wǎng)給師生提供便利的同時也帶來了危害，大量不健康和無用的信息充斥著網(wǎng)絡(luò)世界，給高校校園網(wǎng)的管理和維護(hù)帶來了很大的挑戰(zhàn)。網(wǎng)絡(luò)內(nèi)容過濾是一種有效的應(yīng)對方法，能夠自動地將網(wǎng)絡(luò)中特定的信息過濾掉。
　　本文首先回顧了國內(nèi)外網(wǎng)絡(luò)過濾領(lǐng)域的發(fā)展現(xiàn)狀、存在的問題以及常見的過濾方法。本系統(tǒng)實現(xiàn)了兩個關(guān)鍵的系統(tǒng)功能模塊：網(wǎng)絡(luò)數(shù)據(jù)包的捕獲和重組模塊、網(wǎng)絡(luò)文本數(shù)據(jù)處理模塊。文中完成了網(wǎng)絡(luò)內(nèi)容過濾系統(tǒng)兩大關(guān)鍵功能：實現(xiàn)對特定URL的過濾以及對網(wǎng)頁正文內(nèi)

2、容的過濾，其中網(wǎng)頁正文是文本內(nèi)容，不包括圖像視頻等多媒體信息。
　　網(wǎng)絡(luò)數(shù)據(jù)捕獲模塊主要研究分析了網(wǎng)絡(luò)協(xié)議的解析，在具體的分析過程中涉及到以太網(wǎng)數(shù)據(jù)幀、IP數(shù)據(jù)包、TCP數(shù)據(jù)段和HTTP報文，同時在基于網(wǎng)絡(luò)協(xié)議分析的基礎(chǔ)上完成了在Windows系統(tǒng)下利用網(wǎng)絡(luò)數(shù)據(jù)包捕獲庫Winpcap對網(wǎng)絡(luò)數(shù)據(jù)包的捕獲和分析，最終這個模塊實現(xiàn)了URL過濾功能和HTML的頁面重組，為文本數(shù)據(jù)處理模塊提供了文本數(shù)據(jù)。根據(jù)校園網(wǎng)的特點，URL過濾功能中的

3、URL過濾庫可以由自行定義的多個不同規(guī)則庫組成，并且根據(jù)不同時間段運行不同的過濾規(guī)則庫。
　　網(wǎng)絡(luò)文本數(shù)據(jù)處理模塊研究了網(wǎng)頁文本分類技術(shù)。因為網(wǎng)頁文本是一種半結(jié)構(gòu)化的文本數(shù)據(jù)，首先研究和實現(xiàn)了從網(wǎng)頁文本中提取文本數(shù)據(jù)。然后重點研究了文本分類技術(shù)，主要包括文本預(yù)處理和文本分類器的訓(xùn)練兩大技術(shù)難點。文本預(yù)處理技術(shù)中還涉及到中文分詞、特征選擇和權(quán)重計算等技術(shù)。對現(xiàn)在主流的各種文本分類器進(jìn)行了理論上的分析和比較，最終根據(jù)校園網(wǎng)的特點選擇了