網(wǎng)頁(yè)信息審查系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、國(guó)際互聯(lián)網(wǎng)已發(fā)展為：網(wǎng)站越來(lái)越多，網(wǎng)民越來(lái)越多，網(wǎng)民既能接收信息，更能方便地發(fā)布信息，網(wǎng)速也不斷提高。因此，在這自媒體時(shí)代，各種言論都容易通過(guò)網(wǎng)絡(luò)發(fā)表和傳播，網(wǎng)民間的交互和相互影響越來(lái)越明顯，非法言論（如黃賭毒、恐怖、暴力血腥信息）很可能引起不良的連鎖反應(yīng)，對(duì)國(guó)家安全、社會(huì)穩(wěn)定和網(wǎng)絡(luò)環(huán)境的健康形成嚴(yán)重威脅，造成巨大的負(fù)面影響。因此，非常有必要針對(duì)網(wǎng)頁(yè)的信息進(jìn)行審查。這是信息安全中一個(gè)非常重要的組成部分——內(nèi)容安全。
　　論文分析了

2、各國(guó)在網(wǎng)絡(luò)審查方面的法律法規(guī)和政策，指出每個(gè)國(guó)家都在網(wǎng)絡(luò)信息方面有明確的法律規(guī)定，對(duì)互聯(lián)網(wǎng)上的色情、恐怖、暴力和賭博等有嚴(yán)格的審查制度和嚴(yán)厲的處罰措施。在技術(shù)上，針對(duì)文字、圖片和視頻的過(guò)濾屏蔽技術(shù)也一直在進(jìn)行研究和開(kāi)發(fā)，并逐步應(yīng)用于實(shí)際中。
　　本課題設(shè)計(jì)和開(kāi)發(fā)了基于瀏覽器/服務(wù)器模式的網(wǎng)站信息審查系統(tǒng)，按照軟件工程要求，完成了從需求分析、系統(tǒng)總體設(shè)計(jì)、詳細(xì)設(shè)計(jì)到編程實(shí)現(xiàn)各階段工作，實(shí)現(xiàn)了對(duì)指定網(wǎng)站信息進(jìn)行審查，并跟蹤處理的功能。

3、系統(tǒng)包括：1）用戶權(quán)限管理：系統(tǒng)主要有兩種角色，即系統(tǒng)管理員和審查員。角色權(quán)限由系統(tǒng)管理員進(jìn)行配置管理。系統(tǒng)管理員主要管理整個(gè)系統(tǒng)的使用部門、角色與權(quán)限，用戶維護(hù)，日志查詢與刪除等。審查員是系統(tǒng)的主要用戶，借助于系統(tǒng)完成審查業(yè)務(wù)或職能工作，具體權(quán)限有敏感詞設(shè)置、信息源設(shè)置、搜索信息查詢、審查項(xiàng)標(biāo)記、審查跟蹤處理等。權(quán)限體現(xiàn)為每個(gè)菜單項(xiàng)。每種角色定義相應(yīng)的權(quán)限，通過(guò)用戶承擔(dān)的角色賦予用戶的操作權(quán)限。此外，針對(duì)每個(gè)具體用戶，還可以屏蔽或增加

4、特定權(quán)限；2）審查網(wǎng)站設(shè)置：系統(tǒng)利用爬蟲(chóng)技術(shù)采集需審查的網(wǎng)站數(shù)據(jù)。網(wǎng)站的首頁(yè)或主頁(yè)是爬蟲(chóng)搜索的起始地址。通過(guò)該起始地址，爬蟲(chóng)采用一定的搜索策略遍歷整個(gè)網(wǎng)站；3）審查敏感詞設(shè)置：系統(tǒng)檢查網(wǎng)頁(yè)有無(wú)不允許或不適當(dāng)?shù)奈淖?。如果僅僅是出現(xiàn)關(guān)鍵詞或敏感詞就列入嫌疑網(wǎng)頁(yè)將會(huì)有大量虛警網(wǎng)頁(yè)，導(dǎo)致審查員過(guò)多的工作量。因此，系統(tǒng)設(shè)計(jì)為采用敏感詞組合來(lái)篩選網(wǎng)頁(yè)。這種組合是多個(gè)敏感詞通過(guò)“和”、“與”、“非”的關(guān)系建立的條件表達(dá)式，稱之為專題；4）網(wǎng)頁(yè)數(shù)據(jù)采集

5、：采用爬蟲(chóng)技術(shù)采集網(wǎng)頁(yè)，并通過(guò)敏感詞條件表達(dá)式進(jìn)行過(guò)濾確定其是否存入數(shù)據(jù)庫(kù)以進(jìn)一步采用人工排查。為提高采集效率，采用元搜索與專用爬蟲(chóng)相結(jié)合的方式采集數(shù)據(jù)；5）全文倒排索引：為了查詢方便快捷，對(duì)采集到的網(wǎng)頁(yè)建立全文索引。除了可以依據(jù)敏感詞檢索外，還可以依據(jù)任意詞進(jìn)行檢索，方便審計(jì)員查詢網(wǎng)頁(yè)信息；6）查詢功能：系統(tǒng)有單獨(dú)的頁(yè)面提供最新采集到的網(wǎng)頁(yè)信息 列表，也提供了多條件的高級(jí)檢索頁(yè)面，可以按敏感詞、時(shí)間或?qū)ｎ}進(jìn)行檢索。通過(guò)檢索和查詢得到采