基于文本的敏感信息的監(jiān)測調(diào)度與去重研究.pdf

1、互聯(lián)網(wǎng)發(fā)展給人們的生活帶來了很大的便利，極大的推動了社會的進(jìn)步。但與此同時一些不法分子利用網(wǎng)絡(luò)傳播信息的方便和迅速，在網(wǎng)絡(luò)上傳播一些包含色情、暴恐、反動等不良內(nèi)容的敏感信息，給國家安全，社會的發(fā)展，人們的生活帶來了極大的負(fù)面影響。從龐大的互聯(lián)網(wǎng)中及時的檢索到這些敏感信息并對其進(jìn)行監(jiān)控成為網(wǎng)絡(luò)安全領(lǐng)域的一個研究熱點。為了及時的發(fā)現(xiàn)敏感信息，本文對敏感信息的監(jiān)測調(diào)度策略和敏感網(wǎng)頁去重進(jìn)行了研究，主要的工作如下：
　?、偬岢鲆环N基于網(wǎng)頁

2、敏感度的敏感網(wǎng)頁分類監(jiān)測策略。本文通過對網(wǎng)頁進(jìn)行敏感關(guān)鍵詞匹配，得到敏感關(guān)鍵詞及其在網(wǎng)頁中的位置，結(jié)合敏感詞本身的敏感度及其在網(wǎng)頁中位置的影響因子，給出了一種計算網(wǎng)頁敏感度的算法。計算網(wǎng)頁的敏感度后，根據(jù)敏感網(wǎng)頁的敏感程度分類進(jìn)行不同頻率的監(jiān)測，優(yōu)化敏感網(wǎng)監(jiān)測，提高發(fā)現(xiàn)敏感信息的及時性。實驗表明該策略能夠有效提高系統(tǒng)發(fā)現(xiàn)敏感信息的及時性以及重點敏感信息的比例。
　?、谔岢隽艘环N基于非敏感網(wǎng)頁變化時間預(yù)測的敏感信息補充發(fā)現(xiàn)策略。本文

3、根據(jù)最近幾次網(wǎng)頁的變化次數(shù)和時間間隔，對網(wǎng)頁的下次變化時間進(jìn)行預(yù)測，對滿足時間條件的網(wǎng)頁進(jìn)行爬取，提高爬取經(jīng)常變化的網(wǎng)頁的頻率，降低爬取不發(fā)生變化的網(wǎng)頁的頻率，提高經(jīng)常變動網(wǎng)頁的敏感信息發(fā)現(xiàn)速度，提高其發(fā)現(xiàn)新敏感網(wǎng)頁的總數(shù)。實驗結(jié)果表明該策略能夠較好對基于網(wǎng)頁敏感度的敏感網(wǎng)頁監(jiān)測策略進(jìn)行補充，進(jìn)一步提高敏感信息的發(fā)現(xiàn)率。
　　③提出了一種基于敏感信息摘要的去重策略。通過網(wǎng)頁敏感關(guān)鍵詞匹配，得到網(wǎng)頁包含的敏感關(guān)鍵詞位置，提取敏感詞對

4、應(yīng)的敏感上下文，將網(wǎng)頁的所有敏感詞對應(yīng)的敏感上下文合并生成網(wǎng)頁的敏感信息摘要。通過網(wǎng)頁敏感摘要信息的編輯距離計算出敏感摘要信息的相似度。然后比較敏感摘要信息的相似度達(dá)到敏感網(wǎng)頁的去重功能。實驗表明該策略能夠較好的提高去除重復(fù)網(wǎng)頁的效果。
　　④在本文提出的策略和方法的基礎(chǔ)上對敏感信息監(jiān)測與重復(fù)展示去除進(jìn)行了設(shè)計與實現(xiàn)，對本校的部分網(wǎng)站進(jìn)行了掃描和監(jiān)測，測試了系統(tǒng)的有效性和穩(wěn)定性。測試系統(tǒng)運行表明，本文提出的敏感信息發(fā)現(xiàn)及去重策略能