特定網(wǎng)站主動(dòng)發(fā)現(xiàn)與驗(yàn)證系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著網(wǎng)絡(luò)技術(shù)的快速發(fā)展以及網(wǎng)絡(luò)服務(wù)的不斷普及，網(wǎng)民對(duì)于網(wǎng)絡(luò)的依賴性逐漸加強(qiáng)。網(wǎng)絡(luò)技術(shù)的發(fā)展也導(dǎo)致各類(lèi)特定網(wǎng)站的出現(xiàn)，使得網(wǎng)民的經(jīng)濟(jì)財(cái)產(chǎn)受到損失。特定網(wǎng)站是指含有對(duì)社會(huì)穩(wěn)定、個(gè)體信息與隱私安全造成威脅的信息的網(wǎng)站，特定網(wǎng)站大多分布于境外，具有增長(zhǎng)速度快、傳播途徑多的特點(diǎn)。對(duì)于這些特定網(wǎng)站信息用被動(dòng)發(fā)現(xiàn)是遠(yuǎn)遠(yuǎn)不夠的，研究特定網(wǎng)站主動(dòng)發(fā)現(xiàn)技術(shù)成為亟待解決的問(wèn)題，因此，本文以此為重點(diǎn)，查閱相關(guān)文獻(xiàn)，對(duì)特定網(wǎng)站主動(dòng)發(fā)現(xiàn)技術(shù)進(jìn)行了深入研究，提出了一

2、種基于主動(dòng)發(fā)現(xiàn)技術(shù)的特定網(wǎng)站探測(cè)和驗(yàn)證系統(tǒng)。
　　論文針對(duì)主動(dòng)發(fā)現(xiàn)覆蓋廣度以及準(zhǔn)確度問(wèn)題，運(yùn)用元搜索發(fā)現(xiàn)技術(shù)、垂直搜索跟蹤技術(shù)提出了一種基于用戶白名單以及關(guān)鍵字的主動(dòng)發(fā)現(xiàn)技術(shù)，系統(tǒng)將通過(guò)元搜索技術(shù)，利用搜索引擎模板，對(duì)白名單網(wǎng)站和關(guān)鍵字進(jìn)行處理，將關(guān)鍵字范圍擴(kuò)大，對(duì)新生成的關(guān)鍵字通過(guò)垂直搜索進(jìn)行專(zhuān)項(xiàng)跟蹤，利用專(zhuān)項(xiàng)搜索模板發(fā)現(xiàn)可疑的特定網(wǎng)站URL。
　　針對(duì)主動(dòng)發(fā)現(xiàn)技術(shù)提取的可疑 URL，系統(tǒng)利用基于頁(yè)面 Title比對(duì)與基于

3、頁(yè)面結(jié)構(gòu)比對(duì)驗(yàn)證技術(shù)進(jìn)行網(wǎng)頁(yè)驗(yàn)證。論文通過(guò)頁(yè)面 Title及結(jié)構(gòu)提取將網(wǎng)頁(yè)特征提取出來(lái)，頁(yè)面 Title通過(guò) Title校驗(yàn)字符串切割提取出 Title關(guān)鍵字進(jìn)行比對(duì)，系統(tǒng)通過(guò)頁(yè)面結(jié)構(gòu)生成 DOM樹(shù)，通過(guò) DOM節(jié)點(diǎn)篩選算法提取出頁(yè)面VTree，利用頁(yè)面結(jié)構(gòu)比對(duì)算法計(jì)算出最終的結(jié)果。
　　系統(tǒng)測(cè)試表明各模塊均能正常運(yùn)行，并且各算法均能達(dá)到相應(yīng)指標(biāo)，平均每天發(fā)現(xiàn)可疑特定網(wǎng)站883條，平均通過(guò)驗(yàn)證確定特定網(wǎng)站57條，誤報(bào)率漏報(bào)率均不超