多頁面特殊網(wǎng)頁文字提取與合并技術(shù)研究.pdf

1、網(wǎng)頁中的文字,包含的信息量大、易于復(fù)用、占用空間小,是網(wǎng)頁種類信息中占絕對比例的信息形式,也是人們從網(wǎng)頁提取的所有信息中最多的形式。目前,Web挖掘的研究正處于發(fā)展階段,在普通網(wǎng)頁的文字提取研究領(lǐng)域也已形成眾多理論。
　　 然而有一類網(wǎng)頁,由于采用了腳本,導(dǎo)致網(wǎng)頁在打開時執(zhí)行腳本而使計算機軟件系統(tǒng)受到惡意代碼入侵,或打開后的網(wǎng)頁文字受廣告因素等影響而無法被正常瀏覽,或被腳本限制而使文字無法被復(fù)制提取。這類特殊網(wǎng)頁的文本相對普通網(wǎng)

2、頁更有價值,特別是此類網(wǎng)頁經(jīng)常被網(wǎng)絡(luò)犯罪份子利用來為他們的活動隱匿證據(jù),網(wǎng)絡(luò)監(jiān)察部門進(jìn)行網(wǎng)絡(luò)犯罪的取證,必須采用一定的技術(shù)。
　　 本文深入分析了網(wǎng)頁腳本的編制及工作原理,采用運行期類型信息技術(shù)和擴(kuò)展腳本技術(shù)從手工提取和自動提取兩個角度提出了特殊網(wǎng)頁文本的提取與合并方案,并解決了過濾干擾碼問題。其主要工作為:
　　 研究發(fā)現(xiàn)所有特殊網(wǎng)頁的限制功能都來源于其源代碼中的腳本,研究采用擴(kuò)展腳本屏蔽其限制功能,將特殊網(wǎng)頁普通化；

3、網(wǎng)頁中的干擾碼都是在正文中插入的顏色為背景色的其他字符,研究擴(kuò)展腳本限制干擾碼發(fā)揮作用,達(dá)到過濾干擾碼的目的；提出運行期類型信息技術(shù),開發(fā)軟件,繞過惡意腳本,并自動提取文本；研究多頁面的相似性,通過記錄第一頁面的提取點和搜索鏈接地址,自動提取多頁面文本進(jìn)行合并；開發(fā)出軟件模型,測試其對普通網(wǎng)頁、特殊網(wǎng)頁中的文字的自動提取能力和自動過濾干擾碼的能力。
　　 實驗證明,論文提出的所有方法均能有效抵制對文本提取的限制,而基于RTTI技