面向檢驗(yàn)檢疫領(lǐng)域主題爬蟲的研究及系統(tǒng)實(shí)現(xiàn).pdf

1、近年來(lái)，全球信息數(shù)據(jù)總量在互聯(lián)網(wǎng)的推動(dòng)下急劇地增長(zhǎng)，據(jù)國(guó)際數(shù)據(jù)公司(IDC)預(yù)計(jì)，至2020年，全球的數(shù)據(jù)總量將以每年50％的增長(zhǎng)率達(dá)到40ZB，其中文件、視頻、音頻等非結(jié)構(gòu)化信息占數(shù)據(jù)生產(chǎn)總量的90％。在這樣的背景下，用戶在數(shù)據(jù)海洋中對(duì)信息精度和深度的要求日益提高，特別是針對(duì)專業(yè)領(lǐng)域內(nèi)的特殊查詢需求，通用搜索引擎收集的信息駁雜而不精確。有鑒于此，本文把文本分類問(wèn)題作為主要的研究對(duì)象，從垂直搜索引擎出發(fā)，深度探究了其中的數(shù)據(jù)采集、關(guān)鍵詞

2、搜索等技術(shù)，并以實(shí)際項(xiàng)目為依托，基于檢驗(yàn)檢疫這一特定的主題領(lǐng)域?qū)崿F(xiàn)了具體的數(shù)據(jù)采集、搜索子系統(tǒng)。
　　本文主要的貢獻(xiàn)如下:
　　1、概述了爬蟲系統(tǒng)實(shí)現(xiàn)過(guò)程中的用到的關(guān)鍵技術(shù)，如網(wǎng)頁(yè)去噪、正文提取、海量URL和文檔的去重、NoSQL數(shù)據(jù)庫(kù)等。此外為了應(yīng)對(duì)網(wǎng)頁(yè)中動(dòng)態(tài)內(nèi)容的解析和下載，本文提出了基于協(xié)議控制的JavaScript解析策略。
　　2、分別列舉討論了基于網(wǎng)絡(luò)拓?fù)洹⒕W(wǎng)頁(yè)正文、用戶訪問(wèn)行為的網(wǎng)頁(yè)抓取策略，對(duì)比其優(yōu)缺點(diǎn)

3、后，本文提出了基于URL密度聚類的網(wǎng)頁(yè)抓取策略，通過(guò)聚集簇的方式來(lái)對(duì)相關(guān)網(wǎng)頁(yè)進(jìn)行劃分和抓取。
　　3、對(duì)比傳統(tǒng)的文本分類器的優(yōu)缺點(diǎn)，本文結(jié)合詞向量Word2vec和深度學(xué)習(xí)的方法，提出了基于Attention機(jī)制的層次化長(zhǎng)短時(shí)分類網(wǎng)絡(luò)用于文本分類任務(wù)，分別從單詞和句子的維度提取結(jié)構(gòu)化特征來(lái)將整個(gè)文本表征為特征向量。
　　4、結(jié)合“973計(jì)劃”中的子課題，本文實(shí)現(xiàn)了面向檢驗(yàn)檢疫領(lǐng)域的數(shù)據(jù)采集子系統(tǒng)和數(shù)據(jù)搜索子系統(tǒng)，數(shù)據(jù)采集、清