分布式元搜索數(shù)據(jù)采集系統(tǒng)的設(shè)計與實(shí)現(xiàn).pdf

1、網(wǎng)絡(luò)媒體的普及，提供了越來越多的信息發(fā)布平臺。每天，各色各樣的網(wǎng)站都在源源不斷地制造新的內(nèi)容，這些內(nèi)容通過網(wǎng)絡(luò)的形式在人群中四處傳播。信息產(chǎn)生的速度已經(jīng)遠(yuǎn)遠(yuǎn)超過人們消費(fèi)它的速度。由此帶來的結(jié)果是，信息無處不在，但是人們卻缺乏一種行之有效的收集方式，大量數(shù)據(jù)并未被加以利用而浪費(fèi)掉。這種信息四處泛濫而人們卻無法有效獲取到自己需要信息的矛盾將長期存在著。慶幸的是，爬蟲技術(shù)的出現(xiàn)和搜索引擎的普及，可以極大地緩解這類矛盾。
　　本文研究與實(shí)

2、現(xiàn)的是一套分布式的元搜索數(shù)據(jù)采集系統(tǒng)。它的目標(biāo)在于快速大量地獲取到涉及產(chǎn)品質(zhì)量安全的網(wǎng)絡(luò)信息，從而為進(jìn)行質(zhì)量安全的預(yù)警與監(jiān)控提供數(shù)據(jù)分析的基礎(chǔ)。它基于Master/Slave的主從分布式架構(gòu)，主控節(jié)點(diǎn)與采集節(jié)點(diǎn)有著不同的分工：主控節(jié)點(diǎn)主要負(fù)責(zé)抓取任務(wù)的定義與調(diào)度管理，采集節(jié)點(diǎn)負(fù)責(zé)網(wǎng)頁數(shù)據(jù)的請求與獲取。節(jié)點(diǎn)間通過網(wǎng)絡(luò)通信進(jìn)行數(shù)據(jù)的交換，主控節(jié)點(diǎn)將定義好的任務(wù)按照一定的調(diào)度策略分配給不同的采集節(jié)點(diǎn)，采集節(jié)點(diǎn)收到分配的任務(wù)之后，啟動爬蟲程序下

3、載網(wǎng)頁，然后通過XQuery模板對獲得的網(wǎng)頁進(jìn)行解析，再將結(jié)構(gòu)化信息統(tǒng)一保存于HBase數(shù)據(jù)庫中。同時，采集節(jié)點(diǎn)會對自己的運(yùn)行狀態(tài)進(jìn)行統(tǒng)計，并提供外部接口給主控節(jié)點(diǎn)進(jìn)行調(diào)用，從而實(shí)現(xiàn)對下載行為的控制?？紤]到網(wǎng)頁數(shù)據(jù)的分散性以及抓取成本的控制，本文提出采用元搜索技術(shù)手段，將現(xiàn)有的主流搜索引擎的數(shù)據(jù)作為本次數(shù)據(jù)抓取的入口，通過綜合不同引擎的數(shù)據(jù)，為用戶提供更全面更有針對性的數(shù)據(jù)。
　　本文最后完成系統(tǒng)的搭建與部署，整個程序運(yùn)行穩(wěn)定，通