網(wǎng)絡(luò)信息動(dòng)態(tài)采集策略的研究及應(yīng)用.pdf

1、在Internet高速發(fā)展的今天，網(wǎng)頁數(shù)量急劇的增長，給信息采集的硬件帶來極大的壓力，與此同時(shí)，搜索引擎中網(wǎng)絡(luò)爬蟲的“密集”抓取活動(dòng)會(huì)阻礙普通用戶通過瀏覽器的正常訪問。網(wǎng)絡(luò)信息的采集策略對如何充分有效地利用Web信息源是至關(guān)重要的，有必要根據(jù)網(wǎng)頁自身更新的頻度來動(dòng)態(tài)地調(diào)整搜索引擎采集的頻率。一方面可以有針對性的采集，網(wǎng)頁變化頻率加快時(shí)可以增加采集次數(shù)，網(wǎng)頁變化頻率放慢時(shí)可以減少采集次數(shù)；另一方面減少因網(wǎng)站集中于某時(shí)間點(diǎn)采集給硬件所帶來的

2、壓力。
　　 本文分析了網(wǎng)絡(luò)爬蟲原理及增量采集技術(shù)的特點(diǎn)，然后進(jìn)一步研究了網(wǎng)頁的變化規(guī)律，介紹了相關(guān)行業(yè)數(shù)據(jù)采集方面的自適調(diào)節(jié)周期算法。針對目前網(wǎng)頁變化頻率閾值的確定仍然存在較大主觀性的情況，本文提出了四分位法，該方法是在采集過程中記錄下最近N次數(shù)據(jù)，利用四分位數(shù)自動(dòng)確定該閾值。本研究中所應(yīng)用網(wǎng)絡(luò)信息動(dòng)態(tài)采集策略是，結(jié)合網(wǎng)站(或頻道)的自身特點(diǎn)，以增量信息采集技術(shù)為基礎(chǔ)取得采集周期內(nèi)的網(wǎng)頁變化，然后與四分位法所確定的網(wǎng)頁變化頻率