基于RSS的自適應(yīng)抓取服務(wù)的研究與實(shí)現(xiàn).pdf

1、RSS也叫聚合RSS，是在線共享內(nèi)容的一種簡(jiǎn)易方式。傳統(tǒng)的網(wǎng)絡(luò)爬蟲對(duì)實(shí)時(shí)性要求不是很高，但是RSS的特點(diǎn)是時(shí)效性強(qiáng)，為了向用戶提供高時(shí)效性的個(gè)性化服務(wù)，服務(wù)器需要以最短的延遲獲得更新的文章，保證離線集的“新鮮度”。之前的研究多集中于多RSS新聞的提取技術(shù)和其他RSS應(yīng)用領(lǐng)域的研究，對(duì)于如何減少RSS抓取延遲，提高RSS文章時(shí)效性的研究較少。
　　本文在查閱了大量國(guó)內(nèi)外有關(guān)文獻(xiàn)，分析了現(xiàn)有RSS技術(shù)相關(guān)研究的基礎(chǔ)上，設(shè)計(jì)了自適應(yīng)抓取

2、間隔算法。該算法針對(duì)抓取過(guò)程中的不同情況，由加權(quán)平均更新間隔和加權(quán)更新間隔變化影響抓取間隔，根據(jù)RSS源當(dāng)時(shí)的更新情況，動(dòng)態(tài)調(diào)節(jié)抓取間隔。使抓取間隔更適應(yīng)RSS文件更新問(wèn)隔，以達(dá)到減少抓取延遲，提高RSS聚合服務(wù)時(shí)效性的目的。通過(guò)計(jì)算權(quán)值選擇使權(quán)值最小的參數(shù)組合。在兩個(gè)具有代表性的RSS源上，與等間隔抓取算法進(jìn)行對(duì)比試驗(yàn)。從實(shí)驗(yàn)結(jié)果來(lái)看，自適應(yīng)抓取間隔算法的效果明顯優(yōu)于等間隔抓取算法。自適應(yīng)抓取間隔算法減少了抓取延遲，能使RSS聚合服務(wù)