實(shí)時(shí)垂直搜索引擎數(shù)據(jù)抓取調(diào)度研究.pdf

1、實(shí)時(shí)垂直搜索引擎的發(fā)展解決了互聯(lián)網(wǎng)用戶對(duì)大規(guī)模高時(shí)間敏感度數(shù)據(jù)的搜索需求，而抓取任務(wù)調(diào)度相關(guān)技術(shù)是實(shí)時(shí)垂直搜索引擎的關(guān)鍵技術(shù)，決定了實(shí)時(shí)垂直搜索引擎的性能和用戶體驗(yàn)。但是，目前學(xué)術(shù)界對(duì)實(shí)時(shí)垂直搜索引擎數(shù)據(jù)抓取任務(wù)調(diào)度的相關(guān)研究尚未開展，導(dǎo)致現(xiàn)有的實(shí)時(shí)垂直搜索引擎數(shù)據(jù)過期、抓取資源浪費(fèi)的現(xiàn)象非常嚴(yán)重。
　　 本文對(duì)實(shí)時(shí)垂直搜索引擎的抓取任務(wù)調(diào)度相關(guān)技術(shù)進(jìn)行了詳細(xì)的總結(jié)和研究。首先對(duì)數(shù)據(jù)抓取的基本問題做了系統(tǒng)的歸納和分析，總結(jié)了實(shí)時(shí)

2、垂直搜索引擎的抓取策略和數(shù)據(jù)變化規(guī)律的預(yù)測(cè)方法。然后提出了一種新的實(shí)時(shí)垂直搜索引擎抓取分發(fā)優(yōu)化策略：OLCO策略，基于對(duì)象及其屬性間的關(guān)聯(lián)設(shè)計(jì)熱門對(duì)象預(yù)測(cè)模型，對(duì)熱門對(duì)象的變化趨勢(shì)進(jìn)行預(yù)測(cè)；基于用戶查詢及對(duì)象變化符合泊松過程的特點(diǎn)，推導(dǎo)最大化數(shù)據(jù)新鮮度的計(jì)算方法，從理論上給出資源分配和動(dòng)態(tài)平衡的最優(yōu)策略。最后基于OLCO策略提出了一種自適應(yīng)的實(shí)時(shí)垂直搜索引擎的任務(wù)抓取分發(fā)模型：SACD模型，該模型巧妙地利用了自適應(yīng)的思想，有效地解決了實(shí)