基于MapReduce框架的發(fā)布式網(wǎng)絡(luò)爬行器研究.pdf

1、隨著Internet的快速發(fā)展,網(wǎng)絡(luò)已經(jīng)普及到社會(huì)的每一個(gè)角落。人們的日常行為和生活,越來(lái)越依賴于網(wǎng)絡(luò)提供的信息。搜索引擎正是為大眾提供便捷的搜索服務(wù),成為提供網(wǎng)絡(luò)信息資源的最佳工具。而搜索引擎的核心組成之一網(wǎng)絡(luò)爬行器,能夠下載海量的互聯(lián)網(wǎng)頁(yè),并交給搜索引擎進(jìn)行處理,以便于將信息提供給用戶。因此,網(wǎng)絡(luò)爬行器的研究成為科學(xué)界研究的重點(diǎn)。傳統(tǒng)的分布式系統(tǒng)框架存在很多的問(wèn)題,所以MapReduce這一新的分布式框架便應(yīng)運(yùn)而生,逐漸開(kāi)始得到了人

2、們的重視。本論文正是基于MapReduce框架,設(shè)計(jì)了一款全新的分布式網(wǎng)絡(luò)爬行器。
　　 針對(duì)分布式網(wǎng)絡(luò)爬行器技術(shù)的研究,本文在國(guó)內(nèi)外相關(guān)研究的基礎(chǔ)上,重點(diǎn)研究了以下兩個(gè)關(guān)鍵技術(shù)與實(shí)現(xiàn):首先,現(xiàn)有的分布式網(wǎng)絡(luò)爬行器技術(shù),一般在鏈接調(diào)度方面有很大的問(wèn)題,不能夠滿足任務(wù)分配的一致性。本文研究了基于動(dòng)態(tài)哈希樹(shù)的鏈接調(diào)度算法,從根本上解決了任務(wù)分配的一致性問(wèn)題,并通過(guò)實(shí)驗(yàn)證明了任務(wù)分配的有效性,證明新的鏈接調(diào)度算法,能夠更好的服務(wù)于搜索

3、引擎系統(tǒng)。其次,在分布式系統(tǒng)中,需要有海量的被調(diào)度的鏈接信息進(jìn)行存儲(chǔ)操作。而現(xiàn)有分布式網(wǎng)絡(luò)爬行器系統(tǒng)中,一般采用多級(jí)緩存模式,需要設(shè)計(jì)精巧的數(shù)據(jù)結(jié)構(gòu)來(lái)進(jìn)行存儲(chǔ)操作。本文提出了一種基于改進(jìn)Trie樹(shù)和文件池的二級(jí)緩存模式,增加了異步歸并和批處理工作模式,在節(jié)省了內(nèi)存使用空間的同時(shí),提高了調(diào)度信息處理的速度與效率。
　　 最后,本文實(shí)現(xiàn)了一個(gè)基于MapReduce模型下的分布式網(wǎng)絡(luò)爬行器系統(tǒng)。理論和實(shí)踐均證明,應(yīng)用本文研究的關(guān)鍵技術(shù)