基于云平臺網(wǎng)絡(luò)爬蟲的互聯(lián)網(wǎng)信息采集系統(tǒng)研究.pdf

1、伴隨著當(dāng)今信息量日益劇增的趨勢，一系列技術(shù)都迅速的涌現(xiàn)，云計算就是其中一個，而且已經(jīng)成為目前的一個主流研究方向，成為未來一個重要的發(fā)展趨勢。在這個大環(huán)境下很多大型公司也都加入了云計算的研究開發(fā)中，如: Google、IBM和Amazon等，應(yīng)用的領(lǐng)域也越來越廣泛。為了便于學(xué)習(xí)和研究，實(shí)驗(yàn)室也對云計算制定了研究計劃，搭建自己的“云平臺”，來對不同的應(yīng)用開發(fā)進(jìn)行研究和實(shí)驗(yàn)。該“云平臺”主要是建立在Hadoop基礎(chǔ)上，Hadoop是Apach

2、e開發(fā)的開源的云計算框架，方便而成熟，本文中就是利用Hadoop進(jìn)行云平臺的搭建。
　　本文的主要研究工作是設(shè)計一款面向新聞類網(wǎng)頁的，基于云平臺網(wǎng)絡(luò)爬蟲的互聯(lián)網(wǎng)信息采集系統(tǒng)。該系統(tǒng)是在Hadoop分布式平臺的基礎(chǔ)上實(shí)現(xiàn)的，主要部分為信息采集模塊和信息抽取模塊。在信息采集部分設(shè)計并實(shí)現(xiàn)了一個基于云平臺的網(wǎng)絡(luò)爬蟲，在該爬蟲的內(nèi)部對其子模塊進(jìn)行MapReduce設(shè)計;在信息抽取部分采用的是較易理解的基于HTML結(jié)構(gòu)解析的信息抽取方式實(shí)現(xiàn)

3、。在本文的設(shè)計過程中包含幾大主要技術(shù):云計算、Hadoop平臺、網(wǎng)絡(luò)爬蟲以及網(wǎng)頁信息抽取。本文按照設(shè)計順序?qū)σ陨霞夹g(shù)進(jìn)行了介紹。云計算部分主要介紹其背景、當(dāng)前主流云平臺、自身特點(diǎn)等。對于Hadoop平臺主要是對其兩個核心——HDFS和Map/Reduce內(nèi)容進(jìn)行研究。對已經(jīng)比較成熟的網(wǎng)絡(luò)爬蟲技術(shù)以及信息抽取技術(shù)的核心理論也進(jìn)行了簡要說明。
　　本文的意義在于理論結(jié)合實(shí)際，將云計算理論應(yīng)用于實(shí)際的項目開發(fā)中，實(shí)現(xiàn)了一個基于云平臺網(wǎng)絡(luò)