基于Heritrix與Hadoop的海量網(wǎng)絡(luò)學(xué)術(shù)文獻(xiàn)獲取及并行處理研究.pdf

1、隨著網(wǎng)絡(luò)的普及和發(fā)展，互聯(lián)網(wǎng)作為網(wǎng)絡(luò)學(xué)術(shù)文獻(xiàn)的載體，在學(xué)術(shù)界的地位日益顯著，提供的學(xué)術(shù)資源在廣度和深度上都有了很大的發(fā)展。海量網(wǎng)絡(luò)學(xué)術(shù)文獻(xiàn)有著重要的學(xué)術(shù)價(jià)值，然而，由于其規(guī)模巨大、異構(gòu)多樣、無序分散、動(dòng)態(tài)變化、更新速度快，很難為科研工作者所獲取和有效利用，因此亟需一種快速有效的海量文獻(xiàn)處理方法。海量數(shù)據(jù)的處理對服務(wù)器CPU、IO的吞吐都是嚴(yán)峻的考驗(yàn)，不論是處理速度、存儲空間、容錯(cuò)性，還是在訪問速度等方面，傳統(tǒng)的技術(shù)架構(gòu)和僅靠單臺計(jì)算機(jī)基

2、于串行的方式越來越不適應(yīng)當(dāng)前海量數(shù)據(jù)處理的要求。目前已有的海量數(shù)據(jù)處理方法在概念上較容易理解，然而由于數(shù)據(jù)量巨大，要在可接受的時(shí)間內(nèi)完成相應(yīng)的處理，只有進(jìn)行并行化處理。通過提取出處理過程中存在的可并行工作的分量，用分布式模型來實(shí)現(xiàn)這些并行分量的并行執(zhí)行過程，以便較好地解決海量文獻(xiàn)處理過程中面臨的內(nèi)存消耗大、處理速度慢、特征向量維度高等問題。
　　目前，大規(guī)模文本處理已成為一個(gè)挑戰(zhàn)，同時(shí)也是海量數(shù)據(jù)處理研究領(lǐng)域的熱點(diǎn)問題。海量數(shù)據(jù)處

3、理研究的不斷深入和開源軟件的蓬勃發(fā)展，為海量網(wǎng)絡(luò)學(xué)術(shù)文獻(xiàn)的并行處理研究提供了契機(jī)。本文首先深入研究了開源軟件Hadoop和Heritrix的主要架構(gòu)、工作原理、突出特點(diǎn)等平臺基礎(chǔ)；然后較全面地分析了網(wǎng)絡(luò)學(xué)術(shù)文獻(xiàn)的主要來源及特點(diǎn)，網(wǎng)絡(luò)學(xué)術(shù)文獻(xiàn)的常用文件格式，并以此為切入點(diǎn)，設(shè)計(jì)了基于Heritrix與Hadoop的海量網(wǎng)絡(luò)學(xué)術(shù)文獻(xiàn)獲取及并行處理模型。該模型首先利用Heritrix平臺，通過獲取方案設(shè)計(jì)、種子站點(diǎn)選擇、抓取任務(wù)配置三個(gè)部分，

4、編寫相應(yīng)的正則表達(dá)式，對種子站點(diǎn)進(jìn)行抓取，將獲取到的PDF文檔資源鏡像存儲到本地磁盤；然后通過一個(gè)讀目錄程序DirReader將PDF文檔存儲路徑分別讀入數(shù)據(jù)庫中，根據(jù)抽取出的學(xué)術(shù)文獻(xiàn)特征，采用學(xué)術(shù)文獻(xiàn)判定程序CheckPDF，對數(shù)據(jù)庫中相應(yīng)路徑下的PDF文檔進(jìn)行學(xué)術(shù)文獻(xiàn)判定；最后設(shè)計(jì)了學(xué)術(shù)文獻(xiàn)預(yù)處理程序TxtCombine，該程序自動(dòng)讀取用戶輸入目錄中全部的或抽樣后的學(xué)術(shù)文獻(xiàn)，將這些文件分別合并成一個(gè)Hadoop可以處理的大文件，并借

5、助于Hadoop集群機(jī)器，運(yùn)行IncidenceMatrix程序，通過筆者自定義的Mapper和Reducer函數(shù)，并行處理這些大文件，最終得到不同規(guī)模大小的詞-文檔矩陣。
　　本文還從任務(wù)調(diào)度、任務(wù)數(shù)量、Combine函數(shù)、文件壓縮、重用JVM五個(gè)方面論述了如何對MapReduce任務(wù)進(jìn)行優(yōu)化。最后通過搭建Heritrix平臺和Hadoop機(jī)器集群，對本文提出的海量網(wǎng)絡(luò)學(xué)術(shù)文獻(xiàn)獲取及并行處理模型中的各個(gè)部分，分別進(jìn)行了具體實(shí)驗(yàn)，