基于MapReduce的文本處理算法的研究與應用.pdf

1、隨著社會進入網(wǎng)絡時代,各種各樣的網(wǎng)絡設備驟增,產(chǎn)生了大量的數(shù)據(jù)信息,而這些數(shù)據(jù)大部分是以文本的形式存在的,如何高效快速的處理這些文本數(shù)據(jù),從中獲取有用的價值,是當前大數(shù)據(jù)時代所面臨的主要問題之一。傳統(tǒng)的文本處理算法,很難滿足現(xiàn)階段大數(shù)據(jù)處理效率的要求。MapRedcue是由Google所提出的一個并行編程模型和執(zhí)行框架,它為當前大數(shù)據(jù)處理提供了一個標準的模型,可以很高效的完成PB級的數(shù)據(jù)處理工作;并且它很容易被掌握,開發(fā)人員只需關心問題

2、的本身,按模型所提供標準進行編程實現(xiàn),而不用去關心底層的組織和執(zhí)行細節(jié),就可以輕松的應對大數(shù)據(jù)問題。
　　本文首先從大數(shù)據(jù)問題開始,介紹了大數(shù)據(jù)的產(chǎn)生途徑及云計算技術,接著闡述了MapReduce的基本思想來源-函數(shù)編程思想,對MapReduce編程模型中的Mapper及Reducer以及執(zhí)行框架怎樣協(xié)調MapReduce程序執(zhí)行的具體過程做了細致的分析,其中包括劃分器,合并器等。在介紹分布式文件系統(tǒng)的同時,以Hadoop的文件系

3、統(tǒng)HDFS為例,詳細分析了分布式文件系統(tǒng)的原理及構成。并對Hadoop集群架構做了基本的講解。在 MapReduce算法設計方面,通過單詞共現(xiàn)矩陣構造的示例,分析講解了兩個常見的設計模式:對(pairs)與帶(stripe),在對以上兩種設計模式深入的介紹后,引入了反序模式的概念。本文的創(chuàng)新之處在于對文本處理算法做了深入研究,不但深入分析了EM算法、Bayes文本分類算法及隱馬爾科夫模型,并且在此基礎上提出了采用EM算法進行指導的改進型