基于MapReduce的文檔大數(shù)據(jù)挖掘若干關(guān)鍵技術(shù)研究.pdf

1、文檔作為一種重要的大數(shù)據(jù)類型，蘊(yùn)含著豐富的有價(jià)值的數(shù)據(jù)，其具有非結(jié)構(gòu)化、樣式不固定、數(shù)據(jù)混雜、價(jià)值稀疏等特征。針對(duì)文檔大數(shù)據(jù)的特點(diǎn)，提出了一種基于MapReduce的文檔大數(shù)據(jù)挖掘方法，對(duì)文檔大數(shù)據(jù)挖掘的平臺(tái)框架、文檔大數(shù)據(jù)預(yù)處理方法、文檔大數(shù)據(jù)并行挖掘算法等內(nèi)容進(jìn)行了研究，其主要研究工作包括：
　　1.設(shè)計(jì)了一種基于MapReduce的文檔大數(shù)據(jù)挖掘平臺(tái)框架。
　　該框架主要由分布式數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)抽取、并行數(shù)據(jù)挖掘、用戶接

2、口四個(gè)子系統(tǒng)組成。分布式數(shù)據(jù)存儲(chǔ)子系統(tǒng)負(fù)責(zé)文檔的分布式存儲(chǔ)；數(shù)據(jù)抽取子系統(tǒng)負(fù)責(zé)對(duì)文檔進(jìn)行數(shù)據(jù)抽取并將抽取得到的結(jié)果組織成結(jié)構(gòu)化數(shù)據(jù)；并行數(shù)據(jù)挖掘子系統(tǒng)負(fù)責(zé)對(duì)存儲(chǔ)的結(jié)構(gòu)化數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘；用戶接口子系統(tǒng)負(fù)責(zé)與用戶的交互操作。
　　2.提出了一種面向非結(jié)構(gòu)化表格文檔的數(shù)據(jù)抽取方法與組織模型。
　　針對(duì)現(xiàn)有抽取方法不能適應(yīng)多值屬性且靈活性不高的問(wèn)題，在分析非結(jié)構(gòu)化表格文檔結(jié)構(gòu)特征和數(shù)據(jù)流特征的基礎(chǔ)上，提出了一種基于規(guī)則的數(shù)據(jù)抽取方

3、法，并將數(shù)據(jù)抽取結(jié)果組織為適合于MapReduce并行編程模型分析的結(jié)構(gòu)化數(shù)據(jù)模型。
　　3.實(shí)現(xiàn)了基于MapReduce的文檔大數(shù)據(jù)并行挖掘算法。
　　針對(duì)K-Means算法依賴于初始聚類中心和孤立點(diǎn)敏感的問(wèn)題，提出了一種基于密度的DBK-Means算法并基于MapReduce將其并行化。針對(duì)C4.5算法過(guò)度擬合和可擴(kuò)展性差的問(wèn)題，提出了一種基于Bagging技術(shù)的BBC4.5算法并基于MapReduce將其并行化。