基于MapReduce的數(shù)據(jù)挖掘算法研究與應(yīng)用.pdf

1、數(shù)據(jù)挖掘面臨的數(shù)據(jù)量越來越大，如何高效、快速、低成本、可擴(kuò)展地從海量數(shù)據(jù)中挖掘有價值的信息來指導(dǎo)生活生產(chǎn)是數(shù)據(jù)挖掘亟需解決的問題。串行算法對大規(guī)模數(shù)據(jù)的挖掘時間過長，對超大規(guī)模數(shù)據(jù)無法挖掘。傳統(tǒng)的并行計算在海量數(shù)據(jù)的數(shù)據(jù)挖掘中取得一定的成效，但其對并行任務(wù)抽象度低，編程難度高，受硬件或網(wǎng)絡(luò)帶寬限制，處理能力有限，同時需要高性能計算機支持，成本較高。
　　鑒于此，本文采用一種并行抽象度高、開發(fā)簡單、易于擴(kuò)展、可移植性強、計算數(shù)據(jù)本地

2、化、不需要高性能計算機支持的MapReduce編程模型，研究數(shù)據(jù)挖掘的并行算法，以提高海量數(shù)據(jù)的挖掘能力和效率。提出了基于MapReduce的并行偏最小二乘算法（PLS）和并行共被引相似度算法，在Hadoop上實現(xiàn)這些算法，證明其具有良好的加速比和擴(kuò)展性。將并行PLS應(yīng)用于中藥生產(chǎn)過程近紅外在線監(jiān)測，提高了近紅外光譜回歸建模的速度；將并行共被引相似度算法應(yīng)用于商品匹配，提高了海量商品相似度計算的效率。本文的研究內(nèi)容主要包括以下三個方面：

3、
　　1、提出基于MapReduce的Hadoop加速比模型和三種I/O負(fù)載模型，分析了影響加速比的因素，為提高基于MapReduce的并行數(shù)據(jù)挖掘算法的加速比提供理論依據(jù)。
　　2、在工業(yè)過程領(lǐng)域，針對近紅外光譜在回歸建模時面臨數(shù)據(jù)規(guī)模巨大、建模速度慢等問題，提出基于MapReduce的并行偏最小二乘回歸建模方法，包括并行數(shù)據(jù)標(biāo)準(zhǔn)化和并行主成分提取兩個過程。在Hadoop云計算平臺上實現(xiàn)了該算法，實驗表明，基于MapRed

4、uce的并行PLS算法能夠得到接近線性的加速比，并具有良好的擴(kuò)展性。該并行PLS算法用于海量的近紅外光譜等數(shù)據(jù)的建模，可有效提高建模的速度和效率。本文將其應(yīng)用于中藥生產(chǎn)過程近紅外光譜在線監(jiān)測，有效保證了中藥產(chǎn)品質(zhì)量穩(wěn)定均一。
　　3、在電子商務(wù)領(lǐng)域，針對海量的商品及銷售數(shù)據(jù)，研究基于MapReduce的并行商品相似度計算方法。將共被引相似理論引入電子商務(wù)領(lǐng)域，來衡量同構(gòu)或異構(gòu)商品間的相似度；提出引用-共被引方法優(yōu)化共被引理論，提高