云環(huán)境下物流海量數(shù)據(jù)管理及應(yīng)用研究.pdf

1、近年來，互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)和物聯(lián)網(wǎng)得到了快速的發(fā)展，不斷增加的網(wǎng)上用戶數(shù)量也使得數(shù)據(jù)量不斷增加。單個機器的負載能力已經(jīng)不能很好的存儲現(xiàn)在的海量數(shù)據(jù)，怎樣搭建規(guī)模大、效率高、可擴展性好的存儲系統(tǒng)尤為重要。云計算已經(jīng)成為當(dāng)前研究的熱點問題，云計算衍生出云存儲技術(shù)，國內(nèi)外也開始對云存儲技術(shù)做了深入的研究。研究云計算和云存儲標(biāo)準(zhǔn)參考模型是基于Google File System的開源實現(xiàn)的Hadoop文件系統(tǒng)HDFS，但是HDFS架構(gòu)存在很多的

2、缺點，較為突出的是單個NameNode易造成整個集群性能瓶頸問題。本文主要在現(xiàn)有HDFS的研究基礎(chǔ)上，提出了一種基于MongoDB的多NameNode解決方案，該方案能很好的解決HDFS單一NameNode性能瓶頸問題。通過實驗表明，本方案能對HDFS集群的命名空間進行拓展。
　　與此同時隨著社會大物流的發(fā)展，企業(yè)如何從這些海量的信息中挖掘出有用的信息，己經(jīng)成為該領(lǐng)域研究的關(guān)鍵。云計算具有計算能力彈性化，存儲能力海量化，節(jié)約成本，

3、提高效率方面等優(yōu)點，所以，云計算已經(jīng)成為能有效的處理數(shù)據(jù)挖掘技術(shù)所面臨難題的方法之一。本文首先從兩個方面分析MapReduce編程模型和Hadoop平臺，進而深入介紹了Mahout，并且詳細對Mahout內(nèi)部數(shù)據(jù)表示模型做了深入探討，采用K-Means算法，對K-Means算法進行并行化分析，詳盡的闡述了K-Means聚類在MapReduce編程中的實現(xiàn)和在Mahout中的應(yīng)用。文章最后，主要針對我國物流業(yè)具體情況，提出數(shù)據(jù)挖掘的并行和

4、串行兩種模式，主要是針對K-Means算法在這兩種情況下解決海量數(shù)據(jù)挖掘問題時效率的比較，本文從不同距離度量方式，運行時間，迭代次數(shù)等方面評估了K-Means算法聚類結(jié)果，最后發(fā)現(xiàn)其效率差異，能對海量數(shù)據(jù)挖掘起到很好的指導(dǎo)實踐意義。
　　本文通過基于MongoDB的多NameNode的HDFS云存儲技術(shù)和基于MapReduce編程模型的K-Means算法并行云挖掘技術(shù)很好的處理了物流業(yè)海量數(shù)據(jù)信息的存儲和計算問題，通過調(diào)用 HDF