面向物聯(lián)網(wǎng)的信息存儲(chǔ)技術(shù)研究.pdf

1、隨著物聯(lián)網(wǎng)技術(shù)的發(fā)展，物聯(lián)網(wǎng)技術(shù)在生活和工業(yè)生產(chǎn)中的應(yīng)用也越來越多，其每天產(chǎn)生的數(shù)據(jù)量也在飛快地增長。物聯(lián)網(wǎng)數(shù)據(jù)有異構(gòu)性、海量性、時(shí)效性等特點(diǎn)，這些特點(diǎn)表明其數(shù)據(jù)形式多以海量的小文件形式為主。Hadoop是目前被業(yè)界廣泛用于處理大規(guī)模數(shù)據(jù)的一種開源云計(jì)算技術(shù)，然而，Hadoop云計(jì)算技術(shù)對(duì)海量物聯(lián)網(wǎng)小文件數(shù)據(jù)處理存在執(zhí)行效率不高和資源占用率過高等不足之處，故改進(jìn)Hadoop云計(jì)算技術(shù)對(duì)海量物聯(lián)網(wǎng)數(shù)小文件數(shù)據(jù)的處理有著重要的研究意義。

2、r>　　 本文針對(duì)物聯(lián)網(wǎng)數(shù)據(jù)的海量小文件形式的特點(diǎn)和Hadoop技術(shù)中HDFS存儲(chǔ)海量小文件的不足，本文利用Hadoop云計(jì)算技術(shù)對(duì)具有二維坐標(biāo)屬性的海量物聯(lián)網(wǎng)小文件進(jìn)行聚類處理，并提出了相關(guān)存儲(chǔ)優(yōu)化策略。首先，本文采用能夠自動(dòng)確定簇個(gè)數(shù)的G均值算法對(duì)物聯(lián)網(wǎng)數(shù)據(jù)進(jìn)行聚類分析，用四叉樹結(jié)構(gòu)索引簇中的文件。然后，采用基于文件距離緊密程度合并策略將簇中的小文件合并成一個(gè)包含多個(gè)存儲(chǔ)塊的大文件，將每個(gè)塊中的文件索引存儲(chǔ)在該塊的頭部。最后，采用