不完整數(shù)據(jù)減法聚類填充算法研究與應(yīng)用.pdf

1、隨著網(wǎng)絡(luò)應(yīng)用日益深化，數(shù)據(jù)正以前所未有的速度不斷增長(zhǎng)積累。但在原始數(shù)據(jù)收集過(guò)程中，由于采集節(jié)點(diǎn)故障和網(wǎng)絡(luò)傳輸不穩(wěn)定等原因，都將產(chǎn)生數(shù)據(jù)不完整性。數(shù)據(jù)的不完整性使得數(shù)據(jù)難以被建模和學(xué)習(xí)，尤其在大數(shù)據(jù)集下，不能解決缺失數(shù)據(jù)值的填充問(wèn)題就難以有效挖掘大數(shù)據(jù)潛在價(jià)值。因此，對(duì)不完整數(shù)據(jù)進(jìn)行分析填充具有重大研究意義。
　　傳統(tǒng)數(shù)據(jù)填充方法大多利用整個(gè)數(shù)據(jù)集對(duì)缺失數(shù)據(jù)值進(jìn)行填充，沒(méi)有充分考慮數(shù)據(jù)對(duì)象的類別特征，使得填充值容易受到不相關(guān)數(shù)據(jù)干擾

2、。而且現(xiàn)有的數(shù)據(jù)填充方法時(shí)間復(fù)雜度高，不具有分布式特性，不適合大數(shù)據(jù)集的數(shù)據(jù)填充處理。
　　針對(duì)這些問(wèn)題，本文首先提出一種基于MapReduce的不完整數(shù)據(jù)減法聚類算法，算法改進(jìn)減法聚類數(shù)據(jù)點(diǎn)間距離度量方式，對(duì)不完整數(shù)據(jù)集直接聚類。為提高聚類算法執(zhí)行效率，利用矩陣相乘思想改進(jìn)減法聚類過(guò)程中求解數(shù)據(jù)點(diǎn)間距離過(guò)程，并實(shí)現(xiàn)多級(jí)MapReduce并行化。然后提出一種基于分布式減法聚類的不完整數(shù)據(jù)填充算法，算法利用基于屬性重要性的屬性權(quán)重得

3、到含有缺失值數(shù)據(jù)點(diǎn)與其他數(shù)據(jù)點(diǎn)間距離加權(quán)系數(shù)，并利用加權(quán)系數(shù)和減法聚類結(jié)果對(duì)缺失數(shù)據(jù)屬性值填充，避免其他類中數(shù)據(jù)對(duì)象對(duì)填充值的干擾。最后利用物聯(lián)網(wǎng)相關(guān)技術(shù)搭建橋梁監(jiān)測(cè)系統(tǒng)仿真實(shí)驗(yàn)環(huán)境，并對(duì)橋梁監(jiān)測(cè)數(shù)據(jù)采集與匯總傳輸過(guò)程進(jìn)行優(yōu)化，得到橋梁監(jiān)測(cè)大數(shù)據(jù)，進(jìn)而利用本文提出算法對(duì)橋梁監(jiān)測(cè)不完整大數(shù)據(jù)填充處理。
　　實(shí)驗(yàn)結(jié)果表明，本文算法能夠?qū)Σ煌暾髷?shù)據(jù)進(jìn)行快速聚類，同時(shí)能夠?qū)θ笔?shù)據(jù)值有效填充，滿足大數(shù)據(jù)處理的要求，具有一定的理論研究意義