基于信息熵的高維數(shù)據(jù)流聚類(lèi)及其應(yīng)用研究.pdf

1、目前，雖然不少學(xué)者對(duì)高維數(shù)據(jù)流處理技術(shù)進(jìn)行了諸多的研究工作，但仍然存在算法效率低、存儲(chǔ)數(shù)據(jù)量大等問(wèn)題。本文在對(duì)高維數(shù)據(jù)流的特點(diǎn)進(jìn)行全面分析的基礎(chǔ)上，對(duì)高維數(shù)據(jù)流的降維技術(shù)、聚類(lèi)算法和趨勢(shì)分析方法進(jìn)行了深入的研究。
　　本研究主要內(nèi)容包括：⑴研究了高維數(shù)據(jù)流的特點(diǎn)及其應(yīng)用，重點(diǎn)分析了高維數(shù)據(jù)流的降維技術(shù)、經(jīng)典的聚類(lèi)算法及其優(yōu)缺點(diǎn)。⑵提出了基于信息熵的特征投影降維算法—H-HpFitStream。針對(duì)高維數(shù)據(jù)流維數(shù)高和已有降維算法效率

2、低等問(wèn)題，利用信息熵函數(shù)保留價(jià)值信息，同時(shí)提高降維算法效率，達(dá)到降維的目的;除此之外，該算法保存了數(shù)據(jù)流的概要數(shù)據(jù)，降低數(shù)據(jù)的存儲(chǔ)量，方便后續(xù)研究工作中對(duì)數(shù)據(jù)的提取和調(diào)用。⑶提出了改進(jìn)后的數(shù)據(jù)流聚類(lèi)算法—D-LFStream。針對(duì)LF聚類(lèi)算法聚類(lèi)效果較好但運(yùn)行效率較低的缺點(diǎn)，采用滑動(dòng)窗口處理技術(shù)，將密度算法思想引入其中，完善螞蟻的移動(dòng)規(guī)則，使螞蟻在移動(dòng)過(guò)程中更具有“方向性”，提高了算法的收斂速度。⑷提出了一種改進(jìn)的數(shù)據(jù)流趨勢(shì)分析算法。根

3、據(jù)實(shí)際的應(yīng)用需求，基于數(shù)據(jù)流變化的劇烈程度，選擇使用總體最小二乘法或指數(shù)回歸算法對(duì)其進(jìn)行趨勢(shì)分析，從而提高了數(shù)據(jù)流趨勢(shì)分析的精度，使趨勢(shì)分析的結(jié)果更接近于真實(shí)數(shù)據(jù);同時(shí)結(jié)合置信區(qū)間理論對(duì)數(shù)據(jù)流中的變化點(diǎn)進(jìn)行異常檢測(cè)，為監(jiān)測(cè)對(duì)象提供早期預(yù)警和重要的決策支持。⑸以橋梁健康監(jiān)測(cè)為應(yīng)用目標(biāo)，將經(jīng)過(guò)降維和聚類(lèi)算法處理后的數(shù)據(jù)流應(yīng)用到改進(jìn)的趨勢(shì)分析算法中。仿真實(shí)驗(yàn)結(jié)果表明，改進(jìn)的算法成功實(shí)現(xiàn)了橋梁健康監(jiān)測(cè)數(shù)據(jù)流的降維和聚類(lèi)操作，能有效的進(jìn)行趨勢(shì)分析