數(shù)據(jù)資源聚類預(yù)處理及其應(yīng)用研究.pdf

1、沒有物質(zhì)，就什么都不存在；沒有能源，就什么都不會發(fā)生：沒有信息，就什么都沒有意義<'[Oet1965]>。作為三大資源之一的信息，對于我們的生活越來越具有深遠的影響。面對如此豐富、繁雜的數(shù)據(jù)，如何才能從中提取有價值的信息和知識，由此誕生了一個新的研究方向：基于數(shù)據(jù)庫的知識發(fā)現(xiàn)KDD(Knowledge Discovervin Database)以及相關(guān)的數(shù)據(jù)挖掘DM(Data Mining)理論和技術(shù)。 數(shù)據(jù)資源(Data Re

2、source)作為信息領(lǐng)域基本的研究對象，是從資源的角度對數(shù)據(jù)及其本身所存在的狀態(tài)給予的重新認識與高度概括。綜合利用各類有效的KDD和DM。技術(shù)來提高數(shù)據(jù)資源本身的質(zhì)量、增強數(shù)據(jù)對象的利用效率成為數(shù)據(jù)資源有效開發(fā)利用的主要研究方向。數(shù)據(jù)資源的預(yù)處理作為KDD和DM過程的重要環(huán)節(jié)，聚類分析作為KDD和DM領(lǐng)域成熟的技術(shù)，這兩者相結(jié)合的研究具有重要的探討意義和應(yīng)用價值。 本文將聚類分析引入數(shù)據(jù)資源的預(yù)處理，進行了多方面的研究，取得以

3、下主要成果： 1．借鑒分裂型層次化聚類方式，分別從平面、立面、空間等三個層次綜合構(gòu)建基于層次分析法的數(shù)據(jù)庫聚類預(yù)處理DCP-AHP方法，突出運用層次化思維來迭代評估目標，剔除相異度高的數(shù)據(jù)對象集合，達到聚類清理數(shù)據(jù)對象集合的目的，減少定性問題定量化后誤差的影響。 2．按照相關(guān)性最小原則，提出數(shù)據(jù)庫主成份提取的聚類預(yù)處理DCP-PCE方法進行高維數(shù)據(jù)系統(tǒng)的降維處理，獲得數(shù)據(jù)對象變異最大方向的投影作為特定數(shù)據(jù)對象集合中的各個

4、主成份，實現(xiàn)分層次的主成份聚類提??；同時DCP-PCE方法也驗證了主成份對于原有信息全面覆蓋的特性，同步解決了綜合變量覆蓋和降維問題，降低了數(shù)據(jù)對象集合的相異度和維度，實現(xiàn)了數(shù)據(jù)對象集合的聚類歸約。 3．利用數(shù)據(jù)對象的物理存儲屬性本身所具有的“0、1”特性，針對同體不同源數(shù)據(jù)對象SEDS提出同體不同源數(shù)據(jù)對象聚類數(shù)化NC-SEDS算法，將數(shù)據(jù)資源中所有數(shù)據(jù)對象都通過數(shù)據(jù)對象預(yù)處理的過程轉(zhuǎn)換成數(shù)字狀態(tài)，然后利用數(shù)化后數(shù)據(jù)對象的數(shù)字

5、狀態(tài)作為聚合歸類的依據(jù)，在不考慮數(shù)據(jù)對象其他屬性的情況下，提高同體不同源數(shù)據(jù)對象SEDS的凝聚程度，達到降低比較次數(shù)、總體執(zhí)行時間的目的，實現(xiàn)數(shù)據(jù)對象的聚類集成。 4．為了貫徹“復(fù)雜問題求解”的思想，提出了基于本體核與直方圖的聚類預(yù)處理CPOKH方法。在對數(shù)據(jù)對象進行聚類預(yù)處理時，首先得到弱量本體核的客體數(shù)據(jù)頻數(shù)，然后根據(jù)用戶明確的需求信息，獲得所有需要的弱量本體核，并將其結(jié)合成強量本體核，最后通過“直方圖”的構(gòu)建與分析，明確數(shù)

6、據(jù)對象的相關(guān)類屬。 5．借鑒“能量”與“碰撞”的基本理念，以數(shù)據(jù)資源預(yù)處理得到的數(shù)據(jù)對象類或簇作為主要研究對象，構(gòu)建了基于能量的“有效”動態(tài)閾值，實現(xiàn)了基于能量碰撞的聚類優(yōu)化COEH策略；對已經(jīng)具備聚類初步特征的數(shù)據(jù)空間進行用戶主題需求的能量驅(qū)動，把聚類內(nèi)部的數(shù)據(jù)對象與孤立點數(shù)據(jù)對象放在統(tǒng)一的認識平臺中加以統(tǒng)籌處理，保證了數(shù)據(jù)對象的聚類優(yōu)化。 同時，作為理論成果的應(yīng)用研究，本文選擇了高校教育評估體系作為應(yīng)用研究對象，將聚