聚類分析在科學數(shù)據(jù)挖掘中的應用研究.pdf

1、如何讓各種數(shù)據(jù)挖掘技術(shù)更好地為實際工程所服務，一直是數(shù)據(jù)挖掘領(lǐng)域的一個挑戰(zhàn)。一方面是人們對快速、準確而全面獲取信息的渴望，而另一方面卻是各種信息的紛繁蕪雜，在這兩者之間架設(shè)一座橋梁的確是一個巨大的挑戰(zhàn)。聚類分析在數(shù)據(jù)挖掘技術(shù)中占有重要的位置。所謂聚類，是將一個數(shù)據(jù)單位的集合(數(shù)據(jù)源)分割成幾個稱為類或類別的子集，每個類內(nèi)的對象之間是相似的，但不同類的對象間區(qū)別相對較大。聚類分析是在沒有先驗知識支持的前提下，根據(jù)事物本身的特性研究被聚類對

2、象的類別劃分，實現(xiàn)滿足這種要求的類的聚合，它所依據(jù)的原則是使同一類中的對象具有盡可能大的相似性，而不同類中的對象具有盡可能大的差異性。 論文基于大規(guī)模核物理科學數(shù)據(jù)挖掘的背景，全面介紹了數(shù)據(jù)挖掘的關(guān)鍵技術(shù)和主要任務，從理論、算法和應用三個層次，結(jié)合科學數(shù)據(jù)的特點來分析預處理技術(shù)和聚類方法，提出了很多實用的預處理方法：對HDF5科學數(shù)據(jù)進行分塊、除噪、集成、變換等，同時對它使用“截斷法”和“逐層求差法”進行規(guī)約，并對數(shù)據(jù)進行信息提

3、取。在聚類方面，經(jīng)過比較各種聚類算法和分析科學數(shù)據(jù)的特點，提出了結(jié)合k一平均思想的改進型系統(tǒng)聚類算法。此聚類算法有如下特點：能生成具有代表性的數(shù)據(jù)簇中心；使用相似系數(shù)計算距離，避免了距離受量綱影響的缺點；不需要多次迭代計算，減少了計算量；不需要指定初始中心；改進了聚類圖，更容易得出聚類閥值。實驗結(jié)果表明這種改進的系統(tǒng)聚類算法非常適合科學數(shù)據(jù)的處理。 本文最后簡單介紹了我們開發(fā)的科學數(shù)據(jù)挖掘系統(tǒng)。其中重點介紹了聚類分析模塊的設(shè)計和