基于中間知識庫的可繼承聚類研究.pdf

1、數據挖掘是當今研究熱點，它是從大量的、不完全的、有噪聲的實際應用數據中，提取隱含在其中的、事先未知的、但又潛在有用的知識的過程。 隨著技術的進步，數據挖掘的對象發(fā)生很大變化，已由靜態(tài)數據集變化為動態(tài)數據流，本文研究對象正是這種大規(guī)模連續(xù)動態(tài)環(huán)境，其數據通常是GB級甚至是TB級的，數據按照一定的規(guī)律不斷更新。在這種環(huán)境中，已有的知識發(fā)現方法面臨新的問題，主要體現在以下幾點：(1)數據挖掘效率不高。(2)處理能力跟不上。面對大規(guī)模數

2、據，囿于原有挖掘模型，很多傳統(tǒng)算法根本無法處理。(3)無法滿足實時更新的需求。數據是動態(tài)的，而且頻繁更新，因此挖掘過程需要不斷進行，來跟蹤數據的變化。而傳統(tǒng)算法無法實現快速更新，滿足這種實時需求。 針對上述困難，圍繞聚類問題，本文采用可繼承的觀點來處理大規(guī)模動態(tài)環(huán)境的數據聚類分析，不僅采用內存中的增量繼承方式，而且把挖掘過程中有價值的知識固化為外存的永久繼承，實現知識產生知識，從而提供快速靈活查詢。主要工作包括： (1)

3、提出知識發(fā)現中可繼承問題，給出其中關鍵定義：進化基、進化沖量、進化操作、繼承度和繼承靈活性，并以此為基礎，把可繼承問題進行分類，給出不同類型可繼承的研究方向和重點。分析了傳統(tǒng)Fayyad模型、強度挖掘模型和簡單增量模型對處理大規(guī)模連續(xù)動態(tài)環(huán)境的不適應性，剖析傳統(tǒng)挖掘過程中挖掘算法的參數依賴，提出基于中間知識庫的可繼承聚類模型并給出其中中間知識的定義，界定其可加減性、等價性、濃縮性。 (2)給出聚類中間知識的設計：EDS(Exte

4、ndedDataSummary)和ECF(ExtendedClusteringFeature)，給出他們的統(tǒng)計學基礎，分析其加減性、壓縮性和時空代價，說明其合理性和對可繼承聚類模型的適用性；給出三種中間知識獲取方法：1)基于距離的方法，根據每個單元簇的均方根半徑判斷新加入的點的歸屬2)基于網格的方法，采用動態(tài)的網格來獲取中間知識，針對網格的稀疏特性，使用哈希技術來定位每個項目。3)動態(tài)自組織特征影射方法。根據計數器變量并引入累積誤差，來

5、決定神經元的增加與刪除，從而更好的適應動態(tài)環(huán)境。 (3)給出外存中中間知識元數據、時間索引、中間知識庫、中間知識表的結構定義，采用擴展的BNF語法給出中間知識結構化模式查詢語言IKMQL，進行中間知識的管理和查詢。在分析時間粒度的基礎上，給出三種中間知識保存方法，分別計算其時效誤差，分析和證明了每種方法在中間知識保存過程中的存儲容量和查詢精度。 (4)設計了基于中間知識庫的劃分聚類方法，給出中心變化時的聚類質量變化公式；

6、在層次算法中，給出相異度矩陣的遞推公式，并改進其合并策略以提高效率；在基于密度的算法中，給出同質密度和密度相連的定義，以發(fā)現不同密度層次的聚類；在基于模型的算法中，把標準方差插入到密度函數，給出單元簇成員在M步中發(fā)生的簡化公式。在基于窗口操作的算法中，本文給出窗口相減操作過程。 (5)開發(fā)原型系統(tǒng)，驗證中間知識獲取、存儲和維護方法以及本文提出的運行于其上的各類算法的正確性和效率，分別跟采樣以及傳統(tǒng)算法作對比，證明了本文提出聚類模