Web挖掘中的XML文檔聚類研究.pdf

1、信息技術的快速發(fā)展促使Web上的數(shù)據(jù)爆炸式的增長，如何從海量的Web數(shù)據(jù)中高效準確的獲得想要的知識成為熱門的研究課題。Web挖掘就是從Web信息中獲取潛在的、有價值的知識或模式的過程，分類、聚類、特征選擇等作為Web挖掘的主要技術已經(jīng)得到長足的發(fā)展。聚類分析在Web挖掘中占有重要的地位，所謂聚類就是按照某種相似性度量，根據(jù)一定的準則將一個對象集合成若干類，使得同類對象之間盡可能的相似，不同類對象之間盡可能的相異。聚類作為Web挖掘的預處

2、理階段可以通過分類數(shù)據(jù)來提高挖掘的效率和精確率。 Web頁面多數(shù)以HTML文本的形式存在，但隨著Web數(shù)據(jù)的多樣化和復雜化，HTML文檔已經(jīng)滿足不了信息處理和信息交換的要求。XML是由W3C提出的標準，由于靈活性、開放性和自描述性等特點，逐漸成為Web上主流數(shù)據(jù)格式和交換標準。因此XML聚類研究具有重要的意義。 本文對XML聚類進行了系統(tǒng)的分析和研究，針對XML特性提出了一種能夠包含語義的特征提取方法，在此基礎上提出一些

3、改進的聚類算法，并在真實文檔集和人工文檔集上進行了聚類實驗。 本文工作和創(chuàng)新如下： 首先本文對文檔聚類的聚類算法和XML相關規(guī)范進行了總結分析，指出了目前文檔聚類領域常用聚類算法的不足。 接著重點研究了XML文檔聚類的關鍵問題-文檔相似性度量方法，分析了經(jīng)典編輯距離法和基于邊集的XML文檔相似度測度方法，在分析了空間向量模型的基礎上提出了標簽與路徑相結合的XML文檔向量模型，根據(jù)文檔樹的層次賦予向量特征一定的權值

4、，能夠表達XML元素嵌套的語義信息，通過在示例文檔上計算相似度與編輯距離法和基于邊集的方法等相似度度量方法進行了比較，計算結果證明此方法對難分文檔具有更好的區(qū)分能力。 機器學習技術是Web挖掘的重要技術支撐，其中集成學習和半監(jiān)督學習是機器學習近幾年新興崛起的技術，大量研究和實驗已經(jīng)證明集成學習和半監(jiān)督學習可以改進聚類和分類的性能。 本文基于集成學習和半監(jiān)督學習對傳統(tǒng)聚類算法進行了改進，針對傳統(tǒng)單一的劃分聚類算法和層次聚類

5、算法的弱點，提出了一種基于Bagging的集成聚類算法，在基聚類器生成階段使用bootstrap抽樣產(chǎn)生原始文檔集的多個子集，在文檔子集上基于加權的標簽和路徑特征向量運行劃分聚類算法，然后使用聚類共識率來刪除低質(zhì)量的聚類中心，在生成的聚類中心集合上進行層次聚類得到最終的結果。 由于集成聚類的計算復雜度較高，本文對提出的集成聚類算法進行了改進，提出一種基于半監(jiān)督學習的聚類算法，使用適當暫停的模糊劃分聚類FCM算法來抽樣原始文檔集，