基于Web頁面特征的聚類算法研究及實現(xiàn).pdf

1、隨著Internet/Web技術(shù)的快速普及和迅猛發(fā)展，Web數(shù)據(jù)已成為當今世界第一大“數(shù)據(jù)倉庫”，怎樣從海量的Web數(shù)據(jù)中發(fā)現(xiàn)知識，造福于人類，是Web數(shù)據(jù)挖掘這項技術(shù)被時代賦予的使命。然而，Web數(shù)據(jù)是異構(gòu)的、非結(jié)構(gòu)化的、動態(tài)變化的，這就要求我們首先將 Web頁面分類(聚類)，然后對不同的分類設(shè)計分裝器(Wrapper)，進行信息抽取，最后對得到的結(jié)構(gòu)化數(shù)據(jù)進行分析和知識發(fā)現(xiàn)；由此可見Web聚類這項技術(shù)在數(shù)據(jù)挖掘中的重要地位。

2、　　 目前，基于Web頁面聚類的研究領(lǐng)域，已經(jīng)取得了很多成果；但是，真正將Web聚類應(yīng)用到Web內(nèi)容挖掘領(lǐng)域，使得聚類結(jié)果服務(wù)于信息抽取和知識發(fā)現(xiàn)的研究成果并不是很多，主要有基于文本內(nèi)容的Web頁面主題聚類和基于Web頁面結(jié)構(gòu)的聚類；前者僅考慮Web頁面的內(nèi)容信息，聚類時間效率低，而后者巧妙的利用了Web頁面的組織結(jié)構(gòu)，但是沒有利用Web頁面提供的內(nèi)容信息，聚類結(jié)果的實用性和準確性被降低；如果能夠?qū)烧呓Y(jié)合，則一定能夠提高聚類質(zhì)量，這

3、也是本文討論的重點。
　　 本文的主要工作和意義在于，分析了基于Web頁面的聚類算法，并在此基礎(chǔ)上闡述了一種基于Web頁面鏈接結(jié)構(gòu)和標簽信息的聚類方法CWPBLT(Clustering Web Pages Based on their Links and Tags)，它是在總結(jié)前人有關(guān)Web聚類工作的基礎(chǔ)上拓展出來的一種Web頁面聚類方法，它在聚類的過程中同時兼顧了Web頁面結(jié)構(gòu)和Web標簽提供的內(nèi)容信息,采用了最小描述長度法(