Web結(jié)構(gòu)挖掘算法研究.pdf

1、Web挖掘是傳統(tǒng)的數(shù)據(jù)挖掘理論在Web中的應(yīng)用，其涉及多學(xué)科領(lǐng)域的知識(shí)，如計(jì)算機(jī)網(wǎng)絡(luò)、數(shù)學(xué)、人工智能等，是一個(gè)交叉性的研究領(lǐng)域。Web結(jié)構(gòu)挖掘（Web Structure Mining）是Web挖掘研究領(lǐng)域的重要分支，它是通過(guò)分析各種網(wǎng)頁(yè)結(jié)構(gòu)間的關(guān)系信息，從而尋找潛藏在頁(yè)面內(nèi)容之外但有潛在價(jià)值的信息的過(guò)程。 其中，這些網(wǎng)頁(yè)結(jié)構(gòu)信息主要包含以下三種：頁(yè)面之間的超鏈接結(jié)構(gòu)關(guān)系，可以用超文本標(biāo)記語(yǔ)言（HTML）或可擴(kuò)展標(biāo)記語(yǔ)言（XML

2、）表示的網(wǎng)頁(yè)中的樹型結(jié)構(gòu)（DOM），頁(yè)面統(tǒng)一資源定位（URL）中起組織和表現(xiàn)形式作用的文件目錄結(jié)構(gòu)。 文章首先分析了經(jīng)典結(jié)構(gòu)挖掘算法PageRank、HITS及其改進(jìn)算法，對(duì)算法中存在的問(wèn)題進(jìn)行了系統(tǒng)的闡述。 PageRank算法是通過(guò)離線狀態(tài)計(jì)算的，因而具有較快的響應(yīng)速度，但其沒(méi)有考慮與查詢主題之間的關(guān)系，導(dǎo)致結(jié)果的主題性很差；HITS算法則是根據(jù)查詢文本進(jìn)行的運(yùn)算，需要在線狀態(tài)完成所有的工作，因此相比前者響應(yīng)速度比較

3、慢。 針對(duì)這些問(wèn)題本文提出了B-PH算法（Algorithm based on PageRank and HITS），該算法充分結(jié)合了文檔內(nèi)容和超鏈接結(jié)構(gòu)，使得結(jié)果頁(yè)面集更具有權(quán)威性和相關(guān)性。 最后通過(guò)實(shí)驗(yàn)系統(tǒng)對(duì)真實(shí)數(shù)據(jù)的檢測(cè)，通過(guò)與經(jīng)典算法對(duì)比驗(yàn)證了該算法的可行性和有效性。 本文所做的主要工作： 1.對(duì)經(jīng)典結(jié)構(gòu)挖掘算法進(jìn)行了分析，并對(duì)算法中存在的問(wèn)題進(jìn)行了系統(tǒng)的闡述。 2.提出了Web噪音鏈接處

4、理的新方法，有效地提高了算法的效率。 3.提出了B-PH算法（Algorithm based on PageRank and HITS）。該算法在HITS算法框架基礎(chǔ)上結(jié)合了PageRank，極大地減少了主題漂移現(xiàn)象，提高了查詢效率和質(zhì)量。 4.提出了檢驗(yàn)B-PH算法的實(shí)驗(yàn)?zāi)Ｐ?，并開發(fā)了DotNet環(huán)境下基于B/S架構(gòu)的Web應(yīng)用實(shí)驗(yàn)系統(tǒng)，系統(tǒng)通過(guò)對(duì)真實(shí)數(shù)據(jù)處理，驗(yàn)證了算法的可行性和有效性；最后對(duì)處理結(jié)果進(jìn)行了對(duì)比分析。