Web結(jié)構(gòu)挖掘中HITS算法的優(yōu)化與實(shí)現(xiàn).pdf

1、Internet是一個(gè)巨大、分布廣泛、全球性的信息服務(wù)中心，它提供了各種各樣的信息服務(wù)。與此同時(shí)，如何從Internet所提供的浩如煙海的信息中獲取所需信息或是從中提取有用知識(shí)便成為一個(gè)急需解決的問(wèn)題。搜索引擎是目前最主要的Web檢索工具，然而搜索引擎返回的文檔質(zhì)量參差不齊，難以滿足用戶對(duì)高質(zhì)量檢索結(jié)果的需求。 將傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)和Web結(jié)合起來(lái)，進(jìn)行Web挖掘成為解決這一問(wèn)題的重要途徑。結(jié)構(gòu)挖掘是Web挖掘的一個(gè)重要方面，研

2、究表明web上的鏈接結(jié)構(gòu)含有非常豐富和重要的信息，鏈接分析技術(shù)已經(jīng)被成功的用于分析Web超鏈接數(shù)據(jù)來(lái)確定權(quán)威信息源。在各種對(duì)網(wǎng)頁(yè)進(jìn)行鏈接分析并提取主題的算法中，HITS(Hyperlink-Induced Topic Search)算法是最典型的。通過(guò)對(duì)HITS算法的深入研究發(fā)現(xiàn)，該算法存在一定的不足。HITS算法在擴(kuò)展根集階段對(duì)頁(yè)面的不合理選取導(dǎo)致無(wú)效鏈接過(guò)多，直接影響最終權(quán)威信息源的質(zhì)量；給不同的Web站點(diǎn)作者規(guī)定了不平等的影響權(quán)重

3、，導(dǎo)致了鏈接間不合理的相互加強(qiáng)關(guān)系；Web鏈接結(jié)構(gòu)的自組織性導(dǎo)致迭代分析往往收斂于鏈接結(jié)構(gòu)圖中與查詢主題不太相關(guān)的緊密連接區(qū)域(TKC)，從而導(dǎo)致主題偏移。針對(duì)以上不足，本文提出了一種結(jié)合內(nèi)容分析與鏈接分析的主題精選算法——W-HITS算法，并開發(fā)了實(shí)驗(yàn)系統(tǒng)，對(duì)該算法進(jìn)行了驗(yàn)證，通過(guò)對(duì)實(shí)驗(yàn)結(jié)果的分析討論證明改進(jìn)后的算法較原算法更合理有效。 本文的主要貢獻(xiàn)有以下幾點(diǎn)： (1)提出了更有效的獲取基集的方法，賦予了文檔作者間平

4、等的影響權(quán)重，使精選出的權(quán)威和中心網(wǎng)頁(yè)更為客觀合理； (2)通過(guò)內(nèi)容分析給信息源賦予了主題相關(guān)度權(quán)重，并運(yùn)用加權(quán)的I/O操作進(jìn)行鏈接分析，使主題相關(guān)度較高的信息源得到較高的排序分值； (3)對(duì)主題相關(guān)度很低的信息源進(jìn)行修剪，排除他們對(duì)排序分值計(jì)算的干擾，進(jìn)一步保證了主題精選結(jié)果是真正的查詢主題下的權(quán)威/中心源； (4)提出了驗(yàn)證該算法有效性的實(shí)驗(yàn)方案，并開發(fā)了實(shí)驗(yàn)系統(tǒng)，對(duì)該算法進(jìn)行了驗(yàn)證，并對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行了分析討