Web結(jié)構(gòu)挖掘中PageRank算法研究.pdf

1、隨著Web信息技術(shù)的迅速發(fā)展，用戶可以越來越方便快捷地獲取各種信息，與此同時(shí)，也面臨著如何從大量Web信息中獲取相關(guān)及有用信息的問題。雖然，通過使用傳統(tǒng)的Google、百度、Lycos等搜索引擎，可以大大減少無用信息的干擾，但這些搜索引擎搜索的結(jié)果有時(shí)也不完整或不相關(guān)，很難完全滿足用戶的需求。值得慶幸的是，目前Web數(shù)據(jù)挖掘技術(shù)的研究可以解決Web上過量信息的問題，通過對(duì)Web超鏈接結(jié)構(gòu)進(jìn)行分析，為用戶提供更精確、更相關(guān)的數(shù)據(jù)。因此，W

2、eb數(shù)據(jù)挖掘逐漸成為目前研究的熱點(diǎn)。 本文從Web結(jié)構(gòu)挖掘入手，在對(duì)Web結(jié)構(gòu)挖掘中典型算法PageRank深入研究的基礎(chǔ)上，針對(duì)PageRank算法只考慮Web頁面之間的鏈接關(guān)系而忽略Web頁面本身的文本內(nèi)容，對(duì)權(quán)威性高的網(wǎng)頁隨著時(shí)間的推移賦予很高的權(quán)威值，而對(duì)新出現(xiàn)的網(wǎng)頁賦予很低的權(quán)威值，從而導(dǎo)致搜索結(jié)果出現(xiàn)“主題漂移”和種種缺陷的問題，提出了一種基于超鏈接網(wǎng)頁之間的距離及強(qiáng)化學(xué)習(xí)相結(jié)合的改進(jìn)算法——DisRank。該算法把

3、網(wǎng)頁之間的距離作為“處罰”因子，以此來計(jì)算Web網(wǎng)頁的等級(jí)值及對(duì)其進(jìn)行排序。我們首先通過網(wǎng)頁爬行算法抓取基于某個(gè)主題的、一定數(shù)量的網(wǎng)頁作為訓(xùn)練樣本，然后存儲(chǔ)到數(shù)據(jù)庫中，最后分別調(diào)用PageRank算法和改進(jìn)算法DisRank進(jìn)行實(shí)驗(yàn)，以證明改進(jìn)算法的有效性。這其中包括改進(jìn)算法DisRank抓取相關(guān)網(wǎng)頁的吞吐量、不同β取值算法的吞吐量、精確度、收斂速度及算法時(shí)間復(fù)雜度等。 最后，對(duì)本文所做的工作進(jìn)行了總結(jié)，并提出改進(jìn)算法需要進(jìn)一步