Web超鏈分析及其在搜索引擎中的應(yīng)用研究.pdf

1、隨著Internet的高速發(fā)展和快速普及，Web上可以獲取的信息也在急劇增加。由于無(wú)法瀏覽全部的Web文檔，所以人們往往求助于搜索引擎來(lái)查找所需的信息。Web超鏈分析技術(shù)可以提高搜索引擎的查準(zhǔn)率，因此成為網(wǎng)絡(luò)應(yīng)用和信息檢索方向的研究熱點(diǎn)。 介紹了搜索引擎的分類、發(fā)展歷程、原理和評(píng)價(jià)指標(biāo)，概括了超鏈分析技術(shù)在搜索引擎中的重要作用。闡述了目前最著名的超鏈分析算法PageRank和HITS，分析了它們存在的問(wèn)題，發(fā)現(xiàn)主題漂移是影響性能

2、的主要因素。與HITS相比，PageRank在穩(wěn)定性和適用性上更勝一籌，更適合于大規(guī)模的搜索引擎。因此PageRank算法是本文的重點(diǎn)研究對(duì)象。對(duì)PageRank算法進(jìn)行了深入的探討，在分析了國(guó)內(nèi)外主要的改進(jìn)算法的基礎(chǔ)上，對(duì)PageRank缺點(diǎn)和改進(jìn)方法進(jìn)行總結(jié)歸納，從不同的角度提出了兩種改進(jìn)方法。 從超鏈的創(chuàng)建動(dòng)機(jī)和實(shí)際作用進(jìn)行分析，發(fā)現(xiàn)超鏈的實(shí)際作用差別比較大。同時(shí)受到網(wǎng)頁(yè)分類的啟發(fā)，引入了超鏈分類概念。根據(jù)不同的類別分配不

3、同加權(quán)，提出了基于超鏈分類的HC—PageRank改進(jìn)算法。為了驗(yàn)證算法，在Nutch上開(kāi)發(fā)了基于HC—PageRank的鏈接分析工具，實(shí)驗(yàn)證明，HC—PageRank的查準(zhǔn)率高于傳統(tǒng)的PageRank算法。 在對(duì)PageRank計(jì)算過(guò)程研究的基礎(chǔ)上，發(fā)現(xiàn)PageRank值不具備語(yǔ)義性。根據(jù)HITS在線聚類原理，在查詢時(shí)根據(jù)奄詢?cè)~的語(yǔ)義進(jìn)行PageRank調(diào)整，提出了基于超鏈內(nèi)容PageRank調(diào)整算法。為了驗(yàn)證算法，在Nutc