網(wǎng)頁搜索器中網(wǎng)頁數(shù)據(jù)維護算法的研究與改進.pdf

1、現(xiàn)有的網(wǎng)頁數(shù)據(jù)維護算法中,"按網(wǎng)頁變化頻率更新網(wǎng)頁"和"祛除鏡像網(wǎng)頁"是兩種很好的網(wǎng)頁數(shù)據(jù)維護方法.通過按網(wǎng)頁變化頻率類別更新網(wǎng)頁,我們可以近似做到每次去更新變化了的網(wǎng)頁,而不用訪問沒變化的網(wǎng)頁;發(fā)現(xiàn)并祛除鏡像網(wǎng)頁,可以避免搜索器維護多個有相同或近似內(nèi)容的網(wǎng)頁,節(jié)約系統(tǒng)的存儲空間,這兩個方法都可以極大的減少對網(wǎng)站的不必要訪問.對這兩個方法的深入研究,我們發(fā)現(xiàn)存在著兩個有待改進的問題.具體問題及改進算法如下:一.變化頻率分類:現(xiàn)有的網(wǎng)頁變

2、化頻率分類只是通過參考過去一段時間內(nèi)網(wǎng)頁是否變化這個特征來進行變化頻率分類,該算法的分類時間長,且對于剛下載的網(wǎng)頁,該方法無法分類.該文中,我們結(jié)合對網(wǎng)頁的動靜態(tài)特征、域名特征、緩存特征的分析,提出了一種改進的分類方法,使用該種方法,我們無須檢查網(wǎng)頁是否變化就可以進行變化頻率分類,并且可以減小分類需要的時間,提高分類速度.二.鏡像網(wǎng)頁的祛除:即對已經(jīng)發(fā)現(xiàn)的互為鏡像的n個網(wǎng)頁,我們應(yīng)該保留哪個網(wǎng)頁,而去掉其余n-1個網(wǎng)頁?一般的方法是按發(fā)

3、現(xiàn)順序保留第一個,去掉其余的鏡像,或是隨機選取其中一個,去掉其余鏡像.這些方法都沒有考慮網(wǎng)頁的重要性.該文中我們提出了一種與PageRank算法相結(jié)合的最優(yōu)策略,即先計算出所有網(wǎng)頁的PageRank值,然后對于相同的鏡像保留PageRank值最高(即最重要的)的網(wǎng)頁,祛除其余網(wǎng)頁.使用這種方法,我們可以確保系統(tǒng)中維護的都是高質(zhì)量的網(wǎng)頁.最后,作為論文的一部分,我們實現(xiàn)了一個綜合使用上述改進算法的網(wǎng)頁搜索器,并進行了為時2個月的實驗,該實