基于Nutch的搜索引擎排序算法的研究與實現(xiàn).pdf

1、由于互聯(lián)網(wǎng)信息的急速增長，面對眾多雜亂無章的網(wǎng)頁信息，如何精準(zhǔn)地找到所需信息成了人們非常關(guān)注的問題。搜索引擎的出現(xiàn)為信息查找提供了有效的工具。搜索引擎最終是服務(wù)于用戶的，因此如何更好地為用戶服務(wù)促使著搜索引擎不斷地進(jìn)行優(yōu)化。面對海量的網(wǎng)絡(luò)信息，用戶通常會選擇搜索結(jié)果靠前的網(wǎng)頁進(jìn)行瀏覽，因此搜索引擎的服務(wù)質(zhì)量很大程度上取決于網(wǎng)頁排序算法。所以目前大多數(shù)搜索引擎的優(yōu)化都是搜索引擎排序算法的優(yōu)化。
　　目前使用最廣的基于鏈接結(jié)構(gòu)的排序算

2、法是PageRank算法和HITS算法。PageRank算法由于其計算效率較高、計算的數(shù)據(jù)量更大，相較于HITS算法具有一定的優(yōu)勢，因此在實際中更為普遍使用。但是PageRank算法由于其迭代計算過程中只考慮了網(wǎng)頁的鏈接結(jié)構(gòu)，因此存在著主題偏移、偏重舊網(wǎng)頁、權(quán)值分配不合理等不足之處。論文在對PageRank算法進(jìn)行深入研究的基礎(chǔ)上，以PageRank算法的不足之處作為切入點，提出了一種改進(jìn)的算法WCT-PageRank算法。改進(jìn)算法通過

3、在傳統(tǒng)PageRank算法中引入了網(wǎng)頁權(quán)值分配因子、網(wǎng)頁相關(guān)性因子、網(wǎng)頁時間因子改善檢索的效果。
　　Nutch作為一個優(yōu)秀的開源項目，其使用的是插件機(jī)制，具有靈活的架構(gòu)。因此論文實驗部分搭建了以Nutch開源項目為基礎(chǔ)的開發(fā)平臺，并對其進(jìn)行二次開發(fā)。針對其中文分詞效果不佳，加入了IKAnalyzer分詞器，并在該平臺上集成了PageRank算法和WCT-PageRank算法。對定制的基于Nutch的搜索引擎進(jìn)行檢索測試，并對實驗