搜索引擎排名算法及作弊檢測技術(shù)研究.pdf

1、隨著信息技術(shù)的發(fā)展，互聯(lián)網(wǎng)成為人們獲取信息的重要來源。搜索引擎作為互聯(lián)網(wǎng)信息檢索的入口，在信息獲取的過程中扮演著舉足輕重的角色。搜索引擎排名算法負(fù)責(zé)將最有價值的網(wǎng)頁優(yōu)先推薦給用戶，它在提高檢索服務(wù)質(zhì)量方面起著重要作用?；阪溄臃治龅呐琶惴ǎㄈ鏟ageRank）在今天的搜索引擎中取得了巨大的成功，這種排名思想可以應(yīng)用到很多其他的信息檢索系統(tǒng)中。
　　 然而搜索引擎排名算法目前面臨著一個嚴(yán)重問題，那就是搜索引擎作弊。搜索引擎作弊是

2、指通過不正當(dāng)?shù)氖侄?，使某些網(wǎng)頁在搜索結(jié)果中獲得高于其實(shí)際價值的排名的欺騙行為。搜索引擎作弊不但會增加搜索引擎運(yùn)行成本、降低搜索性能，而且嚴(yán)重影響用戶體驗(yàn)。因此進(jìn)行搜索引擎作弊檢測、剔除互聯(lián)網(wǎng)上的作弊內(nèi)容，不論對搜索引擎還是對搜索用戶都具有重要意義。
　　 本文工作主要包括兩個方面：1.將鏈接分析思想應(yīng)用到文獻(xiàn)檢索系統(tǒng)中，提出了一個基于PageRank的文獻(xiàn)質(zhì)量評價算法；2.提出了一個利用擴(kuò)展策略和鏈接相似度檢測搜索引擎作弊的方法

3、。主要內(nèi)容概括如下：
　　 1.首先對搜索引擎排名算法做了詳細(xì)的總結(jié)分析。在深入研究了搜索引擎排名算法的相關(guān)理論和技術(shù)的基礎(chǔ)上，我們提出了搜索引擎排名算法在文獻(xiàn)檢索系統(tǒng)中的一個應(yīng)用：基于PageRank的科技文獻(xiàn)質(zhì)量評價算法。該算法將PageRank思想引入到引文分析中，并綜合考慮科技文獻(xiàn)發(fā)表機(jī)構(gòu)、作者、被引次數(shù)、發(fā)表時間等因素，改進(jìn)了傳統(tǒng)的文獻(xiàn)質(zhì)量評價方法。實(shí)驗(yàn)證實(shí)，該算法的評價結(jié)果比傳統(tǒng)方法更符合人們的期望。
　　

4、2.在對各類搜索引擎作弊技術(shù)及目前各種作弊檢測技術(shù)作了研究綜述的基礎(chǔ)上，提出了一個基于擴(kuò)展策略和鏈接相似度的鏈接作弊檢測方法。我們的方法從一個較小的作弊網(wǎng)頁種子集合開始，利用網(wǎng)頁間的鏈接相似關(guān)系擴(kuò)展種子集合，逐步發(fā)現(xiàn)更多的作弊網(wǎng)頁。目前網(wǎng)頁間的鏈接相似度直接沿用引文分析中的度量指標(biāo)：Coeitation、Bibcoupling和Amsler。由于忽視了網(wǎng)頁間鏈接關(guān)系與論文間引文關(guān)系的區(qū)別，用這些指標(biāo)度量網(wǎng)頁間鏈接相似度會出現(xiàn)問題。我們對

5、這些指標(biāo)進(jìn)行了修正，提出了三種適用于Web網(wǎng)頁的新鏈接相似度，并將這三種新鏈接相似度應(yīng)用到基于擴(kuò)展策略的鏈接作弊檢測方法中。
　　 3.通過實(shí)驗(yàn)驗(yàn)證了提出的機(jī)遇擴(kuò)展策略和鏈接相似度的作弊檢測方法。我們在一個公開數(shù)據(jù)集WEBSPAM-UK2006上測試了我們的方法，對結(jié)果進(jìn)行了比較分析，并與其他檢測方法做了對比。首先比較了在基于擴(kuò)展的方法中新提出的鏈接相似度與舊鏈接相似度的檢測效果，我們發(fā)現(xiàn)新鏈接相似度的檢測準(zhǔn)確率更高，但檢測結(jié)果