互聯(lián)網(wǎng)搜索引擎搜索策略和算法的研究.pdf

1、現(xiàn)階段，互聯(lián)網(wǎng)行業(yè)的蓬勃發(fā)展是有目共睹的。以百度、阿里、騰訊為首的互聯(lián)網(wǎng)公司競相角逐，搶占著每一片互聯(lián)網(wǎng)市場，例如最近一年非?；鸬腛2O電商（online to offline，即線下商品，線上交易），2014年過年非常紅的微信紅包、百度的大數(shù)據(jù)遷徙等，互聯(lián)網(wǎng)都在深刻的改變著人們的生活。在互聯(lián)網(wǎng)的世界里，有一塊市場非常重要，它是互聯(lián)網(wǎng)的入口，80％以上的互聯(lián)網(wǎng)流量都需要經(jīng)過它的分發(fā)，這就是搜索引擎。因為互聯(lián)網(wǎng)公司的網(wǎng)址實在太多，網(wǎng)頁數(shù)更

2、是可怕，Goo gle（谷歌）目前統(tǒng)計的數(shù)字是100億，大部分想去各家網(wǎng)站的人都會選擇通過搜索行為進行跳轉(zhuǎn)。從中我們可看出搜索引擎的好壞直接決定著人們的互聯(lián)網(wǎng)生活，決定著整個互聯(lián)網(wǎng)流量的分發(fā)，對整個互聯(lián)網(wǎng)生態(tài)都有很大的影響。
　　本文先簡單介紹了搜索引擎的背景和意義，說明了研究搜索引擎的重大意義。介紹了搜索引擎的國內(nèi)外動態(tài)，重點介紹了Google和百度，這是現(xiàn)階段最成功的兩家搜索引擎，他們的現(xiàn)狀對搜索生態(tài)的發(fā)展至關重要，最后引出了

3、搜索引擎算法的現(xiàn)狀和不足，并提出了解決辦法。
　　現(xiàn)階段搜索引擎主要的搜索算法分爬取部分和排序部分。第二章重點介紹了現(xiàn)階段的爬蟲策略和排序策略，這些策略很多都是個人使用后的一些感觸。通過對算法的分析，提出了新的算法：爬取部分的廣度優(yōu)先搜索的并行化思想以及排序策略部分的頁面評分排序策略。
　　第三章從產(chǎn)品化策略去分析搜索引擎，單從搜索算法上去看搜索，并不是一個搜索引擎的全部，和真正的搜索引擎相差很遠。第三章通過在搜索引擎公司的

4、實習，學到了一個真正的搜索引擎是什么樣子的，單純的算法只是其中的一小部分，提出通過產(chǎn)品化的策略提升搜索引擎的搜索效果，并進行了詳細的介紹和分析。
　　第四章主要是針對第二章提出的兩種改進算法，在Linux系統(tǒng)上通過集成Nutch爬蟲[20]、Solr服務器（主流搜索引擎數(shù)據(jù)存儲服務器）、tomcat監(jiān)控器、中文分詞、前端頁面等控件，實現(xiàn)了一個真實的搜索引擎，并對其中很多的代碼進行修改，實現(xiàn)了廣度優(yōu)先并行化算法和頁面評分排序策略，通