博客搜索優(yōu)化研究.pdf

1、隨著互聯(lián)網(wǎng)時(shí)代的到來(lái)，網(wǎng)絡(luò)信息資源成爆炸式增長(zhǎng)。然而伴隨著互聯(lián)網(wǎng)信息的越來(lái)越巨大，網(wǎng)絡(luò)用戶想要找到自己所需的信息就如大海撈針一樣，為了更加方便、快捷并有效的利用網(wǎng)絡(luò)上的信息資源，搜索引擎系統(tǒng)便應(yīng)時(shí)出現(xiàn)了?，F(xiàn)在，搜索引擎技術(shù)作為計(jì)算機(jī)與信息產(chǎn)業(yè)界競(jìng)相研究開(kāi)發(fā)的對(duì)象，已經(jīng)日益成熟起來(lái)。目前，在傳統(tǒng)搜索引擎技術(shù)產(chǎn)品中，開(kāi)源全文搜索引擎Nutch和全文索引軟件包Lucene是當(dāng)中的具有代表性的兩個(gè)產(chǎn)品。 博客做為一種新興的網(wǎng)絡(luò)服務(wù)形式，

2、已經(jīng)被越來(lái)越多的人所關(guān)注和應(yīng)用。然而，博客搜索引擎卻不能簡(jiǎn)單的應(yīng)用傳統(tǒng)搜索引擎技術(shù)去開(kāi)發(fā)。博客是互聯(lián)網(wǎng)上的一種共享空間，是一種作者與讀者通過(guò)互聯(lián)網(wǎng)以日志風(fēng)格進(jìn)行交互的中介，是一種嶄新的信息傳播和交互方式。用戶可以在該空間上發(fā)表文章、評(píng)議、圖片、影音文件等個(gè)人資源。博客用戶更新博客的形式不確定，更新博客的內(nèi)容不確定，更新博客的時(shí)間不確定，使得博客網(wǎng)頁(yè)帶有明顯的不確定性。因此，博客搜索引擎與傳統(tǒng)搜索引擎有著明顯的區(qū)別。博客搜索引擎只專(zhuān)注于博

3、客方面，博客搜索引擎比傳統(tǒng)搜索引擎的索引站點(diǎn)更加明確；博客網(wǎng)頁(yè)更新時(shí)間的不確定性，使得博客搜索引擎比傳統(tǒng)搜索引擎更要求時(shí)效性；從內(nèi)容上看，博客檢索不僅要取得傳統(tǒng)檢索的網(wǎng)頁(yè)形式，還要有博客鏈接。傳統(tǒng)搜索引擎在時(shí)效性，覆蓋率，頁(yè)面分析等方面都無(wú)法滿足用戶對(duì)博客資源搜索的要求。目前，設(shè)計(jì)研發(fā)一款能夠準(zhǔn)確抓取博客頁(yè)面，較大程度上覆蓋博客資源，并更新及時(shí)的博客搜索引擎已經(jīng)成為搜索引擎研究領(lǐng)域研究的熱點(diǎn)和挑戰(zhàn)。 本文在研究傳統(tǒng)搜索引擎的基本

4、原理、核心技術(shù)和處理流程的基礎(chǔ)上，結(jié)合博客搜索引擎的具體需求，以開(kāi)源全文搜索引擎Nutch為體系結(jié)構(gòu)基礎(chǔ)，以基于Java的全文索引軟件包Lucene為系統(tǒng)的索引功能與檢索功能的開(kāi)發(fā)工具包，搭建起了完整的博客搜索引擎系統(tǒng)。 系統(tǒng)實(shí)現(xiàn)了分布式易擴(kuò)展結(jié)構(gòu)，在Nutch源碼的基礎(chǔ)上，重寫(xiě)了網(wǎng)頁(yè)過(guò)濾部分，網(wǎng)頁(yè)去噪部分，網(wǎng)頁(yè)消重部分，實(shí)現(xiàn)了PageRank算法；在頁(yè)面內(nèi)容分析上，實(shí)現(xiàn)了正向最大匹配算法的中文分詞方法，并對(duì)系統(tǒng)模塊進(jìn)行了優(yōu)化，