面向網(wǎng)絡(luò)文學(xué)的垂直搜索引擎的研究與實(shí)現(xiàn).pdf

1、伴隨著互聯(lián)網(wǎng)信息爆炸式的增長(zhǎng)，海量數(shù)據(jù)不斷產(chǎn)生，人們?cè)诰W(wǎng)絡(luò)上查找所需文學(xué)作品的效率越來(lái)越低。并且隨著文學(xué)在互聯(lián)網(wǎng)中的高速傳播與發(fā)展，盜版、侵權(quán)、肆意抄襲作品的形勢(shì)變的越來(lái)越嚴(yán)峻。所以迫切需要一個(gè)更優(yōu)異的搜索服務(wù)，以提高搜索效率和保護(hù)網(wǎng)絡(luò)作品版權(quán)。搜索引擎質(zhì)量的好壞，對(duì)搜索引擎的使用用戶(hù)來(lái)說(shuō)具有重要意義，同時(shí)也是衡量搜索引擎技術(shù)優(yōu)劣的關(guān)鍵指標(biāo)。對(duì)頁(yè)面進(jìn)行重要性評(píng)估并按重要性排序是搜索引擎排序算法要深入研究的最重要的問(wèn)題之一。垂直搜索引擎應(yīng)

2、運(yùn)而生，它把具體專(zhuān)業(yè)與搜索引擎結(jié)合起來(lái)，為使用者提供了更高的質(zhì)量和更優(yōu)質(zhì)的服務(wù)。
　　本文研究的主要內(nèi)容是建立在網(wǎng)絡(luò)文學(xué)發(fā)展的基礎(chǔ)上，本文研究的核心技術(shù)是建立在搜索引擎發(fā)展的基礎(chǔ)上。通過(guò)研究課題的背景和意義，并深入了解搜索引擎的發(fā)展史、垂直搜索引擎的技術(shù)現(xiàn)狀以及搜索引擎未來(lái)的發(fā)展趨勢(shì)等知識(shí)，為本課題的研究與實(shí)現(xiàn)奠定了良好的理論基礎(chǔ)。
　　本文首先討論了垂直搜索引擎的概念和工作流程，在深入研究垂直搜索引擎原理的基礎(chǔ)上，對(duì)于垂直

3、搜索引擎所用到的核心技術(shù)，如網(wǎng)絡(luò)蜘蛛、網(wǎng)絡(luò)蜘蛛搜索策略、信息抽取技術(shù)、中文分詞技術(shù)等，和垂直搜索引擎所需要的搜索引擎開(kāi)源框架Nutch，進(jìn)行了詳細(xì)的介紹。
　　其次，分析并研究了搜索引擎領(lǐng)域經(jīng)典的兩種網(wǎng)頁(yè)排序算法：PageRank算法和HITS算法，聯(lián)系當(dāng)前互聯(lián)網(wǎng)研究現(xiàn)狀并結(jié)合所研究的課題方向，針對(duì)傳統(tǒng)的PageRank算法存在的主題飄逸現(xiàn)象、網(wǎng)頁(yè)權(quán)值分配不合理、偏重舊網(wǎng)頁(yè)等現(xiàn)象，結(jié)合網(wǎng)頁(yè)內(nèi)容之間的相似度信息、網(wǎng)頁(yè)頁(yè)面結(jié)構(gòu)和網(wǎng)頁(yè)產(chǎn)