基于Nutch和Lucene個(gè)性化搜索引擎研究和實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)在用戶群中的普及，用戶所能接觸到的數(shù)據(jù)成爆炸式增長(zhǎng)，用戶在海量的數(shù)據(jù)中搜索自己所需數(shù)據(jù)和內(nèi)容也就越來(lái)越困難，這不僅會(huì)導(dǎo)致過(guò)多的損耗大把時(shí)間并且也消耗不小的身體精力，這對(duì)用戶檢索結(jié)果的效果和質(zhì)量會(huì)造成極大的影響。而目前一般的搜索引擎系統(tǒng)在面對(duì)這情況時(shí)，信息的過(guò)濾能力也有限，因?yàn)閭鹘y(tǒng)的系統(tǒng)只會(huì)根據(jù)用戶輸入的查詢關(guān)鍵詞來(lái)搜索相關(guān)信息以及過(guò)濾無(wú)關(guān)信息，并不會(huì)過(guò)多的考慮用戶的興趣趨向，所以準(zhǔn)確信息依然需要用戶自行進(jìn)行篩選來(lái)得到。個(gè)性化搜

2、索引擎系統(tǒng)的研究可以根據(jù)用戶的瀏覽記錄分析用戶的興趣，并根據(jù)用戶的興趣來(lái)調(diào)整搜索結(jié)果的排序，將用戶從繁瑣的信息篩選中解救出來(lái)。于是，高效的智能化個(gè)性化搜索引擎系統(tǒng)的研究變成了一個(gè)必不可少的研究項(xiàng)目。
　　目前，具有個(gè)性化的搜索引擎系統(tǒng)平臺(tái)很少，其主要原因是由于針對(duì)網(wǎng)頁(yè)特征詞向量的提取面臨語(yǔ)義和語(yǔ)境的困難，難以找到一個(gè)方法可以提取一組詞來(lái)代表網(wǎng)頁(yè)內(nèi)容的中心思想，或者提取結(jié)果和其它網(wǎng)頁(yè)相比很難有所區(qū)別，所以不能有效實(shí)行；用戶興趣模型的

3、建立方法需在大量數(shù)據(jù)分析的基礎(chǔ)上進(jìn)行，不僅需要依靠不斷積累數(shù)據(jù)來(lái)實(shí)時(shí)更新調(diào)整且需要謹(jǐn)慎選擇一個(gè)合理并有效的分析建模算法才能保證用戶興趣模型的預(yù)測(cè)質(zhì)量。這些都是個(gè)性化搜索引擎系統(tǒng)平臺(tái)在個(gè)性化搜索研究過(guò)程中面臨的一些可能和挑戰(zhàn)。因此，本文結(jié)合個(gè)性化研究現(xiàn)狀，研究開(kāi)發(fā)一個(gè)基于Nutch+Lucene的個(gè)性化系統(tǒng)，具有其現(xiàn)實(shí)意義。
　　本文的主要內(nèi)容將會(huì)建立在數(shù)據(jù)爆炸式增長(zhǎng)以及大數(shù)據(jù)分析技術(shù)逐漸成熟的環(huán)境下，以分析傳統(tǒng)搜索引擎對(duì)互聯(lián)網(wǎng)的貢

4、獻(xiàn)和對(duì)大數(shù)據(jù)環(huán)境力不從心現(xiàn)狀的基礎(chǔ)上，指出現(xiàn)今存在為數(shù)不多的個(gè)性化搜索引擎的發(fā)展以及存在的不足，并根據(jù)這些不足之地提出本文的改進(jìn)思想內(nèi)容，調(diào)整網(wǎng)頁(yè)內(nèi)容的特征詞向量提取技術(shù)，用戶興趣模型的建立和搜索結(jié)果的個(gè)性化排序算法來(lái)優(yōu)化系統(tǒng)的個(gè)性化服務(wù)的功能。主要工作如下：
　　首先，回顧了目前網(wǎng)頁(yè)內(nèi)容特征詞向量提取算法和技術(shù)的研究情況，根據(jù)TF-IDF算法在特征提取過(guò)程中的應(yīng)用情況，提出一種結(jié)合位置權(quán)重的網(wǎng)頁(yè)內(nèi)容特征提取和度量算法，這種算法的

5、提取結(jié)果更符合實(shí)際情況，更能代表整篇網(wǎng)頁(yè)的中心思想。該提取算法先將網(wǎng)頁(yè)內(nèi)容根據(jù)所在位置分成TITLE，META，CONTENT三個(gè)部分，然后再分別進(jìn)行分詞并統(tǒng)計(jì)各個(gè)位置上出現(xiàn)的詞及其出現(xiàn)頻率，分配這三個(gè)位置的權(quán)值，并根據(jù)權(quán)值調(diào)整了三個(gè)位置上各個(gè)詞的頻次。最后應(yīng)用TF-IDF算法來(lái)計(jì)算各個(gè)詞的權(quán)重，且根據(jù)詞的權(quán)重進(jìn)行從大到小的排序并提取前n個(gè)特征詞，得到最終的網(wǎng)頁(yè)特征詞向量。
　　其次，針對(duì)目前關(guān)于用戶興趣模型建立較為困難和復(fù)雜的問(wèn)

6、題，研究并設(shè)計(jì)一個(gè)功能強(qiáng)大的個(gè)性化搜索引擎，實(shí)現(xiàn)搜索引擎系統(tǒng)的個(gè)性化功能。對(duì)系統(tǒng)用戶興趣模型建立的過(guò)程，利用提取互聯(lián)網(wǎng)頁(yè)的特征詞向量進(jìn)行網(wǎng)頁(yè)分類，并根據(jù)用戶的瀏覽歷史分析和計(jì)算用戶對(duì)各個(gè)類別網(wǎng)頁(yè)的傾向程度，最后使用由類別及其所占興趣程度構(gòu)成的向量來(lái)記錄和表示用戶的興趣模型，并用這個(gè)模型來(lái)預(yù)測(cè)用戶的興趣趨向和行為模型，以此來(lái)成為提供個(gè)性化服務(wù)的依托。
　　再者，在系統(tǒng)基礎(chǔ)搜索結(jié)果的基礎(chǔ)上，擬合用戶獨(dú)一無(wú)二的興趣模型，根據(jù)模型預(yù)測(cè)的興