基于日志分析的個性化搜索引擎的研究與實現(xiàn).pdf

1、目前互聯(lián)網(wǎng)上每天爆發(fā)著海量的信息，搜索引擎成了我們查找信息的最重要的工具。然而搜索引擎所提供的信息檢索服務大多數(shù)仍然是大眾化的，這種綜合性搜索引擎往往不能滿足特定用戶面向特定領域和特定主題的個性化的信息需求，而且這種情況下召回率和精確率都是很低的。個性化搜索引擎為解決此問題而誕生。本文設計并實現(xiàn)了這樣一個個性化搜索引擎。
　　 本文在深入研究了搜索引擎日志分析和元搜索引擎的基礎上，通過日志分析挖掘用戶興趣，利用用戶興趣實現(xiàn)搜索引

2、擎的個性化，將二者有機的結合起來，構建了一個基于搜索引擎日志分析的個性化搜索引擎。論文完成了日志分析和個性化搜索引擎的研究與設計工作，并且對系統(tǒng)進行了相關測試。本文的主要研究工作有以下幾點：
　　 1.對日志采集技術做了詳細的研究，介紹了目前主要的兩種信息采集技術：頁面標簽技術和服務器日志技術，在此基礎上設計并實現(xiàn)了一種基于頁面標簽的日志采集技術，使用這種技術在專門日志服務器上生成日志，減輕了日志清洗的負擔，也減輕了web服務器

3、的負擔；
　　 2.使用shell腳本實現(xiàn)了日志的自動傳輸，為了保證傳輸?shù)目煽啃?，設置了重傳機制。另外為了減小日志傳送失敗所帶來的損失和使用的方便，在日志傳輸前對日志進行了分割和打包壓縮，傳輸完成后又對其解包解壓縮和合并；
　　 3.對日志分析技術做了簡單的總結，并對論文中日志分析要用到的關鍵技術-基于HDFS和MapReduce做了比較詳細的介紹。日志分析階段鑒于查詢日志和點擊日志的分析過程，為避免重復敘述，著重介紹了

4、點擊日志的分析過程，并利用MapReduce實現(xiàn)了日志分析，通過日志分析，提取了代表用戶興趣的關鍵詞及其權值，并利用它來建立用戶興趣模型；
　　 4.設計并實現(xiàn)了一個元搜索引擎，并利用日志分析結果建立的用戶興趣模型，對元搜索引擎返回的結果進行過濾，實現(xiàn)了個性化搜索；
　　 5.在此過程中設計并實現(xiàn)了一種基于用戶聚類的個性化檢索算法，極大的提高搜索引擎的性能；
　　 最后，通過分析系統(tǒng)運行時的數(shù)據(jù)，證明系統(tǒng)已成功達