搜索引擎?zhèn)€性化檢索及用戶推薦功能的設(shè)計與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，網(wǎng)上信息量劇增，人們從海量信息中挖掘出可用信息日益困難。目前人們采用搜索引擎的方式在互聯(lián)網(wǎng)上檢索信息，傳統(tǒng)搜索引擎，如國外的Google，yahoo，國內(nèi)的百度，天網(wǎng)等，都迅速發(fā)展起來。截止2010年6月，中國網(wǎng)民數(shù)量增長到4億，網(wǎng)民中使用搜索引擎的比率大于百分之七十，國外的搜索引擎使用比率更高，因此搜索引擎的市場前景看好。然而通用搜索引擎的結(jié)果面向大多數(shù)用戶，當檢索詞相同時，返回給用戶的結(jié)果一致。事實上，隨著

2、年齡，性別，學歷，專業(yè)等的不同，不同用戶對同一檢索詞的興趣點不一致。個性化搜索引擎試圖通過分析文檔結(jié)構(gòu)、用戶瀏覽行為信息及用戶對文檔的評價信息，建立用戶的興趣模型，指導(dǎo)搜索引擎的查詢結(jié)果以及結(jié)果排序，力圖滿足每個用戶的需求。
　　 本文主要實現(xiàn)了搜索引擎中的三個功能：①中文分詞技術(shù)。②用戶推薦功能。③個性化檢索，對相同查詢詞根據(jù)用戶興趣不同返回更貼近用戶興趣點的結(jié)果。中文分詞是自然語言處理的范疇，是搜索引擎查詢和建立索引的基礎(chǔ)。

3、目前中文分詞算法比較常用的有基于詞典的分詞算法，基于統(tǒng)計的分詞算法和基于規(guī)則的分詞算法?；谠~典的分詞算法設(shè)計思想簡單，為大多數(shù)程序員所使用。但是中文分詞存在兩大難點問題，歧義的消除和未登錄詞的識別。經(jīng)過眾多學者的努力，目前仍未完美的解決此問題。本文的分詞算法，對原有分詞算法做了部分改進，提高了分詞的精度。在用戶使用搜索引擎檢索的過程中，查詢詞是用戶與搜索引擎交互的唯一手段。查詢詞的準確與否直接關(guān)系到用戶檢索結(jié)果的精度。然而大多數(shù)用戶不

4、能準確描述自己所遇到的問題，因此會影響到返回的結(jié)果。用戶推薦的出現(xiàn)很好的解決了這一問題，當用戶輸入查詢限制時，先通過中文分詞技術(shù)把一段字符序列切分成詞語，然后根據(jù)關(guān)聯(lián)規(guī)則給用戶返回更多具有語義相關(guān)性的查詢結(jié)果，供用戶選擇或者參考。個性化檢索是指通過挖掘用戶興趣信息，建立合理的模型來表示、管理用戶興趣，并通過不斷更新與維護，逐步優(yōu)化模型，使其能準確反映用戶的興趣需求，為后續(xù)搜索工作提供個性化的分析依據(jù)。其包括用戶所搜索的關(guān)鍵詞，對搜索結(jié)果

5、的點擊，各個網(wǎng)站瀏覽行為，書簽情況等。搜索引擎掌握了這些用戶資料后進行分析，在用戶搜索新的關(guān)鍵詞時，能返回更有針對性的搜索結(jié)果，從而提高用戶體驗。
　　 本研究的創(chuàng)新點在于：⑴設(shè)計了自己的中文分詞核心詞典，其包括常用漢語詞語119803條，計算機術(shù)語1015條。新詞詞典是通過計算機程序的主動學習，不斷加入未登錄詞，新詞。新詞詞典用于存放切分詞語時出現(xiàn)的未登錄詞和歧義詞，在分詞結(jié)束時對主要詞典進行擴充。⑵在基于通用搜索引擎實現(xiàn)技術(shù)