基于倒排索引和字典樹的站內(nèi)搜索引擎的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的不斷發(fā)展，快節(jié)奏的生活，人們對(duì)更好的用戶體驗(yàn)的追求，搜索的長時(shí)間等待變得讓人無法忍受。如何獲得更快的搜索、更好的搜索結(jié)果、更符合用戶心理的推薦成為很多網(wǎng)站、手機(jī)應(yīng)用的痛點(diǎn)。本項(xiàng)目意在通過建立倒排索引加快搜索，使用字典樹結(jié)構(gòu)快速找到聯(lián)想詞，二者相結(jié)合的方式提供良好的搜索體驗(yàn)。完成一個(gè)獨(dú)立的站內(nèi)搜索引擎，使得項(xiàng)目可以快速的移植到不同的系統(tǒng)中，提高開發(fā)速度，降低開發(fā)成本。
　　本項(xiàng)目主要完成一個(gè)輕量級(jí)站內(nèi)搜索引擎。系統(tǒng)主要分

2、為兩大部分：第一部分為全文索引引擎，主要負(fù)責(zé)從數(shù)據(jù)源建立倒排索引、以有效的格式保存索引、增量更新索引、索引的壓縮、搜索排序等功能；第二部分主要為拼音搜索引擎，主要完成關(guān)鍵字檢索、模糊查詢、拼音聯(lián)想等功能；此外完成系統(tǒng)對(duì)外的相關(guān)接口。主要的工作內(nèi)容是：獨(dú)立完成對(duì)整個(gè)站內(nèi)搜索引擎需求分析、系統(tǒng)設(shè)計(jì)、系統(tǒng)實(shí)現(xiàn)以及測試等工作；完成了系統(tǒng)的8大核心功能模塊，2個(gè)輔助模塊以及所有對(duì)外的接口。具體包括(1)文檔數(shù)據(jù)源獲取，(2)倒排索引的建立與壓縮，

3、(3)倒排索引更新，(4)倒排索引的查找，(5)搜索排序，(6)拼音轉(zhuǎn)化功能的實(shí)現(xiàn)，(7)拼音搜索Trie建立，(8)拼音聯(lián)想詞的查找，以及輔助功能如高亮顯示、相關(guān)推薦等功能。
　　系統(tǒng)進(jìn)行設(shè)計(jì)時(shí)，極為關(guān)注其本身的可拓展性、可移植性和實(shí)用性。系統(tǒng)實(shí)現(xiàn)過程中使用基于磁盤排序的歸并算法，可以針對(duì)內(nèi)存無法裝下的數(shù)據(jù)進(jìn)行排序，增強(qiáng)系統(tǒng)可用性；同時(shí)使用cidxHit算法進(jìn)行壓縮，使得倒排索引在不影響效率的情況下占用內(nèi)存?。幌嚓P(guān)性的計(jì)算使用B