搜索引擎核心詞提取系統(tǒng)設計與實現(xiàn).pdf

1、論文選題來源于國內某著名互聯(lián)網(wǎng)公司搜索引擎團隊的搜索引擎核心詞提取系統(tǒng)。索引系統(tǒng)作為搜索引擎的核心系統(tǒng)之一，需要處理海量的互聯(lián)網(wǎng)信息，但是信息的高重復度浪費了大量的系統(tǒng)資源。為了解決這一問題，需要在索引系統(tǒng)中添加索引信息排重系統(tǒng)，通過比對信息文本的核心詞來實現(xiàn)排重功能。本論文的主要工作是索引信息排重系統(tǒng)中核心詞提取子系統(tǒng)的設計與實現(xiàn)，該子系統(tǒng)的目的是能夠準確、快速提取信息文本中的核心詞匯，供索引信息排重系統(tǒng)使用，進而達到索引信息排重的目

2、的。
　　 論文闡述了搜索引擎核心詞提取系統(tǒng)對于企業(yè)應用的價值和意義。介紹了搜索引擎核心詞提取系統(tǒng)相關技術，包括搜索引擎技術、中文分詞技術、模式匹配技術以及Linux系統(tǒng)開發(fā)技術；對搜索引擎核心詞提取系統(tǒng)進行了需求分析，提出了基于中文分詞和模式匹配技術的核心詞提取方案；設計了系統(tǒng)的架構和功能模塊；最終實現(xiàn)了該系統(tǒng)。
　　 本論文設計、實現(xiàn)的搜索引擎核心詞提取系統(tǒng)主要應用于索引信息排重系統(tǒng)，還能將其擴展應用于文章相似度計算