中文搜索引擎中的文檔特征提取研究.pdf

1、隨著因特網(wǎng)的迅速發(fā)展，因特網(wǎng)上的信息每天都以指數(shù)量級(jí)的速度爆炸性增長(zhǎng)，如何從這個(gè)浩瀚的信息資源庫(kù)中獲取用戶需要的信息，是人們面臨的一個(gè)重要問題。搜索引擎是目前最有效的手段，據(jù)中國(guó)互聯(lián)網(wǎng)絡(luò)信息中心(CNNIC)2004年1月的最新調(diào)查統(tǒng)計(jì)表明，搜索引擎以占網(wǎng)絡(luò)服務(wù)使用率的61.6%僅次于電子郵件的使用率，搜索引擎的重要性可見一斑。雖然目前的搜索引擎都在向智能化方向發(fā)展，但是衡量搜索引擎好壞的兩個(gè)最重要的指標(biāo)——查全率和查準(zhǔn)率，依舊是研究的

2、重點(diǎn)。本文對(duì)中文語(yǔ)義資源庫(kù)HOWNET作了研究，針對(duì)搜索引擎檢索時(shí)用戶不僅希望檢索到包含檢索關(guān)鍵詞的文檔，還希望檢索到與關(guān)鍵詞內(nèi)容相關(guān)的文檔的特點(diǎn)，比較詞語(yǔ)相似度的概念，提出了采用“動(dòng)態(tài)重心前移” 方法計(jì)算的詞語(yǔ)相關(guān)度的概念。利用詞語(yǔ)相關(guān)度對(duì)檢索關(guān)鍵詞進(jìn)行語(yǔ)義識(shí)別并聯(lián)想，在對(duì)檢索關(guān)鍵詞進(jìn)行理解的基礎(chǔ)上進(jìn)行搜索，解決了搜索引擎在搜索時(shí)只對(duì)關(guān)鍵詞進(jìn)行機(jī)械匹配的問題。然后，分析了目前搜索引擎系統(tǒng)廣泛采用基于詞頻統(tǒng)計(jì)的向量空間模型進(jìn)行文檔特征提