文本自動標(biāo)引方法研究與實(shí)現(xiàn).pdf

1、隨著計(jì)算機(jī)的普及和互聯(lián)網(wǎng)的飛速發(fā)展，互聯(lián)網(wǎng)上的信息資源數(shù)量正呈爆炸性的增長，用戶從互聯(lián)網(wǎng)上獲取信息資源也日漸成為主要的信息交流渠道。但互聯(lián)網(wǎng)上的信息資源良莠不齊，且只定位資源的地址不定位資源的內(nèi)容，用戶通過搜索引擎獲得的通常是大量的、無序的、無關(guān)的信息。為了提高信息資源查詢的效率，對信息資源內(nèi)容進(jìn)行多維度標(biāo)引，實(shí)現(xiàn)統(tǒng)一內(nèi)容定位的需求越來越強(qiáng)烈。 本文的研究工作就是圍繞信息資源的多維度標(biāo)引方法而展開的，從最簡單的文本入手研究自動標(biāo)

2、引的方法，主要研究以下三個問題：一是研究具有較高效率的自動分詞方法；二是研究較準(zhǔn)確權(quán)重加權(quán)統(tǒng)計(jì)分詞方法；三是研究提高潛在語義標(biāo)引模型檢索效果的改進(jìn)方法。 針對第一個問題，本文對現(xiàn)有的基于機(jī)械匹配分詞的經(jīng)典算法進(jìn)行分析，結(jié)合中的最大正向匹配法、逐字遍歷法和首字索引法，定義了逐字逐詞遍歷分詞方法，并通過實(shí)驗(yàn)驗(yàn)證逐字逐詞遍歷分法在詞的切分速度較優(yōu)。 針對第二個問題，本文將詞頻與詞所在的位置作為加權(quán)因素，定義了詞頻詞位非線性統(tǒng)計(jì)