基于概念詞的文本特征提取及應(yīng)用研究.pdf

1、基于概念詞的文本特征提取及應(yīng)用研究重慶大學(xué)碩士學(xué)位論文學(xué)生姓名：何杰指導(dǎo)老師：朱征宇教授專業(yè)：計算機軟件與理論學(xué)科門類：工學(xué)重慶大學(xué)計算機學(xué)院二O一一年四月重慶大學(xué)碩士學(xué)位論文中文摘要I摘要當前，海量文本大部分都采用向量空間模型來描述。向量空間模型假定代表各分量的詞條間不存在語義關(guān)聯(lián)。同時，由于文本向量的高維性、稀疏性等問題，降維處理已經(jīng)成為文本特征提取中一個重要的環(huán)節(jié)。本文在知網(wǎng)語義庫的基礎(chǔ)上，提出新的詞語概念聚合方法，將語義距離較近

2、的的詞聚合成概念詞，并把概念詞作為和其他獨立的詞條一樣的單位進行處理。既滿足了向量空間模型的基本假設(shè)，又達到降維的目的。文章主要包含三塊內(nèi)容：1.概念詞識別的研究。首先，提出概念詞的定義。概念詞是指兩兩之間相似度大于閾值的詞語的集合。其次，引入圖論中的完全子圖來生成概念詞。將詞和相似關(guān)系轉(zhuǎn)化為頂點和邊的集合，從而將概念詞識別的問題轉(zhuǎn)化為完全子圖的識別問題。實驗發(fā)現(xiàn)，直接采用完全子圖識別的效果不理想。針對該問題提出“擴展假定”原則，從簡化

3、識別和合并概念詞兩個方面改進了概念詞識別算法。2.基于概念詞的文本特征提取。文本經(jīng)過預(yù)處理后，文本被表示為以詞語為特征的向量。將詞語替換為概念詞的過程中，文章提出了簡單替換策略。但該方案存在特征描述不準確的問題。從而引入概念詞的消歧研究，以解決一個概念詞中的詞在不同的文檔中出現(xiàn)而不能被準確替換為同一個概念詞的問題。文章采用LibSVM文本分類器對同一語料采用與不采用概念詞兩種方案的聚類結(jié)果進行對比。實驗表明，在降維比例達到25.8%時，