1、現(xiàn)今文本處理領(lǐng)域研究的熱點(diǎn)是如何方便用戶快速準(zhǔn)確的搜索到所需要的文本信息。文本聚類可以提高信息搜索效率,是文本檢索的有效手段。關(guān)鍵詞提取和聚類中心點(diǎn)選取是文本聚類研究中的關(guān)鍵問題。
常見的關(guān)鍵詞提取算法可分為三類,基于語義的算法、基于機(jī)器學(xué)習(xí)的算法和基于統(tǒng)計(jì)模型的算法?;谡Z義的算法提高了關(guān)鍵詞提取的準(zhǔn)確率,但是依賴于背景知識庫、詞典等,無法提取出不包含于知識庫的詞或詞組?;跈C(jī)器學(xué)習(xí)的算法提高了關(guān)鍵詞提取的準(zhǔn)確率,但是訓(xùn)練樣
2、本、構(gòu)建模型花費(fèi)時(shí)間長?;诮y(tǒng)計(jì)模型的算法原理簡單,不需要訓(xùn)練樣本,也不依賴于知識庫。常見的聚類中心的選取方式有三種,隨機(jī)選取初始聚類中心點(diǎn)、人為指定聚類中心點(diǎn)和根據(jù)待聚類點(diǎn)之間的相似度選取聚類中心點(diǎn)。隨機(jī)選取的初始聚類中心點(diǎn)中可能包含“孤立點(diǎn)”,聚類結(jié)果局部最優(yōu)。人為指定聚類中心點(diǎn)會因?yàn)槊總€(gè)人對文本集的了解程度不同而帶有主觀性,不適用于文本集數(shù)量很大的情況。根據(jù)待聚類點(diǎn)之間的相似度選取聚類中心點(diǎn),可以使得選取的聚類中心點(diǎn)分布于各個(gè)類中
3、并且盡量接近類中心點(diǎn),但是計(jì)算聚類中心所需時(shí)間較長。
針對上述問題,本文做了如下研究:
?。?)本文提出了基于詞或詞組長度和頻數(shù)的關(guān)鍵詞提取算法,算法首先提取出中文文本中出現(xiàn)頻數(shù)較大的詞或者詞組,然后根據(jù)提取出的詞或者詞組的長度和在文本中出現(xiàn)的頻數(shù)篩選出該文本的關(guān)鍵詞。與現(xiàn)有的算法相比,本文提出的算法不依賴于背景知識庫、詞典等,可以提取出文本中的音譯詞和網(wǎng)絡(luò)新詞,無需通過對訓(xùn)練樣本的訓(xùn)練獲得統(tǒng)計(jì)參數(shù),構(gòu)建模型。
4、 實(shí)驗(yàn)顯示本文提出的關(guān)鍵詞提取算法,關(guān)鍵詞提取的準(zhǔn)確率較高,提取出的關(guān)鍵詞可以反映出該文本的主題。
?。?)本文提出了基于文本之間相似度的聚類中心點(diǎn)選取算法,算法首先根據(jù)給定的文本集以及文本集中各個(gè)文本對應(yīng)的關(guān)鍵詞序列,構(gòu)建向量空間模型,接著計(jì)算各個(gè)文本與其他文本之間的相似度,最后依據(jù)各個(gè)文本與其他文本之間的相似度篩選出聚類中心點(diǎn)。與現(xiàn)有的算法相比,本文算法選取的聚類中心點(diǎn)與較多的文本之間存在相似性且相似度值較大,同時(shí)相互之間