中文文本聚類關(guān)鍵技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)的迅速發(fā)展，文本信息呈爆炸式增長(zhǎng)。如何從這些海量的文本信息中獲得隱含的有價(jià)值的信息成為當(dāng)今重要的研究課題之一。文本聚類技術(shù)作為文本信息挖掘的重要手段，受到了國(guó)內(nèi)外學(xué)者的高度關(guān)注。
　　本文首先介紹了文本聚類分析關(guān)鍵技術(shù)的國(guó)內(nèi)外研究現(xiàn)狀，緊接著介紹了文本聚類分析中的中文文本預(yù)處理、文本特征提取、文本建模、文本相似度計(jì)算、聚類算法等關(guān)鍵技術(shù)。其中，文本相似度計(jì)算是文本檢索中最核心的問題，而聚類算法的好壞直接影響著文本最終的聚

2、類效果。鑒于此，本文重點(diǎn)研究了文本聚類中文本相似度計(jì)算方法和聚類算法兩個(gè)關(guān)鍵技術(shù)。
　　通過研究潛在狄利克雷分配(Latent Dirichlet Allocation，LDA)主題模型及詞共現(xiàn)的相關(guān)理論，將基于詞共現(xiàn)的主題特征詞之間的文本語(yǔ)義相似性度量方法融入到LDA主題模型中，提出了一種基于LDA主題模型和詞共現(xiàn)的文本相似度計(jì)算方法。實(shí)驗(yàn)結(jié)果表明，該相似性度量方法在文本聚類的查準(zhǔn)率、查全率等方面均有所提升。
　　經(jīng)典的L

3、umer-Faieta(LF)蟻群算法存在著缺乏嚴(yán)密的數(shù)學(xué)依據(jù)，以及在聚類過程中根據(jù)先驗(yàn)知識(shí)隨意設(shè)定螞蟻放下或者拾起目標(biāo)對(duì)象概率等缺陷。為了解決這些缺陷，提出了一種集粒度計(jì)算、蟻群算法和模糊思想的模糊聚類算法GAFCM。該算法引入了模糊粒度計(jì)算的思想，通過相似度隸屬函數(shù)決定螞蟻對(duì)該對(duì)象是拾起或放下;針對(duì)模糊C均值算法（FuzzyC-Means，F(xiàn)CM)聚類結(jié)果受初始聚簇中心的影響及對(duì)離群點(diǎn)較敏感等缺點(diǎn)，用改進(jìn)的蟻群算法對(duì)文本先進(jìn)行初始聚