基于知網(wǎng)的詞語聚類算法的評價方法設計與實現(xiàn).pdf

1、在自然語言處理的研究中,詞語聚類算法是被廣泛研究的課題。它在自然語言處理各個應用中均扮演十分重要的角色。詞聚類算法在文本信息檢索，機器翻譯，語音識別以及自然語言理解等相關領域都有廣泛的應用。然而在詞聚類算法的詞聚類效果評價上，目前的詞語聚類算法評價方法還存在著許多的不足。
　　目前，詞語聚類算法的評價方法主要有人工評價和機器自動評價兩種方法。人工評價費時費力，而且評價的結果往往存在很大的個人主觀性，容易產(chǎn)生偏差；而機器評價主要是在

2、空間向量模型和統(tǒng)計模型的基礎上使用歐式距離或余弦角的方法來對詞聚類結果進行評價，而沒有從語義層次上考慮詞語之間的語義關系，這導致評價結果的不理想。
　　本課題研究的目的在于在知網(wǎng)語義體系的基礎上建立語義模型，并將基于此語義模型的詞關聯(lián)度計算方法引入到詞語聚類算法的評價方法中，在語義層面上對得到的詞聚類結果進行評價，分析它們的聚類效果，進而判斷出各個詞聚類算法的聚類效果的優(yōu)劣性。
　　本文主要研究內(nèi)容有以下幾個方面：
　

3、　(1)本文采用了語義信息的量化模型，用詞矢量來表示詞語的語義信息。并且從語料庫中選出高頻的特征詞作為待聚類詞集合，并構造出待聚類詞集的詞矢量矩陣。
　　(2)分別使用基于SOM，K-means，F(xiàn)uzzy-C-Means和ART2的四個詞聚類算法對待聚類詞集合進行自動聚類，得到四個不同的聚類結果。
　　(3)在知網(wǎng)的語義模型的基礎上，將基于知網(wǎng)的詞關聯(lián)度計算方法引入到詞聚類算法的聚類結果評價上，對得到的詞聚類結果進行相對客