基于聚類的英漢人名消歧研究.pdf

1、命名實(shí)體消歧是自然語言處理的一個(gè)重要問題，在命名實(shí)體類別中，人名具有很強(qiáng)的歧義性，導(dǎo)致人名消歧是命名實(shí)體消歧任務(wù)中較難處理的一類。人名消歧主要應(yīng)用于搜索引擎、社交網(wǎng)絡(luò)和人名知識(shí)庫構(gòu)建等。由于人名歧義問題仍存在巨大挑戰(zhàn)性，國際學(xué)術(shù)界在ACL-SemEval2007，WWW2009和CLEF2010已經(jīng)分別組織了三次英文人名消歧評(píng)測(cè)(Web People Search，WePS)，一次中文人名消歧評(píng)測(cè)(The FirstCIPS-Sigha

2、n Joint Conference on Chinese Language Processing Task3，CIPS-Sighan2010 bakeoff-3)。本文采用自底向上層次聚類(Hierarchical Agglomerative Clustering，HAC)開發(fā)了一個(gè)英文人名消歧系統(tǒng)，此外，采用兩步仿射傳播(Affinity Propagation，AP)實(shí)現(xiàn)了聚類一個(gè)中文人名消歧系統(tǒng)。
　　 本文首先重點(diǎn)介紹

3、了WePS和CIPS-Sighan2010 bakeoff-3相關(guān)工作，包括評(píng)測(cè)語料(訓(xùn)練集與測(cè)試集)、評(píng)估指標(biāo)、baseline系統(tǒng)、參賽隊(duì)伍評(píng)測(cè)情況以及常用人名消歧技術(shù)等。
　　 英文人名消歧中首先抽取出各種特征，再通過詳細(xì)實(shí)驗(yàn)選取有效的特征，然后采用融合多特征技術(shù)來提高消歧效果。本文采用比較成熟的自底向上層次聚類算法(HAC)實(shí)現(xiàn)英文人名消歧，與其它系統(tǒng)不同的是本文采用相似度函數(shù)是平均連通相似度函數(shù)。實(shí)驗(yàn)結(jié)果表明平均連通相

4、似度函數(shù)相對(duì)于單連通相似度函數(shù)的性能有所提高。
　　 中文人名消歧中采用一種跳躍距離樹算法抽取人名的上下文N-Gram字符做作為特征詞，相似度度量計(jì)算采用改進(jìn)后的詞頻-逆文檔頻率(TF*IDF)。同時(shí)該方法也解決中文分詞的問題，從而實(shí)現(xiàn)對(duì)干擾文檔的識(shí)別。對(duì)于中文人名消歧中聚類算法，本文采用兩步仿射傳播聚類算法，其中第一步保證較高的準(zhǔn)確率，第二步聚類主要提升系統(tǒng)召回率。實(shí)驗(yàn)結(jié)果顯示兩步聚類明顯提升實(shí)驗(yàn)結(jié)果，診斷測(cè)試實(shí)驗(yàn)結(jié)果說明了中