面向網(wǎng)絡(luò)人物搜索的中文人名消歧.pdf

1、隨著互聯(lián)網(wǎng)的高速發(fā)展，網(wǎng)絡(luò)信息成爆炸式增長(zhǎng)。如何快速、準(zhǔn)確的從這些海量數(shù)據(jù)中獲得有用的信息成為了人們關(guān)注的焦點(diǎn)。目前通用搜索引擎在搜索人物上的表現(xiàn)已經(jīng)遠(yuǎn)遠(yuǎn)無(wú)法滿(mǎn)足人們的需求。如何以精準(zhǔn)的方式把用戶(hù)需要的信息呈現(xiàn)給用戶(hù)已經(jīng)是搜索引擎亟待解決的問(wèn)題。人名消歧便是解決這一問(wèn)題的核心技術(shù)。同時(shí)人名消歧在個(gè)性化搜索、自動(dòng)問(wèn)答、熱點(diǎn)人物跟蹤與發(fā)現(xiàn)等領(lǐng)域都有著廣泛的應(yīng)用。目前國(guó)內(nèi)外基于人名消歧的中文人物搜索相關(guān)研究還比較少。
　　人名消歧作為近

2、幾年剛興起的一個(gè)熱門(mén)研究方向，正受到越來(lái)越多國(guó)內(nèi)外研究學(xué)者的關(guān)注。國(guó)際上在英文人名消歧方面已取得了一定的研究成果，但由于中文信息處理的特殊性，中文人名消歧仍然存在著很多亟待解決的問(wèn)題。本文在前人的研究基礎(chǔ)上，首創(chuàng)利用構(gòu)造三層特征空間與兩階段聚類(lèi)算法相結(jié)合的策略進(jìn)行中文人名消歧。本文的研究?jī)?nèi)容主要包括以下幾個(gè)方面：
　?。?）首先對(duì)數(shù)據(jù)預(yù)處理中涉及到的技術(shù)進(jìn)行研究改進(jìn)，分別提出了基于BK樹(shù)檢索的高性能大規(guī)模網(wǎng)頁(yè)去重算法、改進(jìn)了基于分

3、布函數(shù)的網(wǎng)頁(yè)正文抽取算法、提出了基于多重預(yù)處理與CRF相結(jié)合的中文分詞算法。數(shù)據(jù)預(yù)處理將為后面的人名消歧準(zhǔn)備所需的語(yǔ)料。
　?。?）本文提出了基于三層特征空間與兩階段聚類(lèi)算法相結(jié)合的中文人名消歧。在特征選擇及構(gòu)造方面，根據(jù)不同文本特征對(duì)于區(qū)分人物作用的不同，構(gòu)建三個(gè)不同層次的特征空間，并重點(diǎn)研究了如何采用機(jī)器學(xué)習(xí)算法構(gòu)建語(yǔ)義特征，語(yǔ)義特征空間主要包括文本的領(lǐng)域?qū)傩蕴卣?、情感屬性特征、句法屬性特征和URL特征。在聚類(lèi)策略設(shè)計(jì)方法，本

4、文采用了兩階段聚類(lèi)算法。首先在全局特征空間上，利用以基本屬性序列對(duì)或唯一屬性構(gòu)建初始聚類(lèi)中心的K-means算法，對(duì)文本進(jìn)行初步聚類(lèi)，得到類(lèi)別粒度較大的類(lèi)簇。最后采用EM算法對(duì)每個(gè)類(lèi)簇再進(jìn)行二次聚類(lèi)，得到最終聚類(lèi)結(jié)果。
　?。?）結(jié)合本文提出的算法，設(shè)計(jì)并實(shí)現(xiàn)了中文人物搜索系統(tǒng)。
　　本文在CIPS-SIGHAN2010中文人名消歧語(yǔ)料集上進(jìn)行多個(gè)對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明，基于三層特征空間與兩階段聚類(lèi)相結(jié)合的中文人名消歧效果良