一種基于BTM主題模型的命名實(shí)體鏈接方法研究.pdf

1、隨著網(wǎng)絡(luò)資源的不斷膨脹，信息的不斷增多使得人們獲取有價(jià)值的信息變得越來越困難。而Tweets、微博等短文本的發(fā)展和流行，使得人們更加無法從中獲取更多感興趣的內(nèi)容，拓展命名實(shí)體條目的歧義問題成為研究的重點(diǎn)難點(diǎn)，命名實(shí)體鏈接技術(shù)是解決該問題的重要方法。命名實(shí)體鏈接是把文檔中給定的命名實(shí)體鏈接到知識(shí)庫中一個(gè)無歧義實(shí)體的過程，包括同義實(shí)體的合并、歧義實(shí)體的消歧等。該技術(shù)可以提升在線推薦系統(tǒng)、互聯(lián)網(wǎng)搜索引擎等實(shí)際應(yīng)用的信息過濾能力。本文針對(duì)短文本

2、內(nèi)容簡(jiǎn)短、語言隨意不規(guī)范等特性，提出了一種基于BTM主題模型的命名實(shí)體鏈接方法。
　　本文首先使用離線版維基百科來構(gòu)建命名實(shí)體知識(shí)庫，構(gòu)建同義詞表和歧義詞表。本文使用基于規(guī)則和統(tǒng)計(jì)相結(jié)合的方法，識(shí)別短文本中的命名實(shí)體。由于短文本中出現(xiàn)的命名實(shí)體的多樣性，根據(jù)知識(shí)庫中的同義詞表進(jìn)行標(biāo)準(zhǔn)化，根據(jù)歧義詞表獲取候選命名實(shí)體集合并根據(jù)命名實(shí)體上下文特性進(jìn)行剪枝，縮減候選實(shí)體集的大小，提高候選實(shí)體排序的效率。本文綜合考慮詞共同出現(xiàn)頻率與單個(gè)出

3、現(xiàn)頻率的情況，改進(jìn)了MPM詞共現(xiàn)度量只考慮共現(xiàn)頻率而不考慮單個(gè)詞出現(xiàn)頻率情況，來計(jì)算詞共現(xiàn)程度系數(shù)。其次，本文基于同一文檔下詞與命名實(shí)體具有相似的主題分布的假設(shè)，在語義層面對(duì)文檔進(jìn)行建模和實(shí)體消歧，提出了一種基于BTM主題模型的命名實(shí)體鏈接方法。該方法使用基于詞共現(xiàn)程度系數(shù)的BTM模型來對(duì)命名實(shí)體語義建模，并使用了吉普斯采樣的方法求解參數(shù)，這使得模型更加簡(jiǎn)單準(zhǔn)確，為后續(xù)處理數(shù)據(jù)提供了理論基礎(chǔ)。最后本文根據(jù)命名實(shí)體所在主題空間的位置向量與