基于微博中嵌套命名實(shí)體識(shí)別的研究.pdf

1、伴隨著中國(guó)互聯(lián)網(wǎng)建設(shè)的不斷完善及發(fā)展，網(wǎng)絡(luò)逐漸滲透進(jìn)社會(huì)各行各業(yè)和人們生活各方各面。多樣化的互聯(lián)網(wǎng)應(yīng)用為我們帶來(lái)巨大的便捷性，許多網(wǎng)民通過(guò)互聯(lián)網(wǎng)進(jìn)行網(wǎng)上社交娛樂(lè)、購(gòu)物支付等。網(wǎng)絡(luò)社交平臺(tái)，如Twitter、新浪微博等，已經(jīng)成為眾多網(wǎng)民間溝通交流、獲取信息的重要媒介與途徑。人們利用這類(lèi)社交平臺(tái)發(fā)表、分享自己感興趣的文字、圖片、視頻等信息。然而隨之帶來(lái)的是每天海量數(shù)據(jù)的產(chǎn)生，如何從這些大規(guī)模數(shù)據(jù)中提取有用的信息，并運(yùn)用這些信息知識(shí)帶動(dòng)社會(huì)的

2、發(fā)展與進(jìn)步，顯得尤為重要，也是數(shù)據(jù)挖掘領(lǐng)域的一大新的挑戰(zhàn)。
　　當(dāng)前，嵌套命名實(shí)體識(shí)別作為命名實(shí)體識(shí)別任務(wù)的主要組成部分，是許多科學(xué)研究（如：?jiǎn)柎鹣到y(tǒng)、知識(shí)圖譜、人工智能等）中最為基礎(chǔ)、核心的技術(shù)之一，并且其相關(guān)識(shí)別方法成果在實(shí)際生活中也具有廣泛的應(yīng)用。中文的復(fù)雜性導(dǎo)致在文本內(nèi)往往存在著較多的嵌套命名實(shí)體?，F(xiàn)有的命名實(shí)體識(shí)別方法能夠較好的識(shí)別出結(jié)構(gòu)相對(duì)簡(jiǎn)單的基本命名實(shí)體，但對(duì)于結(jié)構(gòu)復(fù)雜的嵌套命名實(shí)體卻很難完整地、準(zhǔn)確地識(shí)別出來(lái)，再

3、加上現(xiàn)有方法多集中于常規(guī)文本中的命名實(shí)體識(shí)別研究。
　　針對(duì)微博中嵌套命名實(shí)體的提取，本文在分析其層次結(jié)構(gòu)的基礎(chǔ)上，將嵌套命名實(shí)體的識(shí)別任務(wù)拆分為兩個(gè)部分，并通過(guò)合理構(gòu)建特征庫(kù)、外部語(yǔ)義知識(shí)庫(kù)以及特征模板等手段進(jìn)行微博中嵌套命名實(shí)體的識(shí)別。本文的主要研究?jī)?nèi)容包含以下幾點(diǎn)：
　　1.本文在對(duì)嵌套命名實(shí)體的結(jié)構(gòu)分析基礎(chǔ)上，給出其獨(dú)有的5種層次結(jié)構(gòu)特征類(lèi)型，并認(rèn)為嵌套命名實(shí)體的識(shí)別在結(jié)構(gòu)相對(duì)簡(jiǎn)單的基本命名實(shí)體識(shí)別之后更加合適。因此

4、，本文提出了一種基于層疊條件隨機(jī)場(chǎng)模型的微博中嵌套命名實(shí)體識(shí)別方法，該方法將識(shí)別任務(wù)劃分為兩個(gè)階段：首先在一個(gè)條件隨機(jī)場(chǎng)模型解決結(jié)構(gòu)相對(duì)簡(jiǎn)單的人名、地名以及機(jī)構(gòu)名等基本命名實(shí)體的識(shí)別，然后將識(shí)別結(jié)果傳遞到另一個(gè)條件隨機(jī)場(chǎng)模型中為實(shí)現(xiàn)對(duì)嵌套命名實(shí)體的識(shí)別提供決策依據(jù)。
　　2.本文提出了一種基于詞性標(biāo)記的嵌套命名實(shí)體特征詞自動(dòng)提取算法，構(gòu)建嵌套命名實(shí)體特征庫(kù)。同時(shí)，本文針對(duì)特征詞重要度這一個(gè)概念，提出了自己的改進(jìn)方法。除此之外，本文

5、人工地構(gòu)建一個(gè)外部語(yǔ)義知識(shí)庫(kù)，使得識(shí)別模型能夠獲取到足夠豐富的信息來(lái)進(jìn)行判別。
　　3.本文針對(duì)層疊條件隨機(jī)場(chǎng)中的低層與高層條件隨機(jī)場(chǎng)識(shí)別模型，分別構(gòu)建出合適的特征模板集合，并提出一種基于特征重要度的特征模板選取策略，提高識(shí)別模型的整體識(shí)別效果。
　　4.最后，本文通過(guò)對(duì)比實(shí)驗(yàn)的方式，比較了不同窗口大小對(duì)識(shí)別過(guò)程中的精確率、召回率以及F值的差異影響，最終選定識(shí)別模型中合適的窗口大小。此外，最終實(shí)驗(yàn)結(jié)果證明本文提出的基于層疊條