基于CRFs模型的引文標(biāo)注技術(shù)研究與實(shí)現(xiàn).pdf

1、在研究論文的相互關(guān)聯(lián)或者在對不同數(shù)據(jù)源的論文進(jìn)行實(shí)體識(shí)別的過程中，論文的引文都扮演著極其重要的角色。為了對論文引文進(jìn)行實(shí)體識(shí)別或進(jìn)行其他應(yīng)用，引文序列標(biāo)注或者叫引文信息抽取是必不可少的過程。對此，學(xué)者們提出了多種方法和模型。有一種方法是基于規(guī)則的方法，通過研究人員人工觀察，總結(jié)出較為全面的并且互不矛盾的規(guī)則。這些規(guī)則通常是用正則表達(dá)式書寫的。但是，由于引文數(shù)據(jù)的不規(guī)則和多變性，基于統(tǒng)計(jì)學(xué)習(xí)模型的方法相比于其他方法花費(fèi)人工少而且精度高。在

2、各種統(tǒng)計(jì)學(xué)習(xí)模型中，條件隨機(jī)場模型(CRFs)整合了隱馬爾可夫模型(HMM)等“產(chǎn)生式”模型和最大熵馬爾可夫模型(MEMM)等“判別式”模型的優(yōu)勢，并且避免了它們固有的不足和缺陷，是被廣泛研究和使用的一種統(tǒng)計(jì)學(xué)習(xí)模型。
　　本文旨在以CRFs模型為核心，研究基于CRFs的引文標(biāo)注在模型粒度選擇和特征選取技術(shù)上的處理方案及其實(shí)現(xiàn)等問題。本文討論了在引文序列標(biāo)注過程中對文本特征的應(yīng)用，尤其是對符號特征進(jìn)行了重點(diǎn)運(yùn)用。由于認(rèn)知到兩個(gè)符號

3、之間的詞都應(yīng)該屬于同一語義，從而得到符號之間詞的標(biāo)注都應(yīng)是相同的這一結(jié)論。針對基于單詞粒度的CRFs在引文標(biāo)注過程中出現(xiàn)的一些錯(cuò)誤，提出了基于詞組粒度的CRFs引文標(biāo)注模型。本文在基于詞組粒度的CRFs模型基礎(chǔ)上，通過對特征選取形式的歸納，提出了一種系統(tǒng)的特征選取方法。本文將特征選取分為三類，并且分別給出了它們的定義和選取方法。本文實(shí)現(xiàn)了基于CRFs的引文標(biāo)注系統(tǒng)，并詳細(xì)介紹了在實(shí)現(xiàn)過程中諸多算法的實(shí)現(xiàn)，例如向前向后算法、Viterbi