面向招標(biāo)數(shù)據(jù)的命名實(shí)體識(shí)別方法研究及應(yīng)用.pdf

1、命名實(shí)體識(shí)別是自然語言處理和數(shù)據(jù)挖掘領(lǐng)域的熱點(diǎn)研究課題之一，隨著網(wǎng)絡(luò)數(shù)據(jù)的爆發(fā)式增長，人們對如何在海量數(shù)據(jù)中快速準(zhǔn)確獲取有意義信息的需求不斷增加。命名實(shí)體識(shí)別是關(guān)鍵信息提取的一項(xiàng)核心技術(shù)，在信息抽取、信息檢索、文本分類等多種自然語言處理的領(lǐng)域中都起著關(guān)鍵性的作用，受到研究人員的極大重視。
　　本文從中文命名實(shí)體識(shí)別的理論研究出發(fā)，針對在招標(biāo)數(shù)據(jù)中對命名實(shí)體提取和識(shí)別的迫切需求，重點(diǎn)研究在招標(biāo)數(shù)據(jù)集中命名實(shí)體提取規(guī)則的設(shè)計(jì)以及基于混

2、合模型的命名實(shí)體識(shí)別方法。構(gòu)建全國招投標(biāo)網(wǎng)絡(luò)平臺(tái)數(shù)據(jù)集，通過實(shí)驗(yàn)充分驗(yàn)證了提出方法的有效性，能夠滿足招標(biāo)數(shù)據(jù)中評(píng)審專家名、項(xiàng)目聯(lián)系人、聯(lián)系地址、招標(biāo)機(jī)構(gòu)名、代理機(jī)構(gòu)名和中標(biāo)機(jī)構(gòu)名六種命名實(shí)體提取的實(shí)際需求。本文的主要工作及研究成果包括:
　　(1)深入分析招標(biāo)數(shù)據(jù)中實(shí)體的構(gòu)成規(guī)則以及文本特征，構(gòu)建適用于識(shí)別招標(biāo)數(shù)據(jù)中命名實(shí)體的邊界規(guī)則庫和實(shí)體規(guī)則庫，采用基于規(guī)則的方法對其中的命名實(shí)體進(jìn)行識(shí)別研究。
　　(2)提出了一種基于混

3、合模型的命名實(shí)體識(shí)別方法。該方法采用二階隱馬爾可夫模型作為統(tǒng)計(jì)模型，根據(jù)模型優(yōu)化了Viterbi算法，充分利用上下文信息進(jìn)行命名實(shí)體識(shí)別。同時(shí)根據(jù)招標(biāo)數(shù)據(jù)的特點(diǎn)，在統(tǒng)計(jì)模型的基礎(chǔ)上加入基于規(guī)則的前期處理和后期校正處理，提高了命名實(shí)體識(shí)別效果。
　　(3)針對構(gòu)建的全國招投標(biāo)網(wǎng)絡(luò)平臺(tái)數(shù)據(jù)，通過三組實(shí)驗(yàn)對本文提出的基于規(guī)則的方法、基于混合模型的方法和哈工大的LTP系統(tǒng)以及中科院的NLPIR系統(tǒng)對數(shù)據(jù)集中六種命名實(shí)體的識(shí)別效果進(jìn)行驗(yàn)證。