中文姓名自動(dòng)識(shí)別系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、中文命名實(shí)體或未登錄詞識(shí)別是中文信息處理的基礎(chǔ)研究課題，是文本理解、文本校對(duì)、文本主題自動(dòng)抽取、文本聚類、文本挖掘、文本過濾、信息抽取、機(jī)器翻譯等多種自然語(yǔ)言處理技術(shù)的重要基礎(chǔ)。因此，研究中文命名實(shí)體識(shí)別對(duì)提高詞法分析、句法分析、語(yǔ)義分析乃至中文信息處理的質(zhì)量有很重要的意義。 本文針對(duì)現(xiàn)代漢語(yǔ)文本，主要研究人名的自動(dòng)識(shí)別問題，我們?cè)趯?duì)大規(guī)模姓名樣本庫(kù)、姓名語(yǔ)料庫(kù)進(jìn)行統(tǒng)計(jì)的基礎(chǔ)上，將姓氏按其在真實(shí)文本中成為真姓氏的概率對(duì)姓氏進(jìn)行優(yōu)

2、先級(jí)劃分，并重點(diǎn)研究了前300個(gè)姓氏作普通單字時(shí)其上下文用字規(guī)律及姓氏的詞性規(guī)律，將局部二元統(tǒng)計(jì)語(yǔ)言模型作為基本框架，設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)中文人名自動(dòng)識(shí)別系統(tǒng)。具體地，本文的主要內(nèi)容如下： 本文首先分析了中文人名識(shí)別的困難，并對(duì)現(xiàn)有的人名識(shí)別方法進(jìn)行了簡(jiǎn)單介紹和比較；然后建立了人名樣本庫(kù)、姓氏庫(kù)、人名語(yǔ)料庫(kù)等在人名識(shí)別前所需的語(yǔ)言學(xué)資源，并對(duì)這些資源進(jìn)行統(tǒng)計(jì)分析的基礎(chǔ)上，建立了各種人名用字表、姓氏概率表、分詞詞典、人名上下文信息表、

3、姓氏用作普通單字時(shí)的上下文信息表、姓氏前綴、后綴表等人名識(shí)別過程中所需的數(shù)據(jù)資源。然后對(duì)姓氏按優(yōu)先級(jí)進(jìn)行分類，并通過3σ法則建立優(yōu)先級(jí)閾值庫(kù)；利用局部二元統(tǒng)計(jì)語(yǔ)言模型對(duì)人名識(shí)別問題進(jìn)行建模，并給出各個(gè)優(yōu)先級(jí)的姓氏的識(shí)別規(guī)則。最后，我們?cè)O(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于局部二元統(tǒng)計(jì)模型的中文人名自動(dòng)識(shí)別系統(tǒng)。 實(shí)驗(yàn)結(jié)果表明，本文提出的人名識(shí)別模型能夠獲得較為滿意的結(jié)果。對(duì)98年1月《人民日?qǐng)?bào)》26日～31日的語(yǔ)料進(jìn)行的開放測(cè)試，在調(diào)整閾值參數(shù)c