規(guī)則與統(tǒng)計相結(jié)合的中文命名實體識別.pdf

1、自然語言處理作為人工智能的重要研究領(lǐng)域之一，是利用計算機進行語言知識的獲取、表示以及應用的技術(shù)，為人與計算機之間的信息交流提供了更加高效、便捷的方法。由于漢語的書寫習慣，詞與詞之間的邊界標志是隱含的，對于大多數(shù)漢語處理系統(tǒng)來講，首先要做的工作就是分詞。而在實際應用中，分詞仍然受到諸多因素的制約。其中，命名實體是制約分詞精度提高的最主要原因，其識別的好壞將直接影響分詞的精度以及其后的詞性標注和句法分析的精度。另外，命名實體識別的研究還有利

2、于信息抽取、信息檢索、機器翻譯、文本分類等應用系統(tǒng)的實現(xiàn)。因此，研究命名實體的自動識別具有重要的理論意義和實踐價值。 目前，國內(nèi)外關(guān)于中文命名實體識別的研究仍然存在著識別的自動化程度不高，忽視了詞法、句法及語義信息的作用等問題，并且大部分的研究只是針對人名的識別，而對于地名和機構(gòu)名識別的研究還不夠成熟。 針對上述不足，本文以中文人名、譯名、地名和機構(gòu)名的識別為研究重點，提出了一種規(guī)則與統(tǒng)計相結(jié)合的一體化解決方案，該方案采

3、用了雙層命名實體識別模型來識別包括嵌套地名和機構(gòu)名在內(nèi)的多種命名實體。該雙層命名實體識別模型的實現(xiàn)思想是：首先，在分詞之前建立第一層命名實體識別模型，該模型由名實體檢索算法實現(xiàn)，該算法利用命名實體的特征詞，如人名的姓氏、地名的后綴詞來引發(fā)命名實體的識別，并根據(jù)詞法規(guī)則信息和命名實體的用字統(tǒng)計信息來識別部分命名實體；然后，在分詞之后所得到的N個合法分詞序列的基礎上，引入第二層命名實體識別模型——基于隱馬爾科夫的統(tǒng)計模型，該模型可以識別人名

4、、譯名、地名和機構(gòu)名，并利用第一層模型所識別出來的命名實體識別嵌套的地名和機構(gòu)名。 本文重點討論了如何在分詞之前和分詞之后分別設計和實現(xiàn)命名實體識別模型，并考慮將該雙層模型結(jié)合到己建立的漢語句法分析系統(tǒng)的分詞子系統(tǒng)中，既保證命名實體識別與并發(fā)檢索一綜合排歧分詞子系統(tǒng)的兼容性，又能夠較好地支持基于二元關(guān)系模型的漢語句法分析系統(tǒng)。 在雙層識別模型中，第一層模型能夠很好地支持第二層模型識別出復雜結(jié)構(gòu)的命名實體，二者相輔相成，很