基于CRF模型的漢語(yǔ)介詞短語(yǔ)識(shí)別.pdf

1、介詞短語(yǔ)是漢語(yǔ)中一種重要的短語(yǔ)類(lèi)型。介詞短語(yǔ)識(shí)別可以縮小句子中心動(dòng)詞的選擇范圍；可以簡(jiǎn)化句子結(jié)構(gòu)，降低后續(xù)句法分析的難度；在基于模板的翻譯中，它還能為模板匹配提供方便。 本文首先指出了當(dāng)前完全語(yǔ)法分析的困難，并介紹了介詞短語(yǔ)識(shí)別的研究現(xiàn)狀及技術(shù)路線，提出了漢語(yǔ)介詞短語(yǔ)識(shí)別的重要性和可行性。在研究過(guò)程中，本文繼承了Church提出的把BaseNP識(shí)別看作詞性標(biāo)注同構(gòu)問(wèn)題的思想，嘗試在淺層句法分析這個(gè)階段識(shí)別介詞短語(yǔ)。由于CRF具有

2、表達(dá)元素長(zhǎng)距離依賴(lài)性和交疊性特征的能力，并且介詞短語(yǔ)的平均詞長(zhǎng)比較長(zhǎng)，決定采用CRF模型來(lái)識(shí)別介詞短語(yǔ)。首先考慮采用基于CRF單層模型來(lái)識(shí)別介詞短語(yǔ)，在實(shí)驗(yàn)分析中發(fā)現(xiàn)嵌套介詞短語(yǔ)、跨越分句的介詞和有歧義的介詞短語(yǔ)識(shí)別錯(cuò)誤導(dǎo)致整個(gè)識(shí)別精確率不高，后面兩類(lèi)介詞短語(yǔ)識(shí)別難度較大，不重點(diǎn)研究。本文只針對(duì)嵌套介詞短語(yǔ)識(shí)別錯(cuò)誤提出了一種基于CRF的層次結(jié)構(gòu)來(lái)識(shí)別介詞短語(yǔ)。據(jù)統(tǒng)計(jì)發(fā)現(xiàn)，在大量文本出現(xiàn)的都是兩層嵌套，三層嵌套在文本中的比例很少，所以只需

3、用基于CRF雙層模型來(lái)識(shí)別介詞短語(yǔ)。第一層CRF識(shí)別無(wú)嵌套介詞短語(yǔ)和嵌套介詞短語(yǔ)的內(nèi)層部分，第二層CRF識(shí)別嵌套介詞短語(yǔ)的外層部分，之后將兩層結(jié)果合并，最后用規(guī)則進(jìn)行后續(xù)處理。 實(shí)驗(yàn)表明，利用基于CRF雙層模型的方法來(lái)識(shí)別中文介詞短語(yǔ)是有效的；系統(tǒng)使用含有7000余個(gè)介詞短語(yǔ)的2000年人民日?qǐng)?bào)語(yǔ)料的開(kāi)放測(cè)試精確率達(dá)到90.08％。和當(dāng)前同類(lèi)文獻(xiàn)相比，本識(shí)別系統(tǒng)取得比較好的識(shí)別結(jié)果。由于介詞短語(yǔ)結(jié)構(gòu)上和動(dòng)詞短語(yǔ)有相似之處，它的研