自然語(yǔ)言處理中介詞短語(yǔ)附著消歧問(wèn)題的研究.pdf

1、歧義是自然語(yǔ)言處理中經(jīng)常遇見的一種語(yǔ)法現(xiàn)象。當(dāng)我們?cè)趯?duì)一個(gè)句子做句法分析的時(shí)候,常常會(huì)面臨這樣一個(gè)問(wèn)題,即一個(gè)短語(yǔ)或者子句可以附著在兩個(gè)或者兩個(gè)以上的句子成員節(jié)點(diǎn)上,機(jī)器很難自動(dòng)地區(qū)分正確的附著位置。這種情況不僅出現(xiàn)在漢語(yǔ)的句法分析任務(wù)中,同時(shí)在英語(yǔ)自然語(yǔ)言分析中也會(huì)遇到。但是介詞短語(yǔ)附著消歧問(wèn)題只出現(xiàn)在英語(yǔ)或者其他的西方語(yǔ)言中。本文主要探討英語(yǔ)中經(jīng)常出現(xiàn)的介詞短語(yǔ)附著消歧問(wèn)題。很早學(xué)者們就將其看成一個(gè)模式識(shí)別任務(wù),但是對(duì)它的形式化處理

2、卻不盡相同。現(xiàn)在廣泛地將介詞短語(yǔ)附著消歧問(wèn)題簡(jiǎn)化為一個(gè)二值N和V的分類問(wèn)題,它分別對(duì)應(yīng)介詞短語(yǔ)附著于名詞和動(dòng)詞。因此我們只需要設(shè)計(jì)一個(gè)分類器就能很好地處理介詞短語(yǔ)附著消歧任務(wù)。
　　 首先,我們介紹了自然語(yǔ)言處理的國(guó)內(nèi)外研究現(xiàn)狀,以及課題研究的背景及理論基礎(chǔ)。同時(shí)概述了介詞短語(yǔ)附著消歧任務(wù)。然后我們引入了n元語(yǔ)法模型并且簡(jiǎn)單地介紹了幾種數(shù)據(jù)平滑處理方法。其次,詳細(xì)描述了語(yǔ)義消歧問(wèn)題,尤其是介詞短語(yǔ)附著消歧模型。我們介紹了目前比較

3、流行的幾種介詞短語(yǔ)附著消歧模型,例如貝葉斯模型,最大熵模型,支持向量機(jī)模型,回退模型等。而將重點(diǎn)放在我們提出的基于雙閾值直接回退模型上。我們構(gòu)建了這個(gè)模型,并將其在公共的IBM測(cè)試集合上進(jìn)行了測(cè)試,實(shí)驗(yàn)獲得了85.02％的準(zhǔn)確率和100％的召回率。我們指出很多學(xué)者將介詞短語(yǔ)附著消歧問(wèn)題看成一個(gè)獨(dú)立的任務(wù),通過(guò)使用大量的語(yǔ)料,來(lái)提升算法的性能,而這個(gè)做法并不有利于句法分析任務(wù)的解決。實(shí)驗(yàn)結(jié)果也證明該方法是一種非常有效的消歧方法,并具有理論