2023年全國(guó)碩士研究生考試考研英語(yǔ)一試題真題(含答案詳解+作文范文)_第1頁(yè)
已閱讀1頁(yè),還剩63頁(yè)未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

1、作為信息抽取的基本任務(wù),也是重要任務(wù)之一,命名實(shí)體識(shí)別已經(jīng)成為自然語(yǔ)言處理的研究熱點(diǎn)之一。從1998年開始,由美國(guó)國(guó)防高級(jí)研究計(jì)劃委員會(huì)資助的消息理解會(huì)議就把命名實(shí)體識(shí)別當(dāng)作它的子任務(wù)之一,并明確定義命名實(shí)體包括1.實(shí)體(組織名、人名、地名);2.時(shí)間表達(dá)式(日期、時(shí)間);3.數(shù)字表達(dá)式(貨幣值、百分?jǐn)?shù))。之后的自動(dòng)內(nèi)容抽取評(píng)測(cè)更加拓寬的命名實(shí)體識(shí)別的范圍,把實(shí)體的提及、實(shí)體之間的關(guān)系都列為考察內(nèi)容。 從2003年開始,計(jì)算語(yǔ)言

2、協(xié)會(huì)下屬的中文特別興趣小組發(fā)起了中文分詞和命名實(shí)體識(shí)別競(jìng)賽中,到2007年已經(jīng)舉辦四次。前兩次只在中文分詞任務(wù)上展開評(píng)測(cè),后兩次加入了中文命名實(shí)體識(shí)別評(píng)測(cè)。SIGHAN定義中文命名實(shí)體包括人名、地名、機(jī)構(gòu)名和地理信息名等四種,命名實(shí)體識(shí)別就是在未分詞的語(yǔ)料中識(shí)別這四種實(shí)體的過程。 本文以SIGHAN競(jìng)賽的命名實(shí)體定義和評(píng)測(cè)標(biāo)準(zhǔn)為依據(jù),提出了一種基于統(tǒng)計(jì)機(jī)器學(xué)習(xí)的兩階段命名實(shí)體識(shí)別方法,把命名實(shí)體識(shí)別分為邊界檢測(cè)和類型識(shí)別兩個(gè)階段

3、,針對(duì)兩個(gè)階段的特點(diǎn)選取不同的機(jī)器學(xué)習(xí)方法,在幾乎不損失精度的情況下大大減小了訓(xùn)練所需的時(shí)間復(fù)雜度和空間復(fù)雜度,這對(duì)訓(xùn)練代價(jià)特別大的條件隨機(jī)場(chǎng)模型有著尤其重要的意義。 兩階段中文命名實(shí)體識(shí)別的過程是:首先進(jìn)行實(shí)體邊界檢測(cè),邊界檢測(cè)可以轉(zhuǎn)化為一個(gè)序列標(biāo)注問題,因此選用可以融入豐富特征并無(wú)標(biāo)記偏置問題的條件隨機(jī)場(chǎng)模型;然后使用最大熵模型進(jìn)行實(shí)體類型識(shí)別,因?yàn)樗蠞M足已知約束情況下不對(duì)未知事物做出任何推斷的哲學(xué)原理,并且在許多自然語(yǔ)

4、言處理任務(wù)上有出色表現(xiàn)。 在進(jìn)行邊界檢測(cè)時(shí):第一,對(duì)比了常見的六種標(biāo)記集,實(shí)驗(yàn)結(jié)果顯示了同時(shí)強(qiáng)調(diào)實(shí)體開頭和結(jié)尾的BIOE標(biāo)記集有最好的性能;第二,對(duì)比了不同特征模板窗口大小對(duì)邊界檢測(cè)效果的影響,實(shí)驗(yàn)證明窗口數(shù)過大或過小都不好,過小的窗口可能損失上下文信息,而過大的窗口又會(huì)造成特征量過大,使訓(xùn)練代價(jià)提高,且會(huì)造成數(shù)據(jù)稀疏。 在進(jìn)行類型識(shí)別時(shí)將所用特征歸為兩類,與實(shí)體本身相關(guān)的本地特征和與上下文相關(guān)的全局特征。本地特征只包含

5、實(shí)體本身用字信息,而全局特征包含實(shí)體所處上下文用字的信息。把特征分成這兩類的目的是考察實(shí)體本身和上下文用字對(duì)實(shí)體類型的區(qū)分性。實(shí)驗(yàn)結(jié)果發(fā)現(xiàn),僅僅使用本地特征就可以取得很好的效果。分析原因發(fā)現(xiàn)同一實(shí)體在不同上下文中呈現(xiàn)不同類別的混淆現(xiàn)象很少,因此只使用實(shí)體本身的信息就可以很好的區(qū)別不同的實(shí)體。 接著把一階段與兩階段實(shí)體識(shí)別進(jìn)行了對(duì)比,發(fā)現(xiàn)兩階段與一階段的識(shí)別準(zhǔn)確率(F值)非常接近,略低于SIGHAN的最好結(jié)果。但兩階段的時(shí)間復(fù)雜度

溫馨提示

  • 1. 本站所有資源如無(wú)特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 眾賞文庫(kù)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

最新文檔

評(píng)論

0/150

提交評(píng)論