中文新聞?wù)Z料中的時間短語識別方法研究.pdf

1、 在自然語言中，時間信息是一種重要的信息，它是一個事件的重要組成部分，研究表明，它在文本信息中所占的比重僅次于專有名詞。在日常生活中，當(dāng)人們閱讀一篇新聞時，他們總是要把文章的內(nèi)容和時間信息聯(lián)系起來，通過文章中的時間信息可以了解一個事件的開始、進(jìn)行、結(jié)束以及事件發(fā)生的頻率，把握一個事件發(fā)生的全過程，了解事件發(fā)展的前因后果，作為進(jìn)一步?jīng)Q策的重要依據(jù)。因此，時間相關(guān)信息的處理是自然語言理解過程中一個非常重要的部分，它對于信息抽取、信息檢

2、索、問答系統(tǒng)、主題發(fā)現(xiàn)和跟蹤、文本摘要和數(shù)據(jù)挖掘領(lǐng)域都具有重大的意義。 本文的研究重點(diǎn)是明顯時間信息中的事件時間短語。在研究中，我們發(fā)現(xiàn)，通過事件和時間指示詞組合的時間短語是文本中表達(dá)明顯時間信息的短語，我們把它定義為事件時間短語，它在新聞?wù)Z料中大量的出現(xiàn)。 本文的主要工作如下：1.確定識別時間短語的類型：在分析真實(shí)語料的基礎(chǔ)上，以ACE(AutomationContentExtraction)評測標(biāo)準(zhǔn)ACEChines

3、eAnnotationGuidelinesforTIMEX2(Summary)為參照，確定本文識別短語的類型； 2.對文本進(jìn)行預(yù)處理包括分詞、詞性標(biāo)注； 3.進(jìn)行語料標(biāo)注，提取事件時間短語和一般時間短語的規(guī)則以及事件時間短語的邊界決策特征； 4.針對文本中不同時間短語的特點(diǎn)采用不同的方法識別：識別事件時間短語：本文的事件時間短語識別是一個重點(diǎn)內(nèi)容，對它的識別采用模式匹配和決策樹相結(jié)合的方法，模式匹配的方法不僅充分

4、的分析了事件時間短語的內(nèi)部特征，而且還大幅提高了事件時間短語識別的召回率；使用決策樹的方法可以通過邊界決策特征來提高事件時間短語識別的精確率； 識別一般時間短語：本文對一般時間短語采用兩步走的方法進(jìn)行識別，先識別簡單時間短語，再用提取的模板規(guī)則將它們組合成復(fù)雜的時間短語，其中關(guān)鍵是對時間模板的提取，盡可能完全的涵蓋待識別的時間短語類型； 5.系統(tǒng)構(gòu)建：本文構(gòu)建了一個時間短語識別系統(tǒng)，使用40萬字的語料作為訓(xùn)練集，對文本中