中文新聞語料中的時間短語識別方法研究.pdf

1、 在自然語言中，時間信息是一種重要的信息，它是一個事件的重要組成部分，研究表明，它在文本信息中所占的比重僅次于專有名詞。在日常生活中，當人們閱讀一篇新聞時，他們總是要把文章的內容和時間信息聯(lián)系起來，通過文章中的時間信息可以了解一個事件的開始、進行、結束以及事件發(fā)生的頻率，把握一個事件發(fā)生的全過程，了解事件發(fā)展的前因后果，作為進一步決策的重要依據(jù)。因此，時間相關信息的處理是自然語言理解過程中一個非常重要的部分，它對于信息抽取、信息檢

2、索、問答系統(tǒng)、主題發(fā)現(xiàn)和跟蹤、文本摘要和數(shù)據(jù)挖掘領域都具有重大的意義。 本文的研究重點是明顯時間信息中的事件時間短語。在研究中，我們發(fā)現(xiàn)，通過事件和時間指示詞組合的時間短語是文本中表達明顯時間信息的短語，我們把它定義為事件時間短語，它在新聞語料中大量的出現(xiàn)。 本文的主要工作如下：1.確定識別時間短語的類型：在分析真實語料的基礎上，以ACE(AutomationContentExtraction)評測標準ACEChines

3、eAnnotationGuidelinesforTIMEX2(Summary)為參照，確定本文識別短語的類型； 2.對文本進行預處理包括分詞、詞性標注； 3.進行語料標注，提取事件時間短語和一般時間短語的規(guī)則以及事件時間短語的邊界決策特征； 4.針對文本中不同時間短語的特點采用不同的方法識別：識別事件時間短語：本文的事件時間短語識別是一個重點內容，對它的識別采用模式匹配和決策樹相結合的方法，模式匹配的方法不僅充分

4、的分析了事件時間短語的內部特征，而且還大幅提高了事件時間短語識別的召回率；使用決策樹的方法可以通過邊界決策特征來提高事件時間短語識別的精確率； 識別一般時間短語：本文對一般時間短語采用兩步走的方法進行識別，先識別簡單時間短語，再用提取的模板規(guī)則將它們組合成復雜的時間短語，其中關鍵是對時間模板的提取，盡可能完全的涵蓋待識別的時間短語類型； 5.系統(tǒng)構建：本文構建了一個時間短語識別系統(tǒng)，使用40萬字的語料作為訓練集，對文本中