文本處理技術及應用.pdf

1、文本摘要、分類、聚類和檢索是文本處理領域中的重要技術。本文結合若干具體科研項目，在上述幾個方面進行了研究和探索。在文本摘要技術方面，本文實現(xiàn)了一個簡單的文本摘要工具，分析了相應算法和實驗結果，并對存在的問題進行了討論。在文本分類技術方面，本文實現(xiàn)了一個基于多詞頻關聯(lián)規(guī)則的文本分類器，并對實現(xiàn)方案提出了改進，對原方案和改進方案進行了實驗比對和實驗分析。該分類器使用的關聯(lián)規(guī)則考慮了文本數(shù)據(jù)中關鍵字重復出現(xiàn)的事實，并對訓練階段產(chǎn)生的關聯(lián)規(guī)則進

2、行修剪，采用樹形結構來組織關聯(lián)規(guī)則，分類的質量和速度均較好。在文本聚類技術方面，本文設計了一個針對BBS語料的聚類算法，用來對BBS上討論的熱點話題進行識別和跟蹤。BBS語料極其不規(guī)范并且數(shù)據(jù)量巨大，故要求算法具有良好的健壯性和良好的時間效率。實驗結果表明基于該算法的系統(tǒng)符合上述要求。在文本檢索技術方面，本文將檢索技術應用于生物信息學的序列比對領域。生物序列可以看成全文的一種，本文將全文檢索的互關聯(lián)后繼樹模型結合生物序列的精確局部比對算