基于信息抽取和語義相似度的多文檔自動文摘技術研究.pdf

1、隨著網(wǎng)絡信息的海量增長，從海量文本中提取摘要成為自然語言處理研究的熱點課題。半個多世紀以來，學者從不同角度出發(fā)，提出不同的解決方法，并舉出適當?shù)姆独?。本文主要研究的是基于信息抽取的自動文摘，并且引入WordNet與空間向量模型進行句子相似度計算。
　　基于信息抽取的自動文摘技術是從文本中抽取重要內容生成文摘。因為一般生成的文摘都有字數(shù)限制，這就需要選擇具有較強概括力的句子構成文摘。本文首先從文本中抽取五個基本特征:句子長度、詞頻、

2、句子位置、線索詞以及標題詞匯;然后根據(jù)這五個特征給文檔中每個句子評分，按照得分從高到低將句子依次排序，得分高的句子就作為生成文摘的候選句。
　　本文將語義相似度應用到自動文摘任務中。語義相似度是評價詞匯之間相互關聯(lián)程度的一種度量方式。本文采用兩種方式計算句子相似度:其一是引入WordNet;其二是使用空間向量模型。通過WordNet計算詞匯相似度采用兩種方式:Path和Lch。大部分詞匯都包含多種詞義，針對多義詞分兩種情況處理:一

3、是只考慮第一個語義，二是考慮多個語義。這樣設計的優(yōu)點是，可以測試出各種情況下最后文摘的質量，分析出直接影響文摘質量的因素。使用兩種空間向量模型的度量方法，一是余弦度量法，二是Dice系數(shù)度量法。通過兩種不同的方式計算句子之間的語義相似度，得到的結果是模糊相似矩陣。這個矩陣中的每個元素代表了兩個句子之間的相互關聯(lián)程度，還需要將其具體分類，從每個分類中擇優(yōu)選擇句子生成文摘。本文使用編網(wǎng)法，對模糊相似矩陣分類。通過實驗結果，可以清晰的看出，將