基于同義詞詞林的自動(dòng)文摘系統(tǒng)的研究.pdf

1、進(jìn)入20世紀(jì)90年代，隨著互聯(lián)網(wǎng)的迅猛發(fā)展，信息的爆炸式增長(zhǎng)滿足了人們對(duì)信息需求的同時(shí)，也使人們快速、準(zhǔn)確地找到真正需要的信息變得更加困難。自動(dòng)文摘是解決這一問(wèn)題的一種非常有效的技術(shù)，因此目前成為了人們?nèi)找骊P(guān)注的研究熱點(diǎn)。 本文首先介紹了自動(dòng)文摘的發(fā)展歷史與研究現(xiàn)狀，并說(shuō)明了目前幾種主要的自動(dòng)文摘系統(tǒng)模型和方法：基于統(tǒng)計(jì)的機(jī)械文摘、基于理解的文摘、基于篇章結(jié)構(gòu)的自動(dòng)文摘以及它們的研究處理過(guò)程，對(duì)它們的優(yōu)點(diǎn)和缺點(diǎn)進(jìn)行了討論，歸納出

2、各自的特點(diǎn)。 接著本文對(duì)自然語(yǔ)言處理的技術(shù)基礎(chǔ)進(jìn)行了闡述。介紹了語(yǔ)料庫(kù)的發(fā)展現(xiàn)狀，并對(duì)本文所采用的來(lái)自北大計(jì)算語(yǔ)言研究所標(biāo)注的《人民日?qǐng)?bào)》語(yǔ)料庫(kù)進(jìn)行了說(shuō)明，在其基礎(chǔ)上進(jìn)行了詞典的建立，以及詞性轉(zhuǎn)移概率統(tǒng)計(jì)；介紹了本文采用的分詞切分方法：正向、逆向以及雙向結(jié)合得方法；針對(duì)出現(xiàn)的交集型切分歧義，本文采用基于互信息的消歧方法，并通過(guò)對(duì)語(yǔ)料庫(kù)中歧義現(xiàn)象的統(tǒng)計(jì)建立了歧義信息統(tǒng)計(jì)表，避免了對(duì)整個(gè)語(yǔ)料庫(kù)的重復(fù)搜索，提高了消歧的效率；詞性標(biāo)注方

3、面，本文介紹了馬爾科夫相關(guān)模型，借助其特征轉(zhuǎn)移的性質(zhì)對(duì)已切分完畢的語(yǔ)句進(jìn)行標(biāo)注，取得了很好的效果。 隨后，本文利用同義詞詞林進(jìn)行了詞語(yǔ)概念的提取，構(gòu)建文本概念的向量空間，并利用相似度的理論計(jì)算出其中的參數(shù)值，即段落重要度，從而在此基礎(chǔ)上計(jì)算出了句子的重要度，最后利用fisher分類方法對(duì)重要度較高的語(yǔ)句進(jìn)行提取，從而形成文摘。 本文嘗試將句子格作為描述句子的特征，在句法依存的基礎(chǔ)上進(jìn)行格的提取，提出了粗糙集的決策方案，并