基于統(tǒng)計(jì)與語(yǔ)義分析的多文檔自動(dòng)摘要研究.pdf

1、近年來(lái)，計(jì)算機(jī)技術(shù)的發(fā)展和互聯(lián)網(wǎng)的普及把我們帶入了信息的海洋之中，信息的增長(zhǎng)速度已經(jīng)超出了我們的想象。目前，人們主要通過(guò)搜索引擎在互聯(lián)網(wǎng)中搜索自己需要的信息，但搜索返回的結(jié)果包含了大量冗余信息，使得人們很難在短時(shí)間內(nèi)從這些信息中提取出自己感興趣的部分。多文檔文摘正是為了解決這一問(wèn)題而產(chǎn)生的一種新技術(shù)，它可以將多篇同一主題的文章進(jìn)行篩選和匯總，從中提取出簡(jiǎn)潔、全面的信息，將人們從繁瑣、冗余的信息中解脫出來(lái)。 本文在現(xiàn)有的多文檔自動(dòng)

2、摘要技術(shù)基礎(chǔ)之上，對(duì)語(yǔ)義概念抽取和聚類(lèi)算法等關(guān)鍵技術(shù)展開(kāi)研究，實(shí)現(xiàn)了一個(gè)基于統(tǒng)計(jì)和語(yǔ)義分析的多文檔自動(dòng)摘要系統(tǒng)。本文的主要研究?jī)?nèi)容和特色如下： (1)采用概念統(tǒng)計(jì)方法代替?zhèn)鹘y(tǒng)的詞頻統(tǒng)計(jì)，建立概念向量空間模型進(jìn)行多文檔摘要，減少了傳統(tǒng)VSM模型中標(biāo)引詞向量間“斜交”所帶來(lái)的影響。 (2)傳統(tǒng)的方法一般通過(guò)詞形或詞共現(xiàn)等特征進(jìn)行句子相似度的計(jì)算。本文對(duì)句子相似度計(jì)算方法進(jìn)行了改進(jìn)，通過(guò)分析句子中詞語(yǔ)之間的內(nèi)在聯(lián)系進(jìn)行計(jì)算，提

3、高了計(jì)算的準(zhǔn)確率。 (3)借助WordNet語(yǔ)義資源進(jìn)行語(yǔ)意消歧和概念樹(shù)的構(gòu)造，建立了一種樹(shù)形結(jié)構(gòu)描述文檔集合，并提出一種主題概念抽取方法，從概念樹(shù)中抽取主題概念對(duì)句子進(jìn)行加權(quán)，顯著地提高了多文檔自動(dòng)文摘的質(zhì)量。 (4)在深入研究了多文檔主題劃分技術(shù)的基礎(chǔ)上，對(duì)基于密度聚類(lèi)的OPTICS算法進(jìn)行了改進(jìn)和優(yōu)化，并將其應(yīng)用到多文檔摘要中。改進(jìn)后的方法能夠更加準(zhǔn)確的劃分文檔集合主題，使得抽取的結(jié)果更加全面。 基于統(tǒng)計(jì)和