基于子主題的多文檔文摘技術(shù)的研究.pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展，人們?cè)讷@得有效信息的同時(shí)，也被越來(lái)越多的冗余信息所困擾。因此迫切需要一個(gè)幫助人們快速瀏覽工具，該工具通過(guò)對(duì)相似文檔集合的加工整理，將這些文檔的重要的、全面的信息直接提供給用戶，從而提高了人們獲取信息的效率。因此多文檔文摘的研究逐漸成為研究的熱點(diǎn)。 多文檔文摘是一種文本壓縮技術(shù)，它將同一主題的文檔進(jìn)行匯總和整理，將多文檔集合中的多次重復(fù)信息以一次出現(xiàn)在文摘中，其他與主題相關(guān)的信息根據(jù)重要性及壓縮比依次進(jìn)行抽取。

2、 本論文通過(guò)對(duì)多文檔集合的分析，打破由同一主題獨(dú)立文本組成多文檔集合的物理結(jié)構(gòu)，通過(guò)將意義相同的句子組合在一起，建立多文檔集合的子主題結(jié)構(gòu)，在此基礎(chǔ)上進(jìn)行文摘句的抽取和排序工作。與傳統(tǒng)的方法相比，具有以下優(yōu)點(diǎn)：多文檔集合以子主題的形式表示，使文摘內(nèi)容具有更好的平衡性；對(duì)子主題進(jìn)行比較和排序，按壓縮比進(jìn)行文摘句的優(yōu)化抽取，將重要信息抽取出來(lái)，使得到的多文檔文摘包含的信息簡(jiǎn)潔全面；多文檔集合子主題形式的提出為多文檔文摘的深入研究奠定基

3、礎(chǔ)。本論文著重對(duì)以下問(wèn)題進(jìn)行了研究： 1、對(duì)句子相似度計(jì)算進(jìn)行深入研究，提出了多特征融合的句子相似度計(jì)算方法。句子相似度計(jì)算是多文檔文摘的基礎(chǔ)，本文首先根據(jù)句子不同特征分別計(jì)算句子的相似度，在此基礎(chǔ)上，將這些特征進(jìn)行融合，可以更準(zhǔn)確的刻畫(huà)句子之間相似度，為下一步工作奠定基礎(chǔ)。 2、提出了根據(jù)閾值自動(dòng)確定多文檔集合子主題的方法。在句子相似度計(jì)算的基礎(chǔ)上，將相似的句子合并為一個(gè)類，每類代表一個(gè)子主題。在閾值的訓(xùn)練以及聚類的方

4、法上，分別對(duì)基于半偏相關(guān)系數(shù)為閾值的層次聚類和基于類間最小距離閾值的層次聚類進(jìn)行研究，同時(shí)根據(jù)多文檔集合相似度分布曲線，提出了描述多文檔集合的泊松分布模型。 3、提出了句子的優(yōu)化選擇方法。為了保證文摘在有限的空間要求下，盡可能覆蓋重要全面的信息，將文摘句的抽取過(guò)程分解為子主題的排序以及子主題內(nèi)的句子的優(yōu)化選擇兩個(gè)階段。文中給出了子主題打分和排序方法，最后以信息覆蓋率為優(yōu)化目標(biāo)，對(duì)子主題內(nèi)句子優(yōu)化選擇。 4、提出了多文檔文

5、摘中文摘句的排序策略及流利度評(píng)價(jià)方法。為了使用戶正確理解原文的內(nèi)容，使生成的文摘具有較好的可讀性，需要對(duì)文摘句排序方法進(jìn)行研究。本論文提出了幾種文摘句的排序方法，同時(shí)給出了流利度自動(dòng)評(píng)價(jià)方法，并將該方法與人工評(píng)價(jià)方法進(jìn)行比較，最終確定合適的排序方法。 本論文提出了針對(duì)同一主題相同時(shí)間不同網(wǎng)源的文本集合的多文檔文摘方法，是對(duì)多文檔自動(dòng)文摘初步探索，取得了一定的研究成果。多文檔文摘無(wú)論作為獨(dú)立的系統(tǒng)還是作為搜索引擎的一部分都將有廣泛