基于子模函數(shù)的自動(dòng)摘要研究.pdf

1、隨著信息時(shí)代的到來(lái)，網(wǎng)絡(luò)信息爆炸式增長(zhǎng)，導(dǎo)致了各搜索引擎數(shù)據(jù)過(guò)載現(xiàn)象嚴(yán)重。如何快速有效地挖掘有用的知識(shí)，特別是提取網(wǎng)民對(duì)事件的情感、意見(jiàn)和態(tài)度等已成為重要的研究課題。文摘摘要技術(shù)是解決信息過(guò)載問(wèn)題的關(guān)鍵手段之一，其目的是利用計(jì)算機(jī)自動(dòng)地對(duì)給定的原始文檔或者文檔集進(jìn)行摘要提取，生成一個(gè)簡(jiǎn)短連貫又涵蓋原文核心內(nèi)容的表述形式。
　　然而，自動(dòng)摘要研究是一項(xiàng)具有挑戰(zhàn)性的任務(wù)。在其相關(guān)研究中，需要處理和解決冗余性、時(shí)間維度、句子排序和摘要優(yōu)

2、化等多個(gè)問(wèn)題，這導(dǎo)致了文本摘要任務(wù)的復(fù)雜性，尤其是生成式摘要。目前，摘要質(zhì)量的優(yōu)化是自動(dòng)文摘中最為關(guān)鍵的問(wèn)題之一，其中最大邊界相關(guān)算法(MMR)、整型線性規(guī)劃(ILP)都是優(yōu)化摘要質(zhì)量的經(jīng)典方法。近年來(lái)，基于子模函數(shù)的摘要優(yōu)化方法逐漸成為本領(lǐng)域的研究熱點(diǎn)，它可以在有限的時(shí)間內(nèi)以最優(yōu)或接近最優(yōu)的方式解決組合優(yōu)化問(wèn)題。本文介紹了一種基于子模函數(shù)的文檔摘要句子選擇和優(yōu)化的研究方法，在特定約束條件下，采用貪婪算法可以解決單調(diào)的子模函數(shù)最大化問(wèn)題

3、，使得生成的機(jī)器摘要以常數(shù)因子接近理想的標(biāo)準(zhǔn)摘要。具體工作主要包括以下兩點(diǎn):
　　第一，提出了一種聯(lián)合子模函數(shù)的多文本摘要優(yōu)化選擇的改進(jìn)方法。該方法首先以句子作為結(jié)點(diǎn)，以句子對(duì)之間的聯(lián)系作為邊構(gòu)建無(wú)向圖。同時(shí)考慮文本內(nèi)容相關(guān)性和多樣性構(gòu)建摘要選擇集合函數(shù)，進(jìn)行線性組合，采用貪婪算法選擇句子優(yōu)化摘要結(jié)果。此外，在傳統(tǒng)TFIDF余弦相似度計(jì)算基礎(chǔ)上，充分利用詞的語(yǔ)義關(guān)系，分別從基于WordNet語(yǔ)義和基于WMD轉(zhuǎn)移距離對(duì)句子相似度計(jì)算

4、進(jìn)行了改進(jìn)。在標(biāo)準(zhǔn)的多文檔摘要任務(wù)數(shù)據(jù)集DUC2004上進(jìn)行實(shí)驗(yàn)驗(yàn)證了方法的可行性和有效性。
　　第二，提出了一種基于子模函數(shù)的觀點(diǎn)摘要研究的改進(jìn)方法。該方法首先利用基于WordNet語(yǔ)義傳播算法構(gòu)建關(guān)于電影Aspect的本體樹(shù)，進(jìn)行評(píng)論句子分類。然后構(gòu)建一類具有子模特性的目標(biāo)函數(shù)來(lái)達(dá)到文本客觀內(nèi)容（含內(nèi)容相關(guān)性和多樣性）與主觀情感（情感的覆蓋性）之間的平衡，采用基于貪婪算法的局部枚舉方式抽取重要句子構(gòu)成摘要候選集?；谖覀兊姆椒?/p>