漢語(yǔ)句群自動(dòng)劃分方法及其在自動(dòng)文摘中的應(yīng)用.pdf

1、計(jì)算機(jī)在處理文本時(shí)，在句子和篇章之間存在著明顯的語(yǔ)義鴻溝。句群是介于句子和篇章的語(yǔ)法單位，可以有效地降低語(yǔ)義鴻溝帶來(lái)的不利影響。因而如何從篇章中劃分出句群成為研究者面對(duì)的重要問(wèn)題。同時(shí)，隨著網(wǎng)絡(luò)時(shí)代 Internet的廣泛普及，電子文本信息的迅速增加，如何從海量信息中自動(dòng)獲取人們感興趣的信息焦點(diǎn)成為人們的迫切需求，因而自動(dòng)文摘也成為了自然語(yǔ)言處理中的熱點(diǎn)問(wèn)題。
　　基于以上考慮，本文主要做了以下研究工作。
　　首先，本文對(duì)句

2、群劃分和自動(dòng)文摘的發(fā)展現(xiàn)狀進(jìn)行詳細(xì)的闡述。論文總結(jié)了句群劃分的依據(jù)，回顧了基于HNC的句群劃分方法以及基于層次聚類的句群劃分方法并對(duì)其優(yōu)缺點(diǎn)進(jìn)行了分析。同時(shí)介紹了本文所涉及的關(guān)鍵技術(shù)，包括文本的向量表示方法以及文本的聚類方法。
　　其次，針對(duì)目前句群劃分缺乏計(jì)算語(yǔ)言學(xué)數(shù)據(jù)支持、忽略篇章銜接詞的問(wèn)題以及當(dāng)前篇章分析較少研究句群語(yǔ)法單位的現(xiàn)象，本文提出了一種基于多元判別分析的漢語(yǔ)句群自動(dòng)劃分方法。論文以漢語(yǔ)句群理論為指導(dǎo)，構(gòu)建漢語(yǔ)句群

3、劃分標(biāo)注評(píng)測(cè)語(yǔ)料，并且基于多元判別分析(Multiple Discriminant Analysis，MDA)方法設(shè)計(jì)了一組評(píng)價(jià)函數(shù)J，從而實(shí)現(xiàn)句群的自動(dòng)劃分。本文還考慮了篇章銜接詞因素以提高句群劃分質(zhì)量。結(jié)果表明，本文方法比原始MDA方法在句群劃分上有更大優(yōu)勢(shì)，其句群劃分性能更優(yōu)，是一種可行的方法。
　　最后，自動(dòng)文摘以句子為基本處理粒度時(shí)，容易造成信息冗余和流暢性差的情況，針對(duì)這點(diǎn)本文提出一種基于漢語(yǔ)句群自動(dòng)劃分技術(shù)的自動(dòng)文摘