漢語(yǔ)文本主題分析技術(shù)的研究與實(shí)現(xiàn).pdf

1、在當(dāng)今全球信息一體化的時(shí)代，網(wǎng)絡(luò)資源的不斷增長(zhǎng)提供給人們的電子文本信息越來(lái)越多。人們能從這些文本信息中獲取大量的知識(shí)或技能，但又面臨著信息太多而時(shí)間不夠的問(wèn)題。雖然目前有很多搜索網(wǎng)站，人們可以通過(guò)搜索關(guān)鍵詞的方式來(lái)查找相關(guān)信息，但搜索出來(lái)的信息量依然太多，往往只有人們閱讀完文本后才發(fā)現(xiàn)不是所需要的信息。因此，如何能有效地對(duì)文本進(jìn)行主題分析成為迫切需要解決的問(wèn)題。
　　本文針對(duì)文本主題分析技術(shù)中的主題分割和主題識(shí)別展開了研究，主要包

2、括以下幾部分工作：
　　首先，分析了當(dāng)前文本主題分析技術(shù)的研究現(xiàn)狀、相關(guān)的概念與現(xiàn)有的技術(shù)，并分析了自然語(yǔ)言處理中常用的評(píng)價(jià)方法如何在文本主題分析中得到使用。
　　其次，本文提出了基于SVO的段落相似度計(jì)算方法，并將該方法應(yīng)用到文本主題分割中。接著，提出了基于關(guān)鍵句的文本主題識(shí)別方法。該方法是基于文本主題分割后的結(jié)果，對(duì)每個(gè)相對(duì)獨(dú)立的主題文本塊進(jìn)行主題識(shí)別，找出適合做文本塊主題的關(guān)鍵句，并將其進(jìn)行處理使得關(guān)鍵句語(yǔ)義完整。將這

3、種主題分割和主題識(shí)別的方法統(tǒng)稱為基于統(tǒng)計(jì)的文本主題分析技術(shù)。實(shí)驗(yàn)結(jié)果表明該技術(shù)在文本主題分割中比傳統(tǒng)的建立段落向量空間模型計(jì)算連續(xù)段落相似度的方法更有效，在主題識(shí)別上找出的關(guān)鍵句在一定程度上優(yōu)于MicrosoftWord尋找的關(guān)鍵句。
　　另外，針對(duì)上面先進(jìn)行主題分割后進(jìn)行主題識(shí)別的方法導(dǎo)致主題漏識(shí)的情況，提出了統(tǒng)計(jì)與知識(shí)相結(jié)合的文本主題分析技術(shù)。該技術(shù)中使用了同義知識(shí)和主題知識(shí)，先進(jìn)行主題識(shí)別再進(jìn)行主題分割，將主題分割后的文本塊