Web文本摘要技術(shù)的研究與應(yīng)用.pdf

1、隨著萬(wàn)維網(wǎng)的迅猛發(fā)展，用戶可在線獲得的信息量呈指數(shù)級(jí)增長(zhǎng)。面對(duì)如此浩瀚的信息，人們迫切需要尋找一條能夠快速、準(zhǔn)確獲得所需信息的途徑，因而出現(xiàn)了多種文本處理技術(shù)，包括信息檢索、文本分類、文本摘要等。 文本摘要技術(shù)因其既可以壓縮文本，減少用戶的瀏覽負(fù)擔(dān)，又可以為其他文本處理技術(shù)提供支持，逐漸成為國(guó)內(nèi)外研究的熱點(diǎn)。本文研究了以Web文本結(jié)構(gòu)為指導(dǎo)、以機(jī)械摘要為基本手段的自動(dòng)摘要方法，并對(duì)其中涉及的文本結(jié)構(gòu)分析、關(guān)鍵詞提取、摘要生成等關(guān)

2、鍵技術(shù)進(jìn)行了深入研究；然后對(duì)獲得的摘要進(jìn)行聚類處理；最后，給出實(shí)驗(yàn)結(jié)果并進(jìn)行深入分析。本文主要的研究工作包括以下幾個(gè)方面： (1)本文首先概述了Web挖掘的定義和分類，以及Web文本挖掘產(chǎn)生的背景、基本概念和應(yīng)用方向；同時(shí)闡述了自動(dòng)文本摘要的發(fā)展歷史、類型、技術(shù)和評(píng)價(jià)方法。自動(dòng)Web文本摘要是本文重點(diǎn)研究的內(nèi)容。 (2)本文在深入分析Web文本的結(jié)構(gòu)特征的基礎(chǔ)上，研究了在Java語(yǔ)言中運(yùn)用正則表達(dá)式實(shí)現(xiàn)Web文本解析的關(guān)

3、鍵技術(shù)，并給出核心實(shí)現(xiàn)過(guò)程。 (3)本文研究了基于擴(kuò)展的TF-IDF方法的摘要技術(shù)，其主要步驟包括：首先過(guò)濾停用詞，然后計(jì)算詞和句子的權(quán)重，再將句子按照權(quán)重高低排序，排在前面的若干句子按照在原文中的位置順序輸出即為該文章的摘要。經(jīng)過(guò)內(nèi)部評(píng)價(jià)，該技術(shù)獲得的摘要效果較好。 (4)本文深入研究了各種聚類方法，并對(duì)這些方法的優(yōu)缺點(diǎn)進(jìn)行總結(jié)和比較。同時(shí)給出獲得摘要的具體實(shí)驗(yàn)過(guò)程，最后對(duì)摘要采用經(jīng)典的平面分割聚類算法：K-means