基于不同特征權(quán)重的中文網(wǎng)頁自動摘要.pdf

1、文檔的自動文摘是自然語言理解領(lǐng)域中的一個重要的研究方向。近年來，隨著互聯(lián)網(wǎng)的普及，網(wǎng)上的信息越來越多，為人們提供了豐富的信息資源。在數(shù)量龐大的網(wǎng)頁中瀏覽自己需要的內(nèi)容，會花掉很多時間，而用戶關(guān)心的只是其中的一小部分。通過搜索引擎能幫助用戶獲得所有與主題相關(guān)的頁面，但返回的頁面太多，而且有大量是重復(fù)和相似的，這樣人們就不能快速獲得自己真正所需要的信息。網(wǎng)頁自動文摘技術(shù)研究的目標(biāo)正是力求解決這一問題，直接給用戶提供簡潔的、信息全面的頁面內(nèi)容

2、的概要，以提高用戶獲取信息的效率。 基于句子抽取的方法是一個歷史悠久、簡單有效且目前仍然被廣泛使用的自動文摘方法。這種方法是利用統(tǒng)計學(xué)的方法或者通過啟發(fā)式的方法從原文中抽取句子，然后按照長度要求將這些句子有機(jī)結(jié)合起來形成一篇文摘，使其盡可能多地保留原文中的信息。本文研究的重點是基于句子抽取的單篇中文網(wǎng)頁自動摘要的幾個關(guān)鍵技術(shù)。包括網(wǎng)頁預(yù)處理、挖掘關(guān)鍵詞串、句子權(quán)重的計算等。 在摘要分析之前，需要對網(wǎng)頁文件做預(yù)處理。在一篇

3、HTML文檔中，有很多和頁面正文內(nèi)容無關(guān)的語句，需要將它們過濾掉。使摘要分析的時候可以縮小掃描范圍，而且得到更準(zhǔn)確的正文內(nèi)容。 挖掘關(guān)鍵詞串在摘要過程中起著重要的作用。本文提出用頻繁序列挖掘的方法提取關(guān)鍵詞串。首先用改進(jìn)的PAT樹技術(shù)為文本創(chuàng)建一個樹存儲結(jié)構(gòu)，然后結(jié)合凈頻率計算方法挖掘出頻繁出現(xiàn)的字串作為關(guān)鍵字串。實驗表明，序列挖掘方法能從中文網(wǎng)頁中更好地識別出人名地名，網(wǎng)頁中出現(xiàn)的新詞，以及常用動名詞詞組，名詞詞組等。