基于標(biāo)簽分類內(nèi)容共享平臺的網(wǎng)頁自動文摘模型.pdf

1、近年來，隨著Internet的發(fā)展，以及網(wǎng)絡(luò)帶寬越來越大，使Internet能夠給人們的生活帶來很大的便利。比如電子商務(wù)的發(fā)展，使Internet網(wǎng)絡(luò)成為了一種新的經(jīng)濟(jì)盈利模式。但是隨著Internet網(wǎng)頁容量的逐步增大，又使得人們難以有效的利用網(wǎng)絡(luò)數(shù)據(jù)，雖然搜索引擎能夠很方便的讓人們查找有用的信息，但是目前搜索引擎基于關(guān)鍵字的搜索很難滿足大多數(shù)的要求。如何讓Internet網(wǎng)絡(luò)中的數(shù)據(jù)能夠得到聚合并且簡化，這成為了目前許多自然語言處理

2、領(lǐng)域研究者共同關(guān)注的一個(gè)話題。 隨著Web2.0的興起，對自然語言處理的要求越來越高，而基于自然語言處理的Web2.0應(yīng)用在Internet環(huán)境下取得了很大的成功，而基于標(biāo)簽分類的內(nèi)容共享系統(tǒng)作為其中的一個(gè)典型應(yīng)用，在系統(tǒng)中，用戶通過標(biāo)簽來分類管理網(wǎng)頁內(nèi)容，系統(tǒng)可以通過標(biāo)簽來統(tǒng)計(jì)出用戶的喜好，并可以看出目前流行的趨勢。在此基礎(chǔ)上搭建更好的應(yīng)用。 目前，人們使用自然語言處理對網(wǎng)頁文本進(jìn)行分類和自動文摘，這樣極大的提高了人們

3、使用網(wǎng)頁資源的效率。對網(wǎng)頁進(jìn)行歸類能夠使人們有效的整理網(wǎng)頁文檔，提高對網(wǎng)頁搜索并且利用的效率；對網(wǎng)頁的自動文摘，可以過濾掉許多我們不需要的信息，只關(guān)注網(wǎng)頁中最核心的部分，這樣極大的提供了網(wǎng)頁的利用率。 本文嘗試用一種新的基于Web2.0標(biāo)簽分類內(nèi)容共享系統(tǒng)構(gòu)建自動文摘模型。由于Web2.0標(biāo)簽分類內(nèi)容共享系統(tǒng)中標(biāo)簽信息有利于自動文摘的生成，本文在構(gòu)建自動文摘時(shí)充分利用這個(gè)特性，并對模型進(jìn)行了必要的優(yōu)化。 本文首先通過對自

4、動文摘目前的發(fā)展作出概述，并總結(jié)出網(wǎng)頁文本數(shù)據(jù)的特點(diǎn)，結(jié)合這兩點(diǎn)對目前存在的網(wǎng)頁自動文摘方法進(jìn)行剖析。在此基礎(chǔ)上結(jié)合Web2.0中標(biāo)簽概念提出本文的對網(wǎng)頁自動文摘的模型： 首先根據(jù)文獻(xiàn)[4]提出的模型對網(wǎng)頁自動文摘建立初始模型一詞頻模型。這個(gè)模型主要使用經(jīng)典的TF/IDF方法計(jì)算單詞的權(quán)重，在計(jì)算IDF時(shí)，我們使用標(biāo)簽分類內(nèi)容共享系統(tǒng)作為一個(gè)網(wǎng)頁信息的主要來源，在計(jì)算單詞權(quán)重的基礎(chǔ)上對句子進(jìn)行選擇。最后選擇權(quán)重最高的句子作為網(wǎng)頁

5、的摘要。 在詞頻模型的基礎(chǔ)上，我們對模型進(jìn)行了擴(kuò)展。網(wǎng)頁中包含了許多有用的信息，比如網(wǎng)頁標(biāo)題，網(wǎng)頁中的斜體，粗體，以及下劃線的文字都是一些有用的線索。為此我們定義了一些網(wǎng)頁數(shù)據(jù)的特征，然后利用訓(xùn)練數(shù)據(jù)對這些特征進(jìn)行訓(xùn)練，利用樸素貝葉斯公式對每個(gè)句子進(jìn)行評價(jià)。最后選擇權(quán)重最高的句子作為網(wǎng)頁的摘要。 詞頻模型以及詞頻模型的優(yōu)化都是從網(wǎng)頁本身入手，選擇出能夠代表網(wǎng)頁最重要信息的句子作為文摘。結(jié)合Web2.的標(biāo)簽概念，我們利用標(biāo)

6、簽這個(gè)外部信息來生成文摘。由于標(biāo)簽之間存在關(guān)聯(lián)，在用標(biāo)簽生成文摘模型的基礎(chǔ)上，對模型進(jìn)行了改進(jìn)，對那些統(tǒng)計(jì)意義上相關(guān)聯(lián)的標(biāo)簽進(jìn)行了統(tǒng)一評價(jià)，這樣比較客觀地對單詞進(jìn)行評價(jià)。接下來考慮到句子之間可能存在語義上的重復(fù)，我們利用余弦定理對句子進(jìn)行了消重。 利用經(jīng)典的召回率(Recall)、準(zhǔn)確率(Precision)、F1和ROUGE評價(jià)模型對文摘模型進(jìn)行評價(jià)。首先在現(xiàn)有的標(biāo)簽分類內(nèi)容共享系統(tǒng)上進(jìn)行試驗(yàn)，說明標(biāo)簽可以很好的反映出網(wǎng)頁的主