社會(huì)媒體網(wǎng)頁內(nèi)容分割與主題頻繁簇的抽取.pdf

1、隨著互聯(lián)網(wǎng)的普及和計(jì)算機(jī)技術(shù)的迅猛發(fā)展,Web已成為人們?nèi)粘Ｉ钪蝎@取知識(shí)、技術(shù)共享、信息交流的重要平臺(tái)。越來越多的互聯(lián)網(wǎng)用戶在博客、論壇、社區(qū)等網(wǎng)站上以文本、圖像、音樂、視頻等形式發(fā)表用戶體驗(yàn)內(nèi)容和用戶為中心的內(nèi)容,形成數(shù)據(jù)日益龐大的社會(huì)媒體。如何快速有效地從社會(huì)媒體網(wǎng)頁中獲取人們真正需要的信息成為一個(gè)亟需解決的重要課題,因此Web信息抽取技術(shù)隨之產(chǎn)生,并引起了學(xué)術(shù)界和商業(yè)領(lǐng)域越來越多的關(guān)注。
　　與傳統(tǒng)的信息資源相比,社會(huì)媒體

2、網(wǎng)頁中95％以上是非結(jié)構(gòu)化或半結(jié)構(gòu)化形式的數(shù)據(jù)型網(wǎng)頁,缺乏嚴(yán)格規(guī)范的語法結(jié)構(gòu)。由于社會(huì)媒體網(wǎng)頁的海量性、開放性、多樣性、動(dòng)態(tài)性等特點(diǎn),傳統(tǒng)的自然語言處理技術(shù)和應(yīng)用程序無法直接獲取并利用社會(huì)媒體網(wǎng)頁上的海量信息。從這些社會(huì)媒體網(wǎng)頁中抽取相關(guān)信息(如產(chǎn)品信息、論壇帖子內(nèi)容)并進(jìn)行綜合分析,能讓我們廣泛地了解當(dāng)前用戶的需求、產(chǎn)品的缺陷、社會(huì)的熱點(diǎn),具有重大的社會(huì)價(jià)值和經(jīng)濟(jì)價(jià)值。
　　目前,社會(huì)媒體站點(diǎn)大多是利用數(shù)據(jù)庫和預(yù)定義模板動(dòng)態(tài)生成

3、網(wǎng)頁。網(wǎng)頁中的不同區(qū)域分別表示菜單、導(dǎo)航、版權(quán)和內(nèi)容等部分。這些不同功能的區(qū)域所用的HTML標(biāo)記并無不同,但是,有些局部會(huì)反復(fù)出現(xiàn)。本文充分利用該類社會(huì)媒體網(wǎng)頁的上述特點(diǎn),從這些反復(fù)出現(xiàn)的局部歸納出穩(wěn)定的模式,通過所獲得的模式來自動(dòng)抽取所涉及的信息。本論文以社會(huì)媒體網(wǎng)頁為研究對(duì)象,主要針對(duì)Web信息抽取關(guān)鍵技術(shù)開展了深入系統(tǒng)的研究,提出了一種社會(huì)媒體網(wǎng)頁內(nèi)容分割與主題頻繁簇的抽取方法。
　　本論文的主要研究工作如下:1、利用k-m