WEB文本挖掘中關(guān)鍵問(wèn)題的研究.pdf

1、隨著互聯(lián)網(wǎng)和通訊網(wǎng)的迅猛發(fā)展，網(wǎng)絡(luò)文本成為信息的主要載體及人們生活中不可或缺的主要信息來(lái)源，文本挖掘技術(shù)的研究意義和實(shí)用價(jià)值越來(lái)越突出。另一方面，隨著Web2.0時(shí)代的到來(lái)，出現(xiàn)了越來(lái)越多的由用戶創(chuàng)作的網(wǎng)絡(luò)數(shù)字內(nèi)容。用戶數(shù)字內(nèi)容的大量產(chǎn)生和傳播使得短文本計(jì)算、Web文本信息抽取、文本情感分析等逐漸成為Web文本挖掘研究的熱點(diǎn)問(wèn)題。針對(duì)這些問(wèn)題，本文進(jìn)行了以下研究： (1)基于統(tǒng)計(jì)語(yǔ)言模型的短文本計(jì)算。針對(duì)短文本包含字符少、文本語(yǔ)

2、言不規(guī)范、文本數(shù)量巨大的特點(diǎn)，本文提出了一種基于N-gram的特征提取和RPCL(Rival Penalized Competitive Learning)的短文本聚類算法。首先進(jìn)行基于字符級(jí)的N-gram特征提取，即從未分詞的語(yǔ)料中抽取中文塊。中文塊可以是一個(gè)漢字、一個(gè)詞或者字符串，這樣，中文塊不但可以表達(dá)短文本的語(yǔ)義信息，而且能夠保留語(yǔ)序結(jié)構(gòu)和字符之間的依賴。然后通過(guò)統(tǒng)計(jì)子串約減和互信息過(guò)濾得到候選中文塊集合。最后，使用一種神經(jīng)網(wǎng)絡(luò)

3、聚類算法RPCL對(duì)短文本進(jìn)行聚類。實(shí)驗(yàn)結(jié)果表明，這種基于N-gram的特征提取和RPCL的短文本聚類算法能夠有效的對(duì)短文本聚類，并能有效的降低特征的維度。 (2)面向廣告推薦和情感分析的Web文本信息抽取。針對(duì)廣告推薦中的復(fù)合詞抽取問(wèn)題，本文提出了基于隱馬爾科夫模型的半監(jiān)督中文復(fù)合詞抽取算法。從少量種子復(fù)合詞出發(fā)，通過(guò)設(shè)定一個(gè)BEMI(Begin，End，Middle，Independent)模板，使用隱馬爾科夫模型識(shí)別與種子復(fù)

4、合詞具有相同或相似信息的復(fù)合詞。算法采用Bootstrapping的學(xué)習(xí)方法，通過(guò)自學(xué)習(xí)不斷增大復(fù)合詞列表的規(guī)模。實(shí)驗(yàn)結(jié)果表明，本算法可以滿足廣告系統(tǒng)關(guān)鍵詞推薦的信息抽取需求，并具有較高的準(zhǔn)確率和可以接受的召回率。 針對(duì)文本分析問(wèn)題中情感詞抽取的問(wèn)題，本文提出了基于最大熵和LMR(Left，Middle，Right)模板的中文情感詞抽取算法。通過(guò)對(duì)文本設(shè)定一個(gè)滑動(dòng)窗口，使用LMR模板標(biāo)記詞的位置信息，使用詞、詞的先后位置信息、詞

5、性信息作為特征，對(duì)情感詞進(jìn)行識(shí)別和抽取。實(shí)驗(yàn)結(jié)果表明，本算法具有較高的召回率和準(zhǔn)確率，同時(shí)在某些特征組合的情況下，情感詞抽取具有良好的魯棒性。 (3)基于監(jiān)督和半監(jiān)督的文本情感分類。針對(duì)網(wǎng)絡(luò)上大量流行音樂(lè)、網(wǎng)友原創(chuàng)、改編的音樂(lè)，本文提出了一種對(duì)音樂(lè)歌詞的情感分類方法。首先，通過(guò)對(duì)歌詞語(yǔ)料庫(kù)的詞進(jìn)行統(tǒng)計(jì)發(fā)現(xiàn)其分布基本符合齊夫定律，但與中文分類通用語(yǔ)料庫(kù)(863計(jì)劃文本分類測(cè)試數(shù)據(jù))中詞語(yǔ)分布略有差異。由于對(duì)歌詞表現(xiàn)的情感進(jìn)行的分類

6、不同于按照主題對(duì)普通文本的分類任務(wù)，所以需要抽取更多表現(xiàn)情感色彩的特征。本文在N元模型的框架下采取了三種不同的預(yù)處理方法(不同N-gram模板、消去停用詞、按詞性過(guò)濾)抽取更多的歌詞情感語(yǔ)義特征，并提出了帶有高斯先驗(yàn)和指數(shù)先驗(yàn)的最大熵模型的分類算法對(duì)歌詞的情感特征進(jìn)行建模。實(shí)驗(yàn)結(jié)果表明，具有高斯先驗(yàn)和指數(shù)先驗(yàn)的最大熵模型非常適合用于歌詞情感分析問(wèn)題。 針對(duì)實(shí)際的情感分類中標(biāo)注數(shù)據(jù)不足的情況，本文提出了一種基于半監(jiān)督學(xué)習(xí)的文本情感

7、分類算法。假設(shè)空間中存在一個(gè)情感流形結(jié)構(gòu)，將待分類文本看作是這個(gè)情感流形上抽樣的點(diǎn)。首先，利用這些點(diǎn)的鄰域信息進(jìn)行構(gòu)圖，每個(gè)點(diǎn)與它近鄰的邊的權(quán)重使用它的近鄰線性加權(quán)表示；然后，將該圖看作是一個(gè)概率轉(zhuǎn)移矩陣，各類別的標(biāo)簽在此矩陣上擴(kuò)散完成情感分類過(guò)程。在電影評(píng)論和中文歌詞語(yǔ)料集上的實(shí)驗(yàn)結(jié)果表明，該算法在文本情感分類上具有良好的性能。 (4)文本觀點(diǎn)檢索。以本文作者2008年參加的COAE2008中的面向主題的中文文本觀點(diǎn)檢索任務(wù)為