基于語義理解與PLSA的文本情感分類研究.pdf

1、近年來,隨著電子商務(wù),個(gè)人博客,社交網(wǎng)站和微博的蓬勃發(fā)展,互聯(lián)網(wǎng)進(jìn)入了一個(gè)嶄新的時(shí)代,廣大用戶有了發(fā)表自己意見的空間,帶有主觀色彩的言論和評(píng)價(jià)隨之鋪天蓋地而來。這些海量的非結(jié)構(gòu)化文本包含了大量的信息,企業(yè)需要從中獲得用戶對(duì)產(chǎn)品的意見,政府需要知道群眾對(duì)某項(xiàng)政策的反映,而用戶在消費(fèi)前想得到更多的建議,如何處理這些信息從而獲得我們想要的知識(shí),成為當(dāng)前學(xué)者們關(guān)注的焦點(diǎn)。情感分類是隨之興起的一個(gè)研究領(lǐng)域,它是指通過挖掘和分析文本中的立場(chǎng)、觀點(diǎn)、

2、情緒等主觀信息,對(duì)文本的情感傾向做出類別判斷,將其分為正面(positive)或負(fù)面(negative)。文本情感分類可以應(yīng)用到輿論分析、信息過濾、產(chǎn)品評(píng)價(jià)、產(chǎn)品推薦、智能化搜索和用戶興趣發(fā)掘等方面。本文的主要研究?jī)?nèi)容包括以下幾個(gè)方面:首先,本文建立了一個(gè)跨領(lǐng)域的語料庫,并在知網(wǎng)情感詞匯的基礎(chǔ)上,加入未登錄詞的情感計(jì)算,構(gòu)建了一個(gè)較為詳細(xì)的情感詞典。未登錄詞的情感計(jì)算采用基于知網(wǎng)的語義相似度計(jì)算方法,之后在詞匯傾向分析的基礎(chǔ)上進(jìn)行文本情

3、感分類;然后,提出了基于概率潛在語義分析(ProbabilisticLatentSemanticAnalysis,PLSA)的情感分類方法,該方法使用概率模型表示“文檔-潛在語義-詞”三者之間的關(guān)系,文檔和詞都可以映射到同一個(gè)語義空間中,較好地解決了多義詞和同義詞的現(xiàn)象,使用EM算法進(jìn)行迭代求解,可以大大降低時(shí)間和空間復(fù)雜度。基于語義理解的方法效率較高,但適應(yīng)性較差,每個(gè)領(lǐng)域都有各自的表述情感詞,且同樣的情感詞在不同的分類領(lǐng)域褒貶性也不

4、盡相同,另外,在漢語中,人們常常使用消極情感的間接表達(dá)(IndirectExpressionofNegativeSentiment,IENS)或“反語”修辭手法來表達(dá)負(fù)面情感,因此,基于語義理解的分類更傾向于將文本劃分到正面類別當(dāng)中;另一方面,基于PLSA的方法需要大量的人工標(biāo)注文本集,訓(xùn)練和分類時(shí)間都較長,但適用范圍較廣,由于正面詞和負(fù)面詞在消極態(tài)度的文本中出現(xiàn)頻率都比較高,所以PLSA方法更容易學(xué)習(xí)消極的情感表達(dá)。本文針對(duì)兩種方法各