基于Spark的文本情感分類模型應(yīng)用研究.pdf

1、伴隨著云時代的來臨，大數(shù)據(jù)一詞被越來越多地提及并認(rèn)識，人們也越來越多地意識到數(shù)據(jù)的重要性并嘗試去挖掘掩藏在其中的價值。大數(shù)據(jù)一般用來描述和定義信息爆炸時代產(chǎn)生的海量數(shù)據(jù)，社交網(wǎng)絡(luò)的海量數(shù)據(jù)便是其中的代表之一。Twitter、Facebook、新浪微博、微信等社交媒體的網(wǎng)絡(luò)中儲存著海量的用戶節(jié)點(diǎn)，每個用戶節(jié)點(diǎn)又同時存儲著大量的個人社交和交互發(fā)布信息，隨著移動互聯(lián)網(wǎng)應(yīng)用的不斷普及，這些數(shù)據(jù)每時每刻都在不斷地更新變化并呈現(xiàn)出井噴式的信息增長趨

2、勢，其特點(diǎn)具備了大數(shù)據(jù)的特征。社交網(wǎng)絡(luò)的用戶參與度很高，用戶能夠方便快捷地通過其平臺自由地分享個人信息，獲取和傳播他人的信息。由于其影響力以及傳播的廣度和深度，人們在社交網(wǎng)絡(luò)中表達(dá)自己情緒和觀點(diǎn)的現(xiàn)象越來越普遍，而隱含在其中的海量情感信息流看似細(xì)碎而雜亂，但卻隱藏著巨大的價值等待著被挖掘，這就使得對海量數(shù)據(jù)中的文本進(jìn)行情感分類的研究有著十分重要的意義。
　　然而，傳統(tǒng)的文本情感分類研究均是在單機(jī)上進(jìn)行，面對社交網(wǎng)絡(luò)中出現(xiàn)的海量數(shù)據(jù)

3、，傳統(tǒng)單機(jī)上的情感分析算法難以快速地完成情感分類的任務(wù)，其時間效率和擴(kuò)展性等成為了瓶頸，需要研究適合于海量數(shù)據(jù)情感分類任務(wù)的計算模式。云計算的出現(xiàn)和發(fā)展為解決海量數(shù)據(jù)下的情感分類任務(wù)提供了新的解決方案。它彌補(bǔ)了傳統(tǒng)單機(jī)計算上的不足，通過構(gòu)建的分布式情感分類算法以及分布式架構(gòu)，使得海量數(shù)據(jù)下的情感分類任務(wù)的可行性得到了增強(qiáng)。
　　本文在研究分析了現(xiàn)有的文本情感分類技術(shù)的基礎(chǔ)上，結(jié)合云計算技術(shù)，探討構(gòu)建一個適合于海量數(shù)據(jù)的基于Spar

4、k的文本情感分類模型的可行性。根據(jù)海量數(shù)據(jù)文本信息的特點(diǎn)，對文本進(jìn)行詞語級別的情感極性識別，建立了覆蓋面更廣的情感字典;通過對文本情感特征的提取和加權(quán)，并借助Spark的并行計算模型，構(gòu)建分布式樸素貝葉斯情感分類模型用以處理大規(guī)模的數(shù)據(jù);而針對情感特征并不明顯的文本信息，通過分析文本語法，句間聯(lián)系等相關(guān)特征，構(gòu)建基于Spark的SVM情感分類模型對文本進(jìn)行情感分類;基于云計算技術(shù)的情感分析需要采集海量的數(shù)據(jù)對其進(jìn)行驗(yàn)證，對于海量數(shù)據(jù)的獲