基于Spark的社交主題分析與應(yīng)用.pdf

1、自然語(yǔ)言處理被認(rèn)為是大數(shù)據(jù)時(shí)代十分關(guān)鍵的技術(shù)之一，尤其對(duì)于互聯(lián)網(wǎng)上的“用戶生成內(nèi)容”進(jìn)行文本分析蘊(yùn)含著巨大的商業(yè)價(jià)值。主題模型是一類無(wú)監(jiān)督的文本處理方法，其發(fā)展經(jīng)歷了從LSI模型到p LSI模型，再到 LDA模型的研究階段。盡管用LDA模型進(jìn)行主題挖掘已經(jīng)得到了廣泛的實(shí)際應(yīng)用，但數(shù)據(jù)規(guī)模變大后效率明顯降低，在數(shù)據(jù)處理過(guò)程中，有效數(shù)據(jù)覆蓋度和執(zhí)行效率難以兼顧。
　　隨著分布式系統(tǒng)的發(fā)展，大規(guī)模數(shù)據(jù)計(jì)算已經(jīng)得到廣泛的運(yùn)用。近兩年發(fā)展起

2、來(lái)的Spark平臺(tái)憑借著基于內(nèi)存計(jì)算的優(yōu)勢(shì)，在大規(guī)模數(shù)據(jù)機(jī)器學(xué)習(xí)領(lǐng)域受到了廣泛的青睞。原因是將中間計(jì)算結(jié)果保留在緩存，這種做法非常適合運(yùn)用到機(jī)器學(xué)習(xí)模型的反復(fù)迭代過(guò)程之中。這一技術(shù)為解決大規(guī)模數(shù)據(jù)主題挖掘的低效率問(wèn)題奠定了基礎(chǔ)。但LDA模型中Gibbs采樣的每一步執(zhí)行都強(qiáng)依賴于其他步的執(zhí)行結(jié)果，如果簡(jiǎn)單地將其分塊后并行處理，過(guò)程中并行修改同一統(tǒng)計(jì)量直接破壞了變量的一致性，而若將變量異步更新則失去了并行化的意義。可見(jiàn)，強(qiáng)依賴每步執(zhí)行狀態(tài)的

3、算法模型較難并行化，這也是為何發(fā)展迅速的Spark平臺(tái)上，機(jī)器學(xué)習(xí)庫(kù)MLlib中的算法依然十分稀少的主要原因。因此，LDA模型的并行化過(guò)程存在較大的難度。
　　為了解決上述問(wèn)題，本文利用LDA模型中各文檔及各詞語(yǔ)獨(dú)立分布的假設(shè)條件，和 Gibbs采樣過(guò)程各變量依賴更新的特點(diǎn)，創(chuàng)新性提出了解決方案，降低了LDA模型并行化過(guò)程中不一致性帶來(lái)的影響，明顯的提高了LDA模型的效率。該解決方案包含：（1）對(duì)原始數(shù)據(jù)集重構(gòu)方法；（2）對(duì)執(zhí)行過(guò)

4、程的階段性劃分方法；（3）階段內(nèi)計(jì)算和階段間變量同步的策略。具體的做法是：根據(jù)設(shè)定的并行度P和建立的詞匯表，將數(shù)據(jù)集分塊，進(jìn)而將其劃分到計(jì)算過(guò)程的P個(gè)階段之中，保證每一個(gè)階段選擇P個(gè)依賴度最小的數(shù)據(jù)塊，然后階段內(nèi)并行采樣，階段間變量同步。通過(guò)以上的方案計(jì)算直至模型收斂，得到主題分布結(jié)果。本文工作有效的解決了LDA模型在并行化中遇到的理論瓶頸，極大地改善了并行運(yùn)算中數(shù)據(jù)塊間的變量不一致性情況，為L(zhǎng)DA模型的并行化提供了理論依據(jù)。該方法也給

5、同類強(qiáng)依賴每一步狀態(tài)的算法實(shí)現(xiàn)并行化提供了思路。
　　此外，本文利用Spark平臺(tái)實(shí)現(xiàn)了LDA主題模型的并行化。在這基礎(chǔ)之上，考慮新浪微博文本內(nèi)容特征，采用以用戶為單元將微博內(nèi)容聚合為長(zhǎng)文本、清洗轉(zhuǎn)發(fā)內(nèi)容、TF-IDF過(guò)濾無(wú)效詞等多種處理方法提升模型效果，最終形成了一套高效的社交主題分析系統(tǒng)，其性能與使用標(biāo)準(zhǔn)L DA模型進(jìn)行主題分析相比大幅提升，可供企業(yè)進(jìn)行高效的微博社交數(shù)據(jù)主題挖掘。進(jìn)一步地，可泛化用以分析其他社交平臺(tái)數(shù)據(jù)。該分