面向博客的輿情分析若干關鍵技術研究.pdf

1、博客、微博和社交網(wǎng)絡等web2.0的應用使得輿情傳播變得越來越迅速和不可控,因此,研究面向博客的輿情技術,對于推動網(wǎng)絡輿情的良性發(fā)展,提高政府和企業(yè)的管理和應急水平具有重要的理論研究意義和應用價值。本文將輿情內(nèi)容分析與網(wǎng)絡鏈接分析相結合,從話題跟蹤及話題傳播兩方面來研究博客社區(qū)中的話題。由于博客是一種自媒體形式的組織結構,與傳統(tǒng)的論壇和新聞報道等輿論媒體形式具有很大的區(qū)別,因此本文圍繞博客的組織、博客作者的興趣偏好和博客中信息傳播的信息

2、流特點,研究了博客的話題表示、跟蹤、話題層次性和話題傳播四個方面的內(nèi)容,本文的主要創(chuàng)新性工作概述如下:
　　 一,對話題信息缺失問題進行研究,提出了基于兩層KL距離的特征擴展方法對話題進行信息補充。傳統(tǒng)的TDT研究中以1-4篇文檔作為話題的描述,而用戶又往往習慣于輸入關鍵詞作為話題的描述,由于文檔的數(shù)目和篇幅以及用戶輸入的關鍵詞較少,就會產(chǎn)生話題信息缺失的問題,從而導致話題跟蹤過程中漏檢相當一部分的相關文檔。本文提出的基于兩層K

3、L距離的特征擴展方法將詞匯語義關聯(lián)矩陣與KL距離方法相結合,擴展與話題特征相關性較高的詞匯來補充話題的初始信息,同時,該方法還可以自動從所有可能的擴展詞匯的權重趨勢曲線中找到有效的切分位置來分割有效擴展詞和無效擴展詞。
　　 二,對博客話題組織的特點進行研究,提出了基于博客興趣歷史的話題跟蹤算法。傳統(tǒng)的話題跟蹤技術主要針對新聞報道等語料,處理的基本單位是單篇文章,忽略了文章作者自身的特點,但是在博客、微博等新興媒體中是以文章作者

4、為單位進行組織和管理,以作者為單位相對于以文章為單位來進行研究能獲得的信息更為豐富。本文提出的基于博客興趣歷史的話題跟蹤算法從博客發(fā)表的文章集中挖掘博客自身的興趣點,并以此表征博客作者文章的特點,從而提高話題跟蹤的準確性。由于在博客中寫過與某話題相關文章的作者更可能寫出與該話題相關的后續(xù)文章,關注相同話題的博主往往具有相同或類似的興趣特征,因此利用博客興趣歷史信息,可以有效解決Rocchio算法和偽相關反饋技術中對于變化較大的話題無法檢

5、測的問題。
　　 三,對話題數(shù)據(jù)降維和話題層次表示的問題進行研究,提出了基于LSI的層次話題樹算法。話題文本特征維度很高,帶來話題聚類計算上的復雜性,同時多次逐層聚類的方法雖然可以獲取話題的層次表示,但效率較低,而基于凝聚層次聚類的方法所獲得的層次樹與實際的話題層次仍有一定的差距。本文所提出的基于LSI的層次話題樹算法有效解決了LSI方法計算耗時以及停用詞在LSI分析中會擴展出與文章無關的語義詞的問題,并利用凝聚層次聚類的聚類樹

6、來分析話題與子話題的層次關系,提高了層次話題樹的生成效率。
　　 四,對話題傳播信息流不完整的問題進行研究,提出了基于博客鏈接信息流的話題傳播算法。目前面向博客的輿情傳播分析技術僅考慮博客作者間的傳播過程而不考慮話題信息流的傳播過程,對博客作者間的傳播過程又僅僅涉及到閱讀行為和文章內(nèi)容拷貝行為,實際上,話題傳播信息流還存在撰寫行為和文章內(nèi)容再加工行為。本文所提出的基于博客鏈接信息流的話題傳播算法對博客話題傳播的信息流進行建模,充

7、分考慮了博客的閱讀行為、拷貝行為、撰寫行為和文章內(nèi)容再加工行為;同時為了解決文章內(nèi)容再加工行為中內(nèi)容相似度計算量過大的問題,提出了基于SimHash算法的內(nèi)容相似度計算方法。在大規(guī)模博客數(shù)據(jù)中的實驗結果說明該模型與基于友情鏈接的模型、基于傳播概率的模型和基于傳播概率和拷貝概率的模型相比,具有較為明顯的優(yōu)勢。
　　 綜上所述,本文對輿情話題和輿情傳播兩方面存在的問題提出了相應的算法,解決了其中存在的問題。在對博客輿情話題的研究中,

8、首先提出了基于兩層KL距離的特征擴展方法,改善了話題信息缺失問題;然后提出了基于博客興趣歷史的話題跟蹤算法,改善了由于話題變化,導致的跟蹤準確率不高問題;接著提出了基于LSI的層次話題樹算法,對大規(guī)模數(shù)據(jù)下的話題數(shù)據(jù)進行降維,改善話題層次表示問題;最后在對輿情傳播的研究中,提出了基于博客鏈接信息流的話題傳播算法,將話題傳播信息流補充完整。在真實大規(guī)模博客數(shù)據(jù)環(huán)境中的實驗結果說明,本文所提出的算法在博客的輿情分析中具有較高的準確率和實用價