云環(huán)境下基于RIHDBSCAN的微博事件檢測及跟蹤.pdf

1、微博近幾年有著飛速的發(fā)展和廣泛的影響。用戶通過網(wǎng)頁、手機、SMS等多種途徑,隨時隨地記錄見聞時事、參與話題討論等。對實時產(chǎn)生的大量微博文本進行分析和挖掘具有風險預警、輿論監(jiān)控等重要實際意義,也給文本挖掘領(lǐng)域帶來了新的挑戰(zhàn)。
　　針對微博的挖掘分析,國內(nèi)外學者已經(jīng)取得了一定的成果。然而,為了提高從海量迅速增長的微博數(shù)據(jù)中挖掘新聞事件的速度和精度,需要采取新的更加有效的方法來處理即時更新的大量文本數(shù)據(jù)流。云計算技術(shù)是未來的趨勢,它能夠

2、高效的完成海量數(shù)據(jù)的存儲和計算任務,將云計算技術(shù)和微博挖掘結(jié)合起來勢在必行。
　　論文設(shè)計了一套完整的云環(huán)境下的微博事件檢測跟蹤模型。主要研究及創(chuàng)新點如下:
　?、僦贫C械化過濾規(guī)則,將抓取的微博文本按規(guī)則進行過濾,有效提高后續(xù)處理的效率。
　　②在傳統(tǒng)TF-IDF算法的基礎(chǔ)上,提出動態(tài)權(quán)值計算方法FCF-DIDF。該算法基于微博轉(zhuǎn)發(fā)數(shù)和評論數(shù),能夠有效改善TF-IDF算法的不足,并考慮到微博文本集規(guī)模的不斷增加,適合

3、處理微博短文本。
　　③基于DBSCAN算法,提出基于代表點的增量層次密度聚類算法(RIHDBSCAN)。該算法分為三個步驟:生成初始簇、初始簇合并、選出代表點。算法執(zhí)行過程中只需要選取部分對象進行核心點檢測,大大降低了I/O開銷,屏蔽了數(shù)據(jù)輸入順序敏感性。
　　RIHDBSAN算法在每輪事件檢測聚類算法執(zhí)行結(jié)束后,選出代表點組參與下輪的增量聚類,并通過增量聚類中簇結(jié)構(gòu)和關(guān)鍵詞變化追蹤事件的發(fā)展軌跡。
　?、茚槍我还?jié)