云環(huán)境下基于RIHDBSCAN的微博事件檢測(cè)及跟蹤.pdf

1、微博近幾年有著飛速的發(fā)展和廣泛的影響。用戶通過(guò)網(wǎng)頁(yè)、手機(jī)、SMS等多種途徑,隨時(shí)隨地記錄見聞時(shí)事、參與話題討論等。對(duì)實(shí)時(shí)產(chǎn)生的大量微博文本進(jìn)行分析和挖掘具有風(fēng)險(xiǎn)預(yù)警、輿論監(jiān)控等重要實(shí)際意義,也給文本挖掘領(lǐng)域帶來(lái)了新的挑戰(zhàn)。
　　針對(duì)微博的挖掘分析,國(guó)內(nèi)外學(xué)者已經(jīng)取得了一定的成果。然而,為了提高從海量迅速增長(zhǎng)的微博數(shù)據(jù)中挖掘新聞事件的速度和精度,需要采取新的更加有效的方法來(lái)處理即時(shí)更新的大量文本數(shù)據(jù)流。云計(jì)算技術(shù)是未來(lái)的趨勢(shì),它能夠

2、高效的完成海量數(shù)據(jù)的存儲(chǔ)和計(jì)算任務(wù),將云計(jì)算技術(shù)和微博挖掘結(jié)合起來(lái)勢(shì)在必行。
　　論文設(shè)計(jì)了一套完整的云環(huán)境下的微博事件檢測(cè)跟蹤模型。主要研究及創(chuàng)新點(diǎn)如下:
　?、僦贫C(jī)械化過(guò)濾規(guī)則,將抓取的微博文本按規(guī)則進(jìn)行過(guò)濾,有效提高后續(xù)處理的效率。
　　②在傳統(tǒng)TF-IDF算法的基礎(chǔ)上,提出動(dòng)態(tài)權(quán)值計(jì)算方法FCF-DIDF。該算法基于微博轉(zhuǎn)發(fā)數(shù)和評(píng)論數(shù),能夠有效改善TF-IDF算法的不足,并考慮到微博文本集規(guī)模的不斷增加,適合

3、處理微博短文本。
　?、刍贒BSCAN算法,提出基于代表點(diǎn)的增量層次密度聚類算法(RIHDBSCAN)。該算法分為三個(gè)步驟:生成初始簇、初始簇合并、選出代表點(diǎn)。算法執(zhí)行過(guò)程中只需要選取部分對(duì)象進(jìn)行核心點(diǎn)檢測(cè),大大降低了I/O開銷,屏蔽了數(shù)據(jù)輸入順序敏感性。
　　RIHDBSAN算法在每輪事件檢測(cè)聚類算法執(zhí)行結(jié)束后,選出代表點(diǎn)組參與下輪的增量聚類,并通過(guò)增量聚類中簇結(jié)構(gòu)和關(guān)鍵詞變化追蹤事件的發(fā)展軌跡。
　?、茚槍?duì)單一節(jié)