面向社會化媒體內(nèi)容的若干聚類算法研究.pdf

1、以Web2.0為代表的社會化媒體服務(wù)迅猛發(fā)展，改變了傳統(tǒng)的信息傳播方式，使得互聯(lián)網(wǎng)用戶從以往被動地接受信息走向主動對信息進(jìn)行創(chuàng)造，產(chǎn)生了無窮無盡的文本數(shù)據(jù)。與此同時，社會化媒體服務(wù)還將現(xiàn)實社會關(guān)系映射到了互聯(lián)網(wǎng)中。面對社會化媒體中海量、有價值的數(shù)據(jù)，科學(xué)家們掀起了研究的狂潮。然而，與以往的數(shù)據(jù)相比，社會化媒體中的文本，鏈接數(shù)據(jù)擁有一些新的特性(多噪聲、高稀疏、短文本、動態(tài)性、缺失值)，這導(dǎo)致了傳統(tǒng)的聚類方法不能直接的應(yīng)用于社會化媒體中的

2、數(shù)據(jù)。近幾年科學(xué)家們提出一些針對社會化媒體數(shù)據(jù)新特性算法，如圖聚類模型，主題模型等。但這些聚類研究存在如缺少對數(shù)據(jù)整體分布的學(xué)習(xí)、缺乏數(shù)據(jù)之間關(guān)系的分析及缺乏系統(tǒng)性等缺點，并且研究方法寥寥可數(shù)。
　　本文在現(xiàn)有研究工作的基礎(chǔ)上，針對社會化媒體數(shù)據(jù)新特性，結(jié)合圖聚類及主題模型最新研究成果，提出一系列新穎的、針對社會化媒體內(nèi)容的聚類方法。主要研究工作和創(chuàng)新包括：
　　(1)針對多噪聲網(wǎng)頁內(nèi)容聚類問題，提出基于網(wǎng)頁DOM樹結(jié)構(gòu)的網(wǎng)

3、頁分塊算法（TPS）和基于圖分割的網(wǎng)頁分塊算法（GPPS)。這兩個算法探索社會化媒體網(wǎng)頁中語義模塊與網(wǎng)頁DOM樹子樹結(jié)構(gòu)的對應(yīng)關(guān)系，將一個網(wǎng)頁視為多個主題信息塊的集合，并通過解析網(wǎng)頁DOM樹子樹結(jié)構(gòu)中包含的語義信息，將一個網(wǎng)頁分割成為多個獨立主題的語義模塊。TPS算法通過定義DOM樹中的語義子樹將一個網(wǎng)頁分割成為不同語義模塊。GPPS算法將DOM樹轉(zhuǎn)化為一個有向圖，并通過圖聚類算法來發(fā)現(xiàn)網(wǎng)頁的語義子模塊。在社會化媒體網(wǎng)站數(shù)據(jù)上的實驗結(jié)果

4、表明，與僅搜索網(wǎng)頁DOM樹節(jié)點屬性和視覺信息的傳統(tǒng)算法相比，TPS和GPPS兩個算法的分塊效果精度更高，魯棒性更強。這兩種算法可以用來去除網(wǎng)頁中的噪聲文本，是其他工作的前置步驟。
　　(2)針對文本流數(shù)據(jù)中的突發(fā)詞聚類問題，提出基于主題的突發(fā)事件偵測算法（TBE）。該算法首先使用高斯分布檢測時間域上的突發(fā)詞。接著，該算法同時考慮突發(fā)詞之間的共現(xiàn)關(guān)系和文本集中的潛在主題信息對突發(fā)詞進(jìn)行聚類，得到了時間間隔中的突發(fā)事件。最后，TBE算

5、法通過概率可能性估計出事件主題。該主題用來在時間域內(nèi)追蹤突發(fā)事件的發(fā)展。本文中TBE算法還設(shè)計事件可視化技術(shù)來展示算法發(fā)現(xiàn)的事件。在社會化媒體中博客數(shù)據(jù)和Reuter新聞數(shù)據(jù)上的實驗結(jié)果表明，TBE算法事件發(fā)現(xiàn)的效果優(yōu)于當(dāng)前最好事件發(fā)現(xiàn)算法HBE算法。
　　(3)面對傳統(tǒng)的TDT問題，將傳統(tǒng)的在線主題模型擴展為主題事件偵測和追蹤算法（TEDT），該算法克服在線主題模型在事件偵測應(yīng)用中的兩個缺陷（噪聲詞和多重事件）。TEDT算法通過

6、計算事件出現(xiàn)的概率來度量詞之間的距離，使用了流聚類算法得到了一個主題對應(yīng)的最高概率事件。TEDT算法還能夠通過偵測到事件的主題，在時間域內(nèi)追蹤事件的變化。最后，TEDT算法提出事件可視化方案來展示算法發(fā)現(xiàn)的主題事件。在博客數(shù)據(jù)和Reuter新聞數(shù)據(jù)上的實驗結(jié)果表明TEDT算法事件發(fā)現(xiàn)的效果優(yōu)于傳統(tǒng)主題模型算法。
　　(4)面對文本和鏈接數(shù)據(jù)的協(xié)同聚類問題，提出作者、主題、社區(qū)模型(ATCModel)。ATC模型使用概率生成模型對社

7、會化媒體中的用戶數(shù)據(jù)（文檔和鏈接）的出現(xiàn)進(jìn)行建模。該模型通過對用戶發(fā)表文章和用戶之間鏈接關(guān)系的協(xié)同聚類，使用用戶主題的知識彌補用戶鏈接數(shù)據(jù)中的缺失信息，得到對用戶興趣和社區(qū)分布的更精確更魯棒的分析。在模型的推導(dǎo)階段，本文使用變分法來估計ATC模型的參數(shù)。人工數(shù)據(jù)、博客數(shù)據(jù)、DBLP數(shù)據(jù)和DIGG數(shù)據(jù)上的結(jié)果表明ATC模型效果優(yōu)于傳統(tǒng)用戶主題模型。
　　本研究提出的五個算法中，TPS算法和GPPS算法被用作過濾網(wǎng)頁中主題無關(guān)噪聲，是

8、其他工作的前置步驟。TBE算法考同時考慮突發(fā)詞之間的共現(xiàn)關(guān)系和文本集的潛在主題信息對突發(fā)詞進(jìn)行聚類。TEDT算法過濾在線主題模型中的噪聲詞和多重事件，得到了一個主題的最相關(guān)事件。ATC模型使用用戶主題的相關(guān)彌補用戶鏈接數(shù)據(jù)的中的缺失信息，得到用戶興趣和用戶社區(qū)的分布。
　　總體而言，本文針對社會化媒體中信息新特性，解決具有多噪聲、高稀疏、短文本、動態(tài)性、缺失值特點的數(shù)據(jù)聚類問題。提出了TPS，GPPS，TBE， TEDT及ATC等