基于隱狄利克雷分布的社區(qū)發(fā)現(xiàn)技術(shù)研究與實(shí)現(xiàn).pdf

1、隨著近年來(lái)互聯(lián)網(wǎng)技術(shù)的快速興起，在線(xiàn)社交網(wǎng)絡(luò)作為一種現(xiàn)實(shí)社交在互聯(lián)網(wǎng)中的投射物，越來(lái)越具有相當(dāng)?shù)难芯績(jī)r(jià)值。在現(xiàn)實(shí)社會(huì)關(guān)系中，以自然人為節(jié)點(diǎn)，人與人之間的各種直接聯(lián)系為邊，可以構(gòu)建出一個(gè)十分復(fù)雜的社交關(guān)系網(wǎng)。人類(lèi)的社會(huì)性和地理、文化等因素又共同決定著這種現(xiàn)實(shí)社交關(guān)系網(wǎng)必定是以各種各樣或大或小的社交圈組成的，而現(xiàn)實(shí)中的這種社交圈特征投射到在線(xiàn)社交網(wǎng)絡(luò)中，則表現(xiàn)為以虛擬用戶(hù)為節(jié)點(diǎn)的虛擬社區(qū)。
　　虛擬社區(qū)檢測(cè)對(duì)于理解在線(xiàn)社交網(wǎng)絡(luò)的結(jié)構(gòu)特

2、征以及其演化規(guī)律、從而為進(jìn)一步理解人類(lèi)社會(huì)關(guān)系特征、乃至于理解人類(lèi)行為規(guī)律都有著十分重要的作用。從應(yīng)用的角度來(lái)講，在社交網(wǎng)絡(luò)中發(fā)現(xiàn)虛擬社區(qū)可以讓互聯(lián)網(wǎng)服務(wù)提供者更好地理解用戶(hù)的行為模式和興趣愛(ài)好，從而更好的為用戶(hù)提供個(gè)性化服務(wù)。而在信息安全的層面，虛擬社區(qū)檢測(cè)技術(shù)在應(yīng)對(duì)網(wǎng)絡(luò)水軍、非法信息傳播控制等上都具有相當(dāng)高的現(xiàn)實(shí)意義。
　　本文分析了社區(qū)發(fā)現(xiàn)領(lǐng)域的現(xiàn)有理論和技術(shù)，總結(jié)出其面臨的幾個(gè)問(wèn)題，在綜合考慮模型效果、在線(xiàn)社交網(wǎng)絡(luò)數(shù)據(jù)形式

3、以及處理效率的的基礎(chǔ)上，提出了基于隱狄利克雷分布的社區(qū)發(fā)現(xiàn)模型及其實(shí)現(xiàn)。本文的主要工作以及研究成果包括：
　　1、介紹了社交網(wǎng)絡(luò)大數(shù)據(jù)挖掘的基本背景以及社區(qū)發(fā)現(xiàn)的已有相關(guān)研究和工作，在對(duì)已有工作進(jìn)行闡述和分析的基礎(chǔ)上，總結(jié)出現(xiàn)有工作所面臨的問(wèn)題，并提出了相應(yīng)的解決辦法；
　　2、基于貝葉斯圖模型，提出了一種可綜合考慮交互信息、網(wǎng)絡(luò)結(jié)構(gòu)以及交互行為時(shí)間信息的社區(qū)發(fā)現(xiàn)模型COT(Community Over Time),可用于從

4、在線(xiàn)社交網(wǎng)絡(luò)的交互數(shù)據(jù)中發(fā)現(xiàn)具有特定主題傾向及周期性行為模式的動(dòng)態(tài)交互社區(qū)；
　　3、為了使COT模型適應(yīng)于大數(shù)據(jù)時(shí)代海量數(shù)據(jù)處理的要求，本文在對(duì)COT模型進(jìn)行詳細(xì)分析和優(yōu)化的基礎(chǔ)上提出了一種可有效應(yīng)用于并行與分布式計(jì)算環(huán)境下的近似模型AD-COT(Approximate Distributed COT)，大大提升了COT模型的可擴(kuò)展性；
　　4、利用新浪微博的大規(guī)模數(shù)據(jù)集，本文基于Apache Spark平臺(tái)對(duì)COT及AD