基于Hadoop的微博用戶興趣與社區(qū)發(fā)現(xiàn)算法研究.pdf

1、近年來(lái)，隨著Web2.0的興起，微博得到極速發(fā)展。目前有關(guān)社交網(wǎng)絡(luò)的研究主要從興趣發(fā)現(xiàn)和社區(qū)發(fā)現(xiàn)兩方面展開。但現(xiàn)有興趣發(fā)現(xiàn)算法大都基于用戶數(shù)據(jù)或行為單方面，大部分的理論模型主要用于解決信息噪音問題。尤其是近年逐漸興起的微博，現(xiàn)有算法較少考慮其社會(huì)化標(biāo)簽特征以及用戶交互行為。對(duì)于社區(qū)發(fā)現(xiàn)算法來(lái)說(shuō)，微博社交網(wǎng)絡(luò)其復(fù)雜的拓?fù)浣Y(jié)構(gòu)以及節(jié)點(diǎn)內(nèi)容屬性區(qū)別于以往單一性質(zhì)的網(wǎng)絡(luò)結(jié)構(gòu)，如果單純考慮其中的任何一方面，都不能達(dá)到理想的社區(qū)發(fā)現(xiàn)效果。此外，現(xiàn)有

2、的社區(qū)發(fā)現(xiàn)算法大多是基于點(diǎn)社區(qū)的，不能很好的識(shí)別網(wǎng)絡(luò)中重疊社區(qū)。
　　鑒于以上問題，本文主要工作有以下兩個(gè)方面：
　　(1)針對(duì)現(xiàn)有社交領(lǐng)域興趣發(fā)現(xiàn)算法大都基于用戶數(shù)據(jù)或行為單方面以及忽略社會(huì)化標(biāo)簽特征的問題，本文利用微博標(biāo)簽與用戶內(nèi)容、用戶行為之間的關(guān)系，提出了基于語(yǔ)義向量和PageRank的微博標(biāo)簽提取算法。該算法首先解決了標(biāo)簽冷啟動(dòng)問題；其次擴(kuò)展標(biāo)簽語(yǔ)義，建立用戶語(yǔ)義模型，設(shè)計(jì)標(biāo)簽多樣化推薦函數(shù)；最后考慮用戶交互行為對(duì)

3、用戶興趣發(fā)現(xiàn)的影響，基于PageRank算法設(shè)計(jì)一種計(jì)算標(biāo)簽權(quán)重的目標(biāo)函數(shù)。
　　(2)針對(duì)目前社區(qū)發(fā)現(xiàn)算法大多只關(guān)注網(wǎng)絡(luò)結(jié)構(gòu)或節(jié)點(diǎn)內(nèi)容，本文提出了基于網(wǎng)絡(luò)拓?fù)浜凸?jié)點(diǎn)內(nèi)容的微博社區(qū)發(fā)現(xiàn)算法。該算法首先建立基于用戶社交關(guān)系的有向無(wú)權(quán)微博網(wǎng)絡(luò)，然后完成加權(quán)網(wǎng)絡(luò)重構(gòu)任務(wù)。劃分微博社區(qū)時(shí)，為了克服點(diǎn)社區(qū)發(fā)現(xiàn)方法中節(jié)點(diǎn)重疊性的矛盾，采用鏈接社區(qū)完成層次聚類，并引入劃分密度作為社區(qū)評(píng)價(jià)標(biāo)準(zhǔn)。
　　最后，對(duì)提出的算法進(jìn)行實(shí)驗(yàn)驗(yàn)證。首先為了

4、確定算法中相關(guān)參數(shù)大小，進(jìn)行多組對(duì)比實(shí)驗(yàn)，以期獲得算法的最大性能參數(shù)值。然后將本文的標(biāo)簽提取算法與協(xié)同過濾算法和基于關(guān)鍵字提取的TFIDF算法在相同數(shù)據(jù)集中進(jìn)行對(duì)比實(shí)驗(yàn)，結(jié)果表明本文所提算法在準(zhǔn)確率，查全率以及F值上均有明顯提升。其次為了驗(yàn)證本文的微博社區(qū)發(fā)現(xiàn)算法優(yōu)越性，分析了社區(qū)劃分過程，并選取不同規(guī)模網(wǎng)絡(luò)，進(jìn)行社區(qū)發(fā)現(xiàn)對(duì)比實(shí)驗(yàn)，結(jié)果顯示無(wú)論網(wǎng)絡(luò)規(guī)模如何變化，本文算法的社區(qū)發(fā)現(xiàn)準(zhǔn)確率都是最高的。最后在Hadoop環(huán)境下進(jìn)行算法實(shí)驗(yàn)，結(jié)