社交網(wǎng)絡(luò)數(shù)據(jù)采集及傳播路徑分析.pdf

1、在互聯(lián)網(wǎng)高速發(fā)展的今天，網(wǎng)絡(luò)用戶的快速增長直接導(dǎo)致了互聯(lián)網(wǎng)上的輿論呈現(xiàn)出爆炸式的增長，尤其是當(dāng)社交網(wǎng)絡(luò)平臺的出現(xiàn)之后，輿論的傳播更加是不受控制。輿論監(jiān)控也成為近年來研究的重點(diǎn)問題。本文主要針對現(xiàn)今社交網(wǎng)絡(luò)中最具有代表性的兩個平臺Facebook和Twitter進(jìn)行研究。研究過程主要分為兩部分:第一、設(shè)計一套優(yōu)良的采集系統(tǒng)針對Facebook和Twitter進(jìn)行數(shù)據(jù)采集，設(shè)計過程中，我們分析了兩個平臺的登陸授權(quán)協(xié)議OAuth的工作原理、針

2、對不同對象數(shù)據(jù)采集的API格式和第三方SDK的使用?？紤]到Facebook的好友獲取局限性，我們針對Facebook使用基于HTTP流和API結(jié)合的方式來獲取用戶數(shù)據(jù)，而Twitter使用API獲取用戶數(shù)據(jù)的方式。最后針對Facebook和Twitter獲取數(shù)據(jù)的性能進(jìn)行比較。第二、針對獲取到的社交網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行分析處理，首先對抓取到的240W條的推文消息進(jìn)行過濾操作，區(qū)分出中文和英文;然后分析推文的轉(zhuǎn)發(fā)格式，對推文進(jìn)行預(yù)處理，通過正則表

3、達(dá)式提取出轉(zhuǎn)發(fā)關(guān)系，最后使用基于simhash的方法對預(yù)處理后的推文進(jìn)行去重操作，統(tǒng)計重復(fù)推文數(shù)據(jù)，分析實(shí)驗(yàn)結(jié)果。之后收集去重過程中的實(shí)驗(yàn)數(shù)據(jù)，針對相似的消息和含有明確轉(zhuǎn)發(fā)關(guān)系的消息分別使用基于時間序列和第四章中的類似于樹狀排序的算法對消息進(jìn)行排序操作。經(jīng)過排序后的消息，我們按照復(fù)雜網(wǎng)絡(luò)工具gephi的文件格式gexf進(jìn)行寫入保存操作，生成消息傳播路徑圖。通過gephi工具查看傳播路徑圖的消息源頭。最后分析生成的所有傳播路徑圖，總結(jié)出一