社交網(wǎng)絡數(shù)據(jù)獲取技術與實現(xiàn).pdf

1、隨著 Internet和信息技術的快速發(fā)展，互聯(lián)網(wǎng)上的信息空前豐富。Web按其信息蘊藏的深度可分為Surface Web和Deep Web，Deep Web數(shù)據(jù)資源包括需要通過查詢接口查詢才能生成的頁面和只有登錄后才可查看的專有網(wǎng)絡信息。搜索引擎的出現(xiàn)，一定程度上解決了查詢信息的需求，但是傳統(tǒng)搜索引擎無法索引到這些 Deep Web頁面。如今快速興起的社交網(wǎng)站，吸引了大量的活躍網(wǎng)絡用戶，其 Web信息資源更豐富并且具有很高的價值。本文分

2、析了針對社交網(wǎng)絡信息數(shù)據(jù)獲取的框架，設計了抓取 Twitter、Facebook和人人網(wǎng)的爬蟲，并且給出了爬蟲管理和數(shù)據(jù)展示的設計與實現(xiàn)。具體研究工作如下：
　　1.研究了 Deep Web爬蟲的框架和模塊設計。Deep Web包括可搜索數(shù)據(jù)庫和專有網(wǎng)絡。針對可搜索數(shù)據(jù)庫，爬蟲首先要發(fā)現(xiàn)數(shù)據(jù)源，然后對查詢接口歸約，再把抓取結果聚合。針對專有網(wǎng)絡，爬蟲首先要獲得網(wǎng)站授權，然后抓取頁面，再對頁面進行分析，最后把結果聚合。
　　2

3、.設計實現(xiàn)了 Twitter、Facebook和人人網(wǎng)的爬蟲。Twitter爬蟲的數(shù)據(jù)獲取策略是首先通過 OAuth認證獲取 Access Token，然后調(diào)用Twitter API增量抓取用戶 Twitter數(shù)據(jù)。Facebook爬蟲，抓取策略是使用HtmlUnit登錄，獲得一個Access Token，然后調(diào)用Facebook Graph API增量抓取用戶的新鮮事，解析返回的JSON數(shù)據(jù)并且統(tǒng)一格式。人人網(wǎng)爬蟲抓取策略是使用Htm

4、lUnit構造瀏覽器 WebClient登錄，并保存 Cookie，然后使用WebClient增量抓取用戶頁面，解析狀態(tài)和日志。經(jīng)過功能測試和大規(guī)模性能測試，爬蟲能夠滿足實際工作需要，具有穩(wěn)定性和適應性。
　　3.研究了爬蟲管理系統(tǒng)的實現(xiàn)。設計了一個管理控制臺和部署在每個抓取機器上的守護程序，他們通過互相通信來實現(xiàn)管理控制爬蟲節(jié)點的任務分配與負載平衡。守護程序監(jiān)視爬蟲節(jié)點運行并解析普通爬蟲抓取的數(shù)據(jù)入庫。經(jīng)過實驗測試分析，管理系統(tǒng)