基于網(wǎng)絡爬蟲的游戲輿情監(jiān)測系統(tǒng)的設計與實現(xiàn).pdf

1、隨著電腦、智能手機以及平板電腦的普及，互聯(lián)網(wǎng)已成為大眾創(chuàng)業(yè)、萬眾創(chuàng)新的新工具。全球游戲產(chǎn)業(yè)迅速興起，游戲制作的門檻隨著技術的進步逐漸降低，從而使得銷售額和玩家呈現(xiàn)逐年增加的態(tài)勢。游戲?qū)儆趧?chuàng)意產(chǎn)業(yè)，其產(chǎn)業(yè)鏈為增值鏈，即研發(fā)制作、發(fā)布運營、推廣銷售，一步比一步所要做的工作多，支付的資金多。隨著游戲市場的飛速增長，游戲在研發(fā)、測試到運營、維護的過程中，游戲產(chǎn)業(yè)的人員迫切需要了解玩家對游戲的感受和體驗，以制作出符合玩家口味的高質(zhì)量游戲。

2、　　本文分析了現(xiàn)有游戲行業(yè)收集用戶反饋的現(xiàn)狀，指出現(xiàn)有游戲行業(yè)的人工輿情監(jiān)測存在的問題。在總結(jié)國內(nèi)外相關研究成果的基礎上，借鑒一些技術的成熟實踐經(jīng)驗，并以騰訊游戲平臺為依托，通過對整個游戲輿情監(jiān)測流程的解析，設計并實現(xiàn)了基于網(wǎng)絡爬蟲的游戲輿情監(jiān)測系統(tǒng)。本文主要工作如下：
　　1.針對網(wǎng)絡上游戲品種多，玩家對游戲的評價過于分散，人工收集游戲輿情耗時耗力的問題，設計和實現(xiàn)了網(wǎng)絡爬蟲功能。用戶可以定制規(guī)則來爬取論壇或其他來源的數(shù)據(jù)，網(wǎng)絡

3、爬蟲支持特征串標記、路徑解析等方式對需要的網(wǎng)頁內(nèi)容進行定制化的提取，然后將數(shù)據(jù)存儲到分布式數(shù)據(jù)庫中供后續(xù)分析使用。網(wǎng)絡爬蟲功能有效的解決了傳統(tǒng)通過人工查看輿情費時費力且容易遺漏的問題。
　　2.針對人工查看玩家反饋，通過主觀判斷難以評判玩家對游戲的評價問題，設計和實現(xiàn)了對輿情信息進行自動化分析的功能。在爬取到論壇等來源的數(shù)據(jù)后，使用中文分詞工具對數(shù)據(jù)分詞，根據(jù)項目詞庫和用戶自定義詞庫，分析統(tǒng)計每天數(shù)據(jù)源中熱詞的出現(xiàn)頻率，匯總得到熱

4、詞趨勢、游戲口碑等數(shù)據(jù)。在此基礎上，通過郵件、網(wǎng)頁圖表展示等方式，將游戲輿情信息以可視化的方式展現(xiàn)給用戶。
　　3.綜合上述功能，設計并實現(xiàn)了基于網(wǎng)絡爬蟲的游戲輿情監(jiān)測系統(tǒng)，該系統(tǒng)包含前端 Web展示和后端業(yè)務實現(xiàn)兩個部分。前端采用PHP和Apache相結(jié)合的方案，后端包括了后臺控制系統(tǒng)、網(wǎng)絡爬蟲器、熱詞分析器、定時任務工具、自動化郵件工具、索引工具以及其他模塊。使用到了爬蟲、網(wǎng)頁解析庫、分詞工具、全文檢索引擎等工具。該系統(tǒng)解決了