基于網(wǎng)絡爬蟲的用戶行為分析.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的高速發(fā)展，我們正從信息時代步入數(shù)據(jù)時代，數(shù)據(jù)量的增長速度呈現(xiàn)幾何式趨勢?，F(xiàn)在比較流行的網(wǎng)絡服務，如：淘寶、微信、微博、證券等，每天都會產(chǎn)生數(shù)以萬計的數(shù)據(jù)。對于互聯(lián)網(wǎng)產(chǎn)生的這些數(shù)據(jù)，都包含了大量與用戶相關(guān)的行為數(shù)據(jù)，挖掘隱藏在數(shù)據(jù)背后的價值信息，可以幫助企業(yè)更好的了解市場和決策提供有效的支持。本文主要是通過網(wǎng)絡爬蟲挖掘出用戶的行為數(shù)據(jù)，然后通過這些數(shù)據(jù)進行分析和構(gòu)建用戶征信預測模型。
　　傳統(tǒng)的用戶征信預測都是依靠專

2、家經(jīng)驗模型或者經(jīng)驗豐富的專業(yè)人士主觀判斷得出相對應的結(jié)論，其專家經(jīng)驗模型的處理方式也是在單機上進行。然而，面對越來越多的數(shù)據(jù)，申請人數(shù)逐漸增加的情況下，業(yè)務辦理效率的劣勢逐漸體現(xiàn)出來，這些問題需要研發(fā)人員提供有科學依據(jù)的模型和計算方式彌補這些劣勢。分布式平臺的出現(xiàn)剛好解決了這些問題。使得在海量數(shù)據(jù)的情況下仍然可以快速的處理和運用這些數(shù)據(jù)，而不是在單機中消耗更多的時間進行處理。
　　本文研究的主要工作是在某公司提供API接口的情況下

3、，運用網(wǎng)絡爬蟲技術(shù)對該公司2016年的訂單信息表和用戶詳細信息表進行爬取，把爬取出來的數(shù)據(jù)經(jīng)過數(shù)據(jù)清洗等操作后，得到比較清晰的數(shù)據(jù)樣式，然后對這些數(shù)據(jù)進行統(tǒng)計分析，發(fā)現(xiàn)用戶下單規(guī)律，從而可以優(yōu)化企業(yè)的系統(tǒng)服務架構(gòu)和升級銷售策略。并且，在此基礎上，構(gòu)建了用戶征信預測模型，該模型選用了隨機森林分類算法，有20個輸入變量，訓練集有20萬條數(shù)據(jù)，這些數(shù)據(jù)都是與用戶相關(guān)聯(lián)的信息。把訓練出來的模型運用分布式系統(tǒng)中，通過準確率和處理數(shù)據(jù)時間效率進行實