一個(gè)電商網(wǎng)站反爬蟲系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、現(xiàn)有一個(gè)電商網(wǎng)站，網(wǎng)站提供線上交易服務(wù)，同時(shí)展示了真實(shí)的最新交易數(shù)據(jù)和一些用戶的需求，這些真實(shí)有價(jià)值的數(shù)據(jù)吸引了不少的爬蟲“光顧”。有些爬蟲給網(wǎng)站的性能和信息安全帶來了不小的影響。為了降低爬蟲給網(wǎng)站帶來的性能影響，減少網(wǎng)站信息泄露，確保有良好的SEO，同時(shí)給用戶以良好的用戶體驗(yàn)，需要識(shí)別并拒絕爬蟲的訪問，常用的數(shù)段有：人工識(shí)別爬蟲，通過User-Agent信息識(shí)別爬蟲，查看系統(tǒng)統(tǒng)計(jì)和日志識(shí)別爬蟲等，這些手段容易實(shí)現(xiàn)，但不夠自動(dòng)化和智能，

2、同時(shí)對(duì)爬蟲的相關(guān)信息缺乏管理，因此需要為電商網(wǎng)站開發(fā)一個(gè)反爬蟲系統(tǒng)實(shí)時(shí)攔截爬蟲，并且對(duì)相關(guān)數(shù)據(jù)進(jìn)行監(jiān)控和管理。
　　反爬蟲系統(tǒng)是在充分理解HTTP協(xié)議，Web工作流程基礎(chǔ)上，結(jié)合爬蟲特點(diǎn)以及反爬蟲工作原理進(jìn)行設(shè)計(jì)，利用Rails開發(fā)框架框架和Redis高速內(nèi)存數(shù)據(jù)庫加以實(shí)現(xiàn)，并創(chuàng)新的引入Echarts圖表進(jìn)行展示。實(shí)現(xiàn)思路是：首先攔截并識(shí)別每次訪問Request請(qǐng)求中的真實(shí)IP，User-Agent，Referer等信息，解析并存

3、儲(chǔ)到數(shù)據(jù)庫，考慮訪問的高并發(fā)讀寫，采用Redis內(nèi)存數(shù)據(jù)庫。然后利用Redis時(shí)間片的特性給每個(gè)IP增設(shè)多級(jí)訪問頻率閾值，同時(shí)增設(shè)驗(yàn)證碼驗(yàn)證，若是超過設(shè)定閾值并且驗(yàn)證碼錯(cuò)誤，則判別為爬蟲，拒絕訪問。同時(shí)，為了防止有“漏網(wǎng)之魚”，反爬蟲系統(tǒng)引入了數(shù)據(jù)可視化前端框架，進(jìn)一步進(jìn)行圖表展示，通過清晰的圖表數(shù)據(jù)的走勢分布，輕松判定爬蟲加以屏蔽，從而使躲過系統(tǒng)閾值判定的爬蟲“原形畢露”。
　　在測試環(huán)節(jié)，分別通過了功能和性能兩方面的測試要求。