基于ELM的爬蟲檢測算法研究及在水保網(wǎng)站上的應(yīng)用.pdf

1、當(dāng)前，水土流失已經(jīng)變成我國最緊要的環(huán)境問題，制約著人口、資源、環(huán)境和經(jīng)濟的共同發(fā)展。為了防止水土流失和恢復(fù)生態(tài)環(huán)境，全國各地先后開展了水土保持工作,并逐步建立起了各個水土保持信息共享網(wǎng)站。
　　隨著互聯(lián)網(wǎng)搜索引擎技術(shù)的突飛猛進，搜索引擎的網(wǎng)絡(luò)爬蟲日漸泛濫。這些網(wǎng)絡(luò)爬蟲給網(wǎng)站服務(wù)器帶來了巨大的處理負(fù)擔(dān)，很多水保網(wǎng)站因此陷入癱瘓，給水土保持工作帶來了巨大的壓力。為了維護湖北水土保持網(wǎng)站的穩(wěn)定，本文運用機器學(xué)習(xí)的思想，設(shè)計了能夠根據(jù)訪問

2、者特征來檢測爬蟲的算法，并應(yīng)用到湖北水土保持網(wǎng)站上抵御爬蟲。本文主要研究內(nèi)容如下：
　　(1)論文分析了目前國內(nèi)外檢測網(wǎng)絡(luò)爬蟲的算法現(xiàn)狀。深入研究了網(wǎng)絡(luò)爬蟲的工作原理和單隱層前饋式神經(jīng)網(wǎng)絡(luò)算法-極限學(xué)習(xí)機ELM，提出了基于ELM的爬蟲檢測算法。
　　(2)論文在仔細(xì)研究湖北水土保持網(wǎng)站后，根據(jù)網(wǎng)站特點建立能夠充分描述水土保持網(wǎng)站訪問者特征的特征模型。
　　(3)設(shè)計實現(xiàn)了基于極限學(xué)習(xí)機算法的網(wǎng)絡(luò)爬蟲攔截器，將其應(yīng)用到湖