分布式書籍網(wǎng)絡爬蟲系統(tǒng)的設計與實現(xiàn).pdf

1、互聯(lián)網(wǎng)技術高速發(fā)展，人們的生活方式也發(fā)生了改變。以往讀書只能買紙質書，現(xiàn)在其傳播媒介發(fā)生了改變，電子書很大程度上替代了紙質書。然而，互聯(lián)網(wǎng)上書籍很多，而且增長迅速，如何從互聯(lián)網(wǎng)中快速地選擇出對自己有用的書籍尤為重要。
　　本文設計并實現(xiàn)了一個基于Scrapy框架的分布式書籍網(wǎng)絡爬蟲系統(tǒng)DScrapy，實現(xiàn)了對互聯(lián)網(wǎng)上書籍信息與書籍文件的下載，對爬取得到的數(shù)據(jù)進行分布式存儲。將從互聯(lián)網(wǎng)上爬取得到的信息存入MongoDB中，可以方便地

2、對下載的書籍進行操作。
　　首先，對Scrapy開源網(wǎng)絡爬蟲框架進行深入研究。針對它只能單機爬取的不足，設計了新的調度器模塊替換掉原有調度器，使其可以進行主從式分布式爬取。然后設計了針對書籍爬取的流水線，其中包括書籍封面存儲模塊、書籍信息存儲模塊以及書籍文件存儲模塊。
　　其次，完成了分布式書籍網(wǎng)絡爬蟲DScrapy系統(tǒng)的實現(xiàn)。在以上的設計工作基礎上進行了具體代碼編寫與測試工作，其中包括:先確定采用Linux系統(tǒng)作為開發(fā)平臺