基于主題爬蟲的視頻教程庫的研究與設(shè)計(jì)——以3dmax學(xué)科為例.pdf

1、在數(shù)字媒體技術(shù)高速發(fā)展的今天,網(wǎng)絡(luò)上的各類視頻教程已經(jīng)成為網(wǎng)民在Internet上學(xué)習(xí)新技術(shù)、新知識(shí)的一個(gè)重要途徑,這也促使視頻教程庫的建設(shè)越來越受到人們的關(guān)注和重視。由于傳統(tǒng)的視頻教程庫往往采用人工建立和維護(hù),在資源庫的數(shù)據(jù)量龐大之后,數(shù)據(jù)的更新和維護(hù)就顯得極為困難。因此構(gòu)建一個(gè)能夠進(jìn)行自動(dòng)更新和自動(dòng)維護(hù)的視頻教程資源庫成為目前研究與開發(fā)的熱點(diǎn)。
　　本文首先從網(wǎng)絡(luò)爬蟲的研究現(xiàn)狀出發(fā),介紹了主題爬蟲的工作原理,分析了主題爬蟲的搜

2、索策略及其相關(guān)算法,并對(duì)網(wǎng)頁消重進(jìn)行相關(guān)介紹。
　　本文通過選擇 heritrix作為爬蟲工具,研究 Heritrix爬蟲的相關(guān)技術(shù),定制Heritrix中的extractor類以及FrontierScheduler類,以實(shí)現(xiàn)面向視頻教程主題網(wǎng)頁信息的抓取。為了提高抓取的準(zhǔn)確率,本文在實(shí)現(xiàn)抓取的過程中引入 ELFHASH-x1 URL散列算法,使抓取過程采用多線程方式進(jìn)行,以提高抓取的效率。
　　對(duì)下載到本地的網(wǎng)頁資源,本文