開(kāi)放獲取期刊資源采集系統(tǒng)研究與實(shí)現(xiàn).pdf

1、隨著開(kāi)放獲取運(yùn)動(dòng)的發(fā)展，越來(lái)越多的期刊加入到開(kāi)放獲取行列中來(lái)。開(kāi)放獲取期刊資源經(jīng)過(guò)同行評(píng)審保證了學(xué)術(shù)質(zhì)量，且分布廣泛，具有重要的學(xué)術(shù)價(jià)值。對(duì)開(kāi)放獲取期刊資源采集的研究是有效利用資源的基礎(chǔ)。對(duì)于OAI-PMH協(xié)議的開(kāi)放獲取期刊，通常使用OAI-PMH接口對(duì)期刊資源進(jìn)行采集。對(duì)于非OAI-PMH協(xié)議的開(kāi)放獲取期刊，一般是對(duì)期刊網(wǎng)頁(yè)中的元數(shù)據(jù)信息進(jìn)行采集。然而開(kāi)放獲取期刊是由期刊機(jī)構(gòu)各自對(duì)資源進(jìn)行組織和展示，不同期刊采用不同的資源展現(xiàn)形式，相

2、同期刊在不同時(shí)期也可能有不同的資源展現(xiàn)形式，可謂是“千刊千面”。資源展現(xiàn)形式多變?yōu)榉荗AI-PMH協(xié)議的開(kāi)放獲取期刊資源采集帶來(lái)了一定的難度。為了解決此問(wèn)題，本文對(duì)開(kāi)放獲取期刊資源及其采集方法和系統(tǒng)實(shí)現(xiàn)做了以下研究。
　　首先，本文對(duì)大量國(guó)內(nèi)外開(kāi)放獲取期刊網(wǎng)站進(jìn)行了采集調(diào)研，從網(wǎng)頁(yè)資源描述的角度歸納總結(jié)出開(kāi)放獲取期刊資源具有描述粒度細(xì)、描述復(fù)雜和描述載體結(jié)構(gòu)多變等特點(diǎn)，并根據(jù)資源組織形式，將其分為單一型資源和組合型資源。在對(duì)當(dāng)前主

3、要的資源采集方法對(duì)比分析的基礎(chǔ)上，結(jié)合開(kāi)放獲取期刊資源特點(diǎn)，提出了一種適用于開(kāi)放獲取期刊資源采集的方法。
　　然后，在對(duì)開(kāi)放獲取期刊資源采集系統(tǒng)的目標(biāo)和需求進(jìn)行了詳細(xì)分析之后，本文對(duì)當(dāng)前網(wǎng)頁(yè)采集工具以及其在開(kāi)放獲取期刊資源采集上的應(yīng)用進(jìn)行了對(duì)比，分析了開(kāi)發(fā)開(kāi)放獲取期刊資源采集系統(tǒng)的必要性。接著提出的開(kāi)放獲取期刊資源采集方法，對(duì)系統(tǒng)進(jìn)行了總體設(shè)計(jì)。系統(tǒng)主要分為三大模塊:用戶(hù)交互模塊、數(shù)據(jù)采集和網(wǎng)頁(yè)結(jié)構(gòu)檢查模塊以及數(shù)據(jù)存儲(chǔ)模塊。系統(tǒng)最

4、主要實(shí)現(xiàn)的功能包括可視化信息采集、采集規(guī)則自動(dòng)形成、多線程自動(dòng)采集、網(wǎng)頁(yè)結(jié)構(gòu)檢查、數(shù)據(jù)質(zhì)量檢測(cè)等功能。
　　接著，對(duì)系統(tǒng)三大模塊和主要功能點(diǎn)的具體實(shí)現(xiàn)進(jìn)行了詳細(xì)地介紹，并通過(guò)編碼實(shí)現(xiàn)了系統(tǒng)的具體功能，同時(shí)從功能和性能兩個(gè)角度對(duì)系統(tǒng)進(jìn)行了測(cè)試。在功能測(cè)試中，系統(tǒng)能對(duì)單一型資源和組合型資源進(jìn)行采集，能準(zhǔn)確地識(shí)別出期刊網(wǎng)站網(wǎng)頁(yè)結(jié)構(gòu)的變化，并將結(jié)構(gòu)變化后的頁(yè)面反饋給用戶(hù)重新進(jìn)行選擇和采集，系統(tǒng)具備了資源采集的基本功能。在性能測(cè)試中，通過(guò)將

5、系統(tǒng)與八爪魚(yú)采集器對(duì)同一期刊資源采集效果進(jìn)行對(duì)比，結(jié)果表明系統(tǒng)在召回率和準(zhǔn)確率都優(yōu)于八爪魚(yú)采集器。此外系統(tǒng)對(duì)12個(gè)非OAI-PMH協(xié)議的開(kāi)放獲取期刊網(wǎng)站進(jìn)行采集，總共采集到了49660篇論文，總共花費(fèi)時(shí)間為31659秒，平均每千篇文章采集所花費(fèi)的時(shí)間為10.62分鐘。系統(tǒng)采集的論文數(shù)量加上用戶(hù)標(biāo)注的臟頁(yè)數(shù)量之和與爬蟲(chóng)腳本采集到的論文鏈接數(shù)量完全相同。說(shuō)明系統(tǒng)能滿(mǎn)足開(kāi)放獲取期刊資源的采集需求，同時(shí)驗(yàn)證了本文所提出的開(kāi)放獲取期刊資源采集方法