Web海洋數(shù)據(jù)抓取及存儲系統(tǒng)的研究與實現(xiàn).pdf

1、經(jīng)過長年累月的信息調(diào)查和資料收集，各國的相關(guān)研究機(jī)構(gòu)已經(jīng)保存了大量的海洋科學(xué)數(shù)據(jù)及相關(guān)信息。隨著互聯(lián)網(wǎng)的普及，這些機(jī)構(gòu)也已經(jīng)把相關(guān)海洋數(shù)據(jù)信息發(fā)布在了Web上供用戶查詢下載。但目前還沒有針對此領(lǐng)域的信息檢索和數(shù)據(jù)抓取工具，因此難以自動、高效地大規(guī)模獲取Web海洋數(shù)據(jù)。另外，海洋數(shù)據(jù)通常以科學(xué)文本數(shù)據(jù)的形式發(fā)布，這種形式的數(shù)據(jù)是半結(jié)構(gòu)化的，需要額外的格式說明等元數(shù)據(jù)信息才能理解其含意。這種形式的數(shù)據(jù)難以進(jìn)行直接操作，只有將其存儲到關(guān)系數(shù)據(jù)

2、庫中才能得到有效的查詢和分析。
　　針對以上的背景情況，本文構(gòu)建了一個面向Web海洋數(shù)據(jù)進(jìn)行發(fā)現(xiàn)、抓取和存儲工作的系統(tǒng)框架。該框架將整個系統(tǒng)劃分成三大模塊，分別完成目標(biāo)網(wǎng)站檢索、海洋數(shù)據(jù)抓取和數(shù)據(jù)存儲的相關(guān)工作。
　　對于目標(biāo)網(wǎng)站的檢索，本文構(gòu)建了海洋科學(xué)數(shù)據(jù)領(lǐng)域的關(guān)鍵詞庫，并在此基礎(chǔ)上提出了本領(lǐng)域的主題相關(guān)度評價算法，從而通過調(diào)用搜索引擎并對返回結(jié)果進(jìn)行主題過濾的方式檢索到了滿足需求的站點地址。對于海洋科學(xué)數(shù)據(jù)文件的下載，

3、本文設(shè)計了一個專用的網(wǎng)頁文件抓取器并提出了海洋數(shù)據(jù)元數(shù)據(jù)文件的提取算法，從而能夠有效的抓取到海洋數(shù)據(jù)文件并進(jìn)行正確的解析。對于海洋文本數(shù)據(jù)的存儲，本文設(shè)計并建立了科學(xué)文本數(shù)據(jù)到關(guān)系數(shù)據(jù)庫數(shù)據(jù)之間的映射模型，從而將存放在文本文件中的海洋數(shù)據(jù)正確的加載到了海洋關(guān)系數(shù)據(jù)庫中，讓這些數(shù)據(jù)得到了有效的利用。
　　實際應(yīng)用表明，本文所設(shè)計并實現(xiàn)的系統(tǒng)取得了較好的效果，能夠滿足構(gòu)建海洋數(shù)據(jù)倉庫的相關(guān)研究中對海量數(shù)據(jù)的獲取需求。同時本系統(tǒng)也有著良