一個語義網(wǎng)數(shù)據(jù)采集系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、隨著語義網(wǎng)的發(fā)展，基于語義網(wǎng)數(shù)據(jù)的應(yīng)用越來越多。由于語義網(wǎng)數(shù)據(jù)的開發(fā)與存儲具有分布式的特點，為了促進(jìn)語義網(wǎng)數(shù)據(jù)的重用和集成，語義網(wǎng)搜索引擎漸漸成為語義網(wǎng)的研究熱點。Falcons正是一個集語義網(wǎng)數(shù)據(jù)采集、索引、檢索功能于一體的語義網(wǎng)數(shù)據(jù)搜索引擎。本文闡述了它的一個子系統(tǒng)-Falcons語義網(wǎng)數(shù)據(jù)采集系統(tǒng)的設(shè)計與實現(xiàn)。 本文首先對語義網(wǎng)采集的研究現(xiàn)狀進(jìn)行了調(diào)查研究，指出了現(xiàn)有工作的不足之處，為了能夠采集盡可能多、數(shù)據(jù)形式多樣的語義

2、網(wǎng)數(shù)據(jù)，本文總結(jié)出各種可行的采集方案，并設(shè)計出一個多種采集方式結(jié)合，并相互協(xié)作的采集框架來完成采集的工作，即元采集、站點內(nèi)采集和RDF采集。其中元采集是利用已有的搜索引擎獲得采集結(jié)果的采集方式；站點內(nèi)采集是利用并改進(jìn)傳統(tǒng)網(wǎng)絡(luò)爬蟲進(jìn)行的采集方式；RDF采集是把語義網(wǎng)看作是一個RDF圖模型，通過解析語義網(wǎng)文檔，選擇RDF鏈接得到新的語義網(wǎng)文檔的采集方式。另外，本文還關(guān)注了采集過程中需要考慮的幾點問題，如回訪策略和網(wǎng)頁重定向的問題。

3、本文的貢獻(xiàn)在于，通過多種采集方式結(jié)合與協(xié)作的方式，能夠全面地覆蓋萬維網(wǎng)中的語義網(wǎng)數(shù)據(jù)，大大提高數(shù)據(jù)收集的效率，F(xiàn)alcons系統(tǒng)因而也更具競爭力。Falcons所支持的三種采集方式構(gòu)成了一個各部分既相對獨立，又相互協(xié)作、互為補充，并且可持續(xù)運行的整體。元采集可以說是整個采集系統(tǒng)的啟動采集方式，它可以為站點內(nèi)采集和RDF采集提供種子URI；而站點內(nèi)采集與RDF采集又可以互相為對方提供種子URI。在實驗結(jié)果部分，文章分別給出了利用每種采集方