網(wǎng)頁(yè)資源智能收集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、數(shù)字圖書(shū)館是一個(gè)驅(qū)動(dòng)多媒體海量數(shù)字信息組織與互聯(lián)網(wǎng)應(yīng)用問(wèn)題各方面研究的技術(shù)領(lǐng)域.隨著互聯(lián)網(wǎng)的普及和發(fā)展,互聯(lián)網(wǎng)上的信息資源越來(lái)越豐富,而且數(shù)據(jù)量極大,采用傳統(tǒng)的人工管理的方法已經(jīng)無(wú)法滿足需求,這就使得互聯(lián)網(wǎng)上信息資源的收集和管理成為數(shù)字圖書(shū)館資源管理的重要課題之一.互聯(lián)網(wǎng)上海量的資源需要高效智能的工具來(lái)完成信息資源的采集、管理和檢索.搜索引擎是解決這個(gè)問(wèn)題的一個(gè)方法,用戶使用搜索引擎可以高效,快捷地檢索所需的信息.可是目前廣泛使用的搜索

2、引擎往往不是面向特定主題的,它們返回給用戶的搜索結(jié)果往往包含大量用戶不感興趣的內(nèi)容,所以不能很好的滿足國(guó)家科學(xué)數(shù)字圖書(shū)館項(xiàng)目中面向特定領(lǐng)域的信息檢索的需求.為了完成對(duì)特定領(lǐng)域信息資源的檢索,先要完成對(duì)特定領(lǐng)域信息資源的收集.搜索引擎對(duì)信息資源的收集是由網(wǎng)頁(yè)抓取器來(lái)完成的,網(wǎng)頁(yè)抓取器是搜索引擎的重要組成部分.該文所介紹的"網(wǎng)頁(yè)資源智能收集系統(tǒng)"主要利用超鏈分析、網(wǎng)頁(yè)分類(lèi)技術(shù)來(lái)解決面向特定領(lǐng)域網(wǎng)頁(yè)資源自動(dòng)收集的問(wèn)題.該系統(tǒng)把網(wǎng)頁(yè)抓取器與超鏈

3、分析器、文本自動(dòng)分類(lèi)器相結(jié)合,完成對(duì)用戶所要求特定領(lǐng)域的網(wǎng)頁(yè)的收集,避免對(duì)用戶不感興趣領(lǐng)域網(wǎng)頁(yè)的收集,這樣可以節(jié)省硬件、網(wǎng)絡(luò)資源和提高資源采集效率.為了提高發(fā)現(xiàn)新的相關(guān)網(wǎng)頁(yè)資源的效率,該系統(tǒng)中構(gòu)建了超鏈分析器,該文介紹了項(xiàng)目中構(gòu)建超鏈分析器的方法,并給出了測(cè)試結(jié)果.為了提高找到新的相關(guān)網(wǎng)頁(yè)資源的準(zhǔn)確性,系統(tǒng)中利用25000篇人工標(biāo)注類(lèi)別物理文摘作為學(xué)習(xí)樣本,構(gòu)建了中英文分類(lèi)器.該文介紹了項(xiàng)目中分類(lèi)器的構(gòu)建方法和構(gòu)建過(guò)程,并對(duì)不同的分類(lèi)器