基于網(wǎng)頁內(nèi)容分析的Web信息抽取技術及其應用.pdf

1、隨著計算機網(wǎng)絡的發(fā)展和信息化社會的到來,搜索引擎正在發(fā)揮著日益重要的作用。通用搜索引擎以其方便、快捷、索引信息量大等特點而為人們所熟知,但使用它們檢索特定領域的信息,或它們在面向特定領域的應用時,往往檢索得到的信息準確性和專指性不強。因此,開發(fā)針對某一專題或應用的搜索引擎有實用價值和現(xiàn)實意義。在專題搜索引擎的開發(fā)中,用于爬取相關網(wǎng)頁的網(wǎng)絡蜘蛛的設計與實現(xiàn)對搜索引擎的整體性能有較大影響。
　　 自1999年以來,我國高校招生規(guī)模逐

2、年擴大,學生人數(shù)的大幅度增加,給高校學生的培養(yǎng)及就業(yè)帶來了諸多壓力。因此,運用科學的方法對在校學生教育信息和畢業(yè)生就業(yè)信息實施管理顯得尤為重要,更重要的是,可以更好地對高校的招生和培養(yǎng)工作給予輔助指導。基于上述需求,本課題對以大學生就業(yè)信息及教育信息為主題的專用搜索引擎中的網(wǎng)絡蜘蛛程序進行了設計與實現(xiàn)。在網(wǎng)頁抓取過程中根據(jù)一定的規(guī)則分析頁面內(nèi)容,完成相關信息的抽取和分析,過濾與主題無關的內(nèi)容,并將其存儲到網(wǎng)頁庫中,進而完成搜索引擎中的數(shù)