面向電子商務(wù)網(wǎng)站的深度搜索與信息抽取研究.pdf

1、隨著網(wǎng)絡(luò)技術(shù)和數(shù)據(jù)庫技術(shù)的飛速發(fā)展,互聯(lián)網(wǎng)已成為海量信息的載體,如何從海量信息中準(zhǔn)確、快速地抽取出有價值的信息已成為人們迫切需要解決的一大難題。電子商務(wù)網(wǎng)站具有動態(tài)Web頁面、頁面結(jié)構(gòu)化程度高以及信息數(shù)量巨大且內(nèi)容豐富等特點。實際上,電子商務(wù)網(wǎng)站屬于DeepWeb,DeepWeb指的是存儲在數(shù)據(jù)庫中、不能通過靜態(tài)超鏈接訪問而需要通過動態(tài)網(wǎng)頁技術(shù)訪問的信息,用戶需要向特定的查詢接口提交查詢請求后才能訪問數(shù)據(jù)庫中的數(shù)據(jù)。深度搜索就是針對De

2、epWeb進(jìn)行搜索。DeepWeb不僅信息量大,而且具有面向某一領(lǐng)域、結(jié)構(gòu)化程度較高且可以公開訪問等特點。本文選擇電子商務(wù)網(wǎng)站作為深度搜索的對象,研究商品信息的抽取。電子商務(wù)網(wǎng)站的站內(nèi)搜索引擎為研究人員對網(wǎng)站進(jìn)行深度搜索提供了便利,它可以根據(jù)用戶輸入的關(guān)鍵詞,將與之相關(guān)的數(shù)據(jù)庫內(nèi)容以網(wǎng)頁的形式動態(tài)呈現(xiàn)出來。我們可以利用這類查詢接口進(jìn)行深度搜索,通過模擬關(guān)鍵詞的填充和提交,來獲取我們需要的頁面。
　　 通過深度搜索所獲得的頁面內(nèi)含

3、有大量商品信息,我們以此為信息源進(jìn)行信息抽取。信息抽取研究中最關(guān)鍵的技術(shù)在于如何生成抽取規(guī)則,生成的方法有很多,但從生成的手段來說可以分為兩種,一種是自動生成抽取規(guī)則,另一種是人工編寫抽取規(guī)則,兩種方法各有優(yōu)缺點,有著各自的適用范圍。自動生成的方法有利于針對不同結(jié)構(gòu)的網(wǎng)站,但準(zhǔn)確率較低;而人工編寫的方法雖然需要人工參與,但抽取結(jié)果較為精確。本文針對電子商務(wù)網(wǎng)站進(jìn)行信息抽取,抽取商品的各種信息,主要包括商品名稱、價格、運費、商品相關(guān)信息等

4、內(nèi)容。由于同一網(wǎng)站下的子頁面結(jié)構(gòu)大體相同,因此,為了獲得更為精確的抽取結(jié)果,我們采用了人工編寫抽取規(guī)則的方法。
　　 本文的主要內(nèi)容及創(chuàng)新點如下:
　　 1、設(shè)計一個關(guān)鍵詞庫接口,使得系統(tǒng)可以接受關(guān)鍵詞庫文件(文本文件,關(guān)鍵詞之間以回車符隔開),將關(guān)鍵詞庫文件內(nèi)的關(guān)鍵詞一一導(dǎo)入至系統(tǒng)中,用于表單的自動填充和提交。另外,考慮到了效率問題,讓系統(tǒng)在導(dǎo)入新關(guān)鍵詞庫文件時與舊關(guān)鍵詞庫進(jìn)行對比,判斷出新關(guān)鍵詞,最后只接受更新的那一

5、部分關(guān)鍵詞,即達(dá)到關(guān)鍵詞增量更新的目的。
　　 2、提取電子商務(wù)網(wǎng)站的HTML源碼,通過對HTML源碼進(jìn)行分析,提取出網(wǎng)站中包含查詢表單的那部分HTML源碼。根據(jù)這部分HTML源碼,利用WebBrowser控件方法對這些查詢表單自動模擬關(guān)鍵詞的填充和提交,用以獲得每一個關(guān)鍵詞所對應(yīng)的初始頁面。
　　 3、選擇性的提取鏈接,只提取初始頁面中的商品信息鏈接,而不提取廣告和友情鏈接。另外,由于商品信息鏈接有多頁,因此還需要通過