Web記錄自動抽取與去重方法的研究與實現(xiàn).pdf

1、隨著網(wǎng)絡普及,電子商務的迅猛發(fā)展,出現(xiàn)了很多類型的電子商務網(wǎng)站。為了給用戶提供便捷的商品導購比價服務,讓用戶在短時間內(nèi)找到高質(zhì)量、低價格、售后完備的商品,購物導航網(wǎng)站的開發(fā)勢在必行。而Web網(wǎng)頁已成為購物導航網(wǎng)站一個豐富的數(shù)據(jù)源,因此,如何從Web中抽取出完整的商品記錄并進行合并去重已成為一個極具價值的問題。
　　本文通過研究已有的Web記錄抽取方法和系統(tǒng),從中選擇了使用DOM樹模型的Webharvest工具作為數(shù)據(jù)抽取工具;接著

2、,在分析了已有數(shù)據(jù)去重方法之后,在現(xiàn)有字符串距離度量的基礎上,加入了前期的數(shù)據(jù)處理階段,提出了基于距離度量的中文數(shù)據(jù)去重方法,并在實際數(shù)據(jù)中測試效果良好;最后,在數(shù)據(jù)去重方法的基礎上設計并實現(xiàn)了兩種將Web數(shù)據(jù)抽取和數(shù)據(jù)去重集成到一起的自動化方法,包括基于搜索引擎過濾的自動化方法和基于語義分詞標注的自動化方法。
　　通過對兩種自動化方法的測試,基于搜索引擎過濾的自動化方法結果滿足設計要求,實現(xiàn)了將Web數(shù)據(jù)抽取并去重,并存入本地數(shù)