基于Web的商品信息抽取與融合的研究與實(shí)現(xiàn).pdf

1、隨著Internet的快速發(fā)展,互聯(lián)網(wǎng)已經(jīng)發(fā)展成為一個巨大的分布式信息空間,為用戶提供了一個極具有價值的信息源。然而,在利用搜索引擎進(jìn)行Internet信息檢索時,返回的搜索結(jié)果數(shù)目非常龐大,用戶常常還是難以快速、準(zhǔn)確地從紛繁復(fù)雜的海量信息中尋找到自己所需的且比較一致的信息。Web信息抽取和數(shù)據(jù)融合是解決該問題的重要途徑之一。Web信息抽取是對各種不同的文本包含的信息進(jìn)行結(jié)構(gòu)化處理,以定位、識別并提取出需要的信息點(diǎn),表示成一種統(tǒng)一的、結(jié)

2、構(gòu)化的形式;數(shù)據(jù)融合主要對來自多個信息源的數(shù)據(jù)進(jìn)行自動檢測、關(guān)聯(lián)及組合等的處理,擴(kuò)展了時間上和空間上的觀測范圍,增強(qiáng)了數(shù)據(jù)的可信任度。
　　本文對Web信息抽取和數(shù)據(jù)融合進(jìn)行了深入的研究和探討,提出了一種針對商品信息的抽取方法和相應(yīng)的數(shù)據(jù)融合方法。該方法結(jié)合了Web商品信息的特點(diǎn)使用了商品信息在線抽取和權(quán)重系數(shù)法數(shù)據(jù)融合。并引入HtmlParser(網(wǎng)頁解析器)和正則表達(dá)式等技術(shù)完成了相應(yīng)的實(shí)現(xiàn)。
　　其主要研究工作如下:1

3、)給出了一種網(wǎng)頁獲取方法。此方法在Java程序中集成Google Web API實(shí)現(xiàn)網(wǎng)頁的搜索和獲取,同時通過構(gòu)造正則表達(dá)式來實(shí)現(xiàn)在已獲取的網(wǎng)頁中匹配出更多相關(guān)的網(wǎng)頁,這些網(wǎng)頁將被存儲到本地磁盤。2)了解商品參數(shù)以建立俱全的商品參數(shù)庫,結(jié)合參數(shù)庫匹配正則表達(dá)式以HtmlParser對商品信息進(jìn)行快速準(zhǔn)確的抽取。其中針對商品頁面源代碼的特點(diǎn),只需依次解析頁面中的table塊和div塊,提高了解析和判別的速度。3)對抽取出的特定數(shù)據(jù)集進(jìn)行分