Web中的行情數(shù)據(jù)抽取與預(yù)測研究.pdf

1、隨著Web技術(shù)的飛速發(fā)展，萬維網(wǎng)已經(jīng)成為世界上最大的資源庫，面向Web數(shù)據(jù)的挖掘與應(yīng)用成為數(shù)據(jù)挖掘領(lǐng)域的研究熱點(diǎn)。其中，針對(duì)Web中大量動(dòng)態(tài)表格形式的行情數(shù)據(jù)的有效獲取和預(yù)測，具有理論價(jià)值和實(shí)際意義。本文主要針對(duì)這一課題開展研究，內(nèi)容如下： (1)提出了Web行情數(shù)據(jù)抽取算法和Web頁特征抽取算法。兩個(gè)算法都充分利用了HTML的語法規(guī)則和Web頁設(shè)計(jì)規(guī)律。Web行情數(shù)據(jù)抽取算法主要基于“Web行情數(shù)據(jù)通常在網(wǎng)頁中表現(xiàn)為區(qū)域最大的

2、數(shù)據(jù)表格”等規(guī)律，首先自動(dòng)識(shí)別出最大的數(shù)據(jù)表格，然后轉(zhuǎn)換為DOM樹結(jié)構(gòu)，最后抽取DOM樹的結(jié)點(diǎn)值。與傳統(tǒng)算法不同，算法無需用戶定義抽取數(shù)據(jù)區(qū)域，實(shí)現(xiàn)了自動(dòng)抽取。為了描述被抽取的頁面，提出了Web頁的元數(shù)據(jù)描述模型及元數(shù)據(jù)提取算法。元數(shù)據(jù)抽取算法充分利用Web頁規(guī)律，通過正則表達(dá)式實(shí)現(xiàn)了有效抽取。實(shí)驗(yàn)表明，Web行情數(shù)據(jù)抽取算法和元數(shù)據(jù)提取算法均具有較好的性能。 (2)開展了Web行情數(shù)據(jù)的預(yù)測研究。行情數(shù)據(jù)預(yù)測需求一般分為長期預(yù)

3、測(一年以上)和短期預(yù)測(一年之內(nèi))。利用Web行情數(shù)據(jù)抽取算法獲取某農(nóng)產(chǎn)品報(bào)價(jià)數(shù)據(jù)后，針對(duì)長期和短期預(yù)測需求，分別運(yùn)用多個(gè)時(shí)間序列預(yù)測模型、使用不同的樣本數(shù)據(jù)，比較預(yù)測模型和樣本數(shù)據(jù)對(duì)預(yù)測性能的影響。實(shí)驗(yàn)表明，長期預(yù)測采用線性季節(jié)模型和長期樣本數(shù)據(jù)的性能較好；短期預(yù)測采用Holter-Winter季節(jié)模型和短期樣本數(shù)據(jù)的性能較好。 (3)設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)農(nóng)產(chǎn)品價(jià)格預(yù)測原型系統(tǒng)。該系統(tǒng)針對(duì)某個(gè)農(nóng)產(chǎn)品，自動(dòng)從特定網(wǎng)站獲取每日價(jià)格行