基于分層采樣的DeepWeb數(shù)據(jù)分析方法研究.pdf

1、Deep Web中蘊(yùn)含海量的高質(zhì)量數(shù)據(jù)。面向Deep Web的數(shù)據(jù)分析已成為目前Deep Web領(lǐng)域新的研究熱點(diǎn)。由于Deep Web本身存在查詢接口限制等問(wèn)題，現(xiàn)有的Deep Web數(shù)據(jù)分析研究大多以采樣的方式進(jìn)行，而樣本只能以提交查詢的方式獲得。由于查詢次數(shù)相對(duì)于本地計(jì)算資源更加昂貴，對(duì)Deep Web進(jìn)行數(shù)據(jù)分析時(shí)，不僅要考慮樣本數(shù)據(jù)對(duì)于分析任務(wù)的支持度，而且要考慮如何減少查詢次數(shù)?；诖耍疚纳钊胙芯苛藘纱箢怐eep Web數(shù)據(jù)

2、分析任務(wù)，具體包括以下幾個(gè)方面的工作：
　　(1)針對(duì)Deep Web表單型查詢接口的特性，分析了現(xiàn)有的采樣策略及其在總量估計(jì)任務(wù)中的應(yīng)用，探討了樣本無(wú)偏性對(duì)于不同分析任務(wù)的影響，為后續(xù)的研究提供理論基礎(chǔ)。
　　(2)針對(duì)Deep Web聚類分析任務(wù)，從降低采樣次數(shù)和提高聚類準(zhǔn)確率角度出發(fā)，提出了一種基于分層采樣的Deep Web多步法聚類方法。為了弱化初始樣本對(duì)于分層的影響，利用代表性采樣與臨界點(diǎn)采樣策略迭代挑選最優(yōu)樣本子

3、集，并結(jié)合分層樣本權(quán)重信息以估計(jì)聚類結(jié)果。在人工和雅虎數(shù)據(jù)集上的實(shí)驗(yàn)表明，該方法能夠達(dá)到較高的聚類精度。
　　(3)針對(duì)Deep Web異常點(diǎn)分析任務(wù)，綜合考慮準(zhǔn)確率和召回率度量準(zhǔn)則，提出了一種基于分層采樣的Deep Web異常點(diǎn)檢測(cè)方法。該方法從分層指標(biāo)角度對(duì)分層過(guò)程進(jìn)行優(yōu)化以適應(yīng)異常點(diǎn)任務(wù)的特性，并且結(jié)合樣本的層次關(guān)系，以鄰近采樣的方式挖掘異常點(diǎn)樣本。同時(shí)為了解決樣本的不確定性問(wèn)題，引入不確定性采樣過(guò)程。在多個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)表