Web數據庫大小估算方法的研究與應用.pdf

1、網絡技術的不斷發(fā)展,使得Web迅速發(fā)展成為一個浩瀚復雜的數據源,已成為人們獲取信息的重要途徑。整個Web可以劃分為Surface Web和Deep Web(又稱為Hidden Web或Invisible Web)兩大部分。Deep Web包含的信息比Surface Web中的信息更豐富、結構化更好、主題性更強。為了更加高效、準確地利用Deep Web上的海量信息,研究者們已經在Deep Web領域開展了大量的研究工作。尤其是在Deep

2、Web數據集成方面,積累了相當多的研究成果。本文關注的則是Deep Web研究領域的一個新問題,即如何估算一個 Web數據庫的人小。
　　本文首先介紹了一些Web數據庫大小估算方法相關工作,并指出了其存在的缺陷與不足。然后針對目前較為完善的基于屬性相關度的Web數據庫大小估算方法的缺陷進行了改進,并提出了一種新的隨機采樣方法。其主要工作如下:(1)提出了一種基于Zipf分布的Web數據庫大小估算方法。該方法通過計算屬性相關度,選擇

3、屬性相關度最小的屬性抽取近似隨機樣本。根據該近似隨機樣本,計算得到屬性詞分布與樣本大小,并在此基礎上計算Zipf分布方程,得到屬性值的詞頻,從而估計Web數據庫的大小。該方法是對基于屬性相關度的Web數據庫隨機采樣方法存在的缺陷——即使選擇屬性相關度最小的屬性進行隨機采樣,兩個屬性還是有一定的關聯(lián),這就會給采樣結果帶來一定的影響,針對這一缺陷進行的改進,使得對Web數據庫的估算結果更加準確。(2)根據Web數據庫的特征,提出了一種新的基