數(shù)據(jù)集成中的真值發(fā)現(xiàn)研究.pdf

1、如今，世界信息總量以每年30％的比例增長，并且比例系數(shù)只會上升。與此同時，隨著互聯(lián)網(wǎng)技術的不斷成熟，信息數(shù)據(jù)傳播與獲取的途徑更加方便。這就使得一些組織例如政府機構、金融公司，連鎖超市等更多的從多個信息源處搜集相關信息以便做出準確的決策，因此保證搜集信息的準確性尤為重要。然而，不同的數(shù)據(jù)源對于同一個現(xiàn)實對象可能提供不同的沖突數(shù)據(jù)，這就要求數(shù)據(jù)集成系統(tǒng)能夠從沖突數(shù)據(jù)中找出真值。盡管基本的投票算法在很多時候能夠奏效，但考慮到錯誤數(shù)據(jù)可能在很多

2、數(shù)據(jù)源之間傳播(尤其是web數(shù)據(jù)源本身的特性)，使得數(shù)據(jù)源本身具有一定的出錯率，從而導致投票所選的”真值”具有一定的欺騙性。
　　本文要解決的問題就是對于一些現(xiàn)實中的真實對象，如何從很多不同的數(shù)據(jù)源所提供的大量沖突信息中找出它們最為準確的描述。本文在研究了近兩年針對此問題的多篇國際頂尖學術論文之后，通過在多個真實數(shù)據(jù)集上的實驗結果對比分析了各個算法的優(yōu)缺點，并在此基礎上最終提出了兩個基本算法。一個是基本的迭代算法——IVote，運

3、用數(shù)據(jù)源本身的可靠性和所提供描述的準確性之間的相互影響關系的概率投票算法。進而在此基礎上進行改進，考慮數(shù)據(jù)源投票的權威性，提出了IRVote算法。最后在多個真實數(shù)據(jù)集上進行了實驗，實驗結果表明，兩個算法能夠有效的發(fā)現(xiàn)真值，從而驗證了考慮數(shù)據(jù)源權威性的必要性。
　　本文還研究了真值發(fā)現(xiàn)中數(shù)據(jù)源依賴所帶來的影響，并針對如何盡可能降低數(shù)據(jù)源依賴對真值發(fā)現(xiàn)的影響提出了兩種計算數(shù)據(jù)源依賴的方法。一種是余弦相似度方法，另一種是基于描述劃分的貝