面向依賴型數(shù)據(jù)源的Deep Web數(shù)據(jù)融合技術(shù)研究.pdf

1、在Deep Web數(shù)據(jù)挖掘中，不同數(shù)據(jù)源之間往往會(huì)出現(xiàn)數(shù)據(jù)沖突，如何消解沖突從而獲得正確值（這一過程稱為數(shù)據(jù)融合）是數(shù)據(jù)集成中的一個(gè)關(guān)鍵問題。在數(shù)據(jù)源之間相互獨(dú)立的理想情況下，如果提供某個(gè)正確值的數(shù)據(jù)源數(shù)量多于提供其它錯(cuò)誤值的數(shù)量，那么可以應(yīng)用投票機(jī)制將大多數(shù)數(shù)據(jù)源提供的屬性值作為正確值。然而Web技術(shù)使得數(shù)據(jù)源之間的拷貝變得容易，拷貝關(guān)系也變得很復(fù)雜。在一個(gè)top-k查詢接口上融合數(shù)據(jù)時(shí)希望能夠忽略這些拷貝的信息，給用戶呈現(xiàn)高質(zhì)量的數(shù)

2、據(jù)。
　　本文運(yùn)用統(tǒng)計(jì)學(xué)方法分析不同數(shù)據(jù)源之間的依賴關(guān)系，將其引入注重效率的在線數(shù)據(jù)融合過程和數(shù)據(jù)集成框架中，以最小代價(jià)獲得最大覆蓋性、更精準(zhǔn)的查詢結(jié)果。本文工作包括以下三點(diǎn)：
　　(1)提出檢測(cè)一對(duì)數(shù)據(jù)源之間依賴關(guān)系的方法。該方法利用貝葉斯分析確定數(shù)據(jù)源之間的依賴性，設(shè)計(jì)出檢測(cè)依賴性和融合數(shù)據(jù)的迭代算法，并通過考慮數(shù)據(jù)源準(zhǔn)確度和屬性值之間的相似性等條件擴(kuò)展模型，有效地提高了數(shù)據(jù)融合的效果。
　　(2)研究在一組數(shù)據(jù)源

3、之間發(fā)現(xiàn)復(fù)雜拷貝關(guān)系的技術(shù)。首先，修正上述局部檢測(cè)方法，提出一個(gè)可以插入不同類型拷貝證據(jù)的框架，并考慮不同數(shù)據(jù)項(xiàng)目上的拷貝相關(guān)性，以滿足全局檢測(cè)對(duì)拷貝方向的精確要求。其次，提出全局檢測(cè)模型，消除協(xié)同拷貝、傳遞拷貝和多數(shù)據(jù)源拷貝等復(fù)雜拷貝關(guān)系，只返回具有直接拷貝關(guān)系的成對(duì)數(shù)據(jù)源。
　　(3)引入依賴關(guān)系，構(gòu)建在線數(shù)據(jù)融合系統(tǒng)。它從訪問第一個(gè)數(shù)據(jù)源開始增量計(jì)算投票計(jì)數(shù)，返回答案及其置信度范圍，在滿足一定條件后終止。設(shè)計(jì)數(shù)據(jù)源排序算法，