異構(gòu)數(shù)據(jù)庫語義集成技術(shù)研究.pdf

1、信息技術(shù)的迅猛發(fā)展和Internet技術(shù)的廣泛應用，給人們的生活、工作和學習帶來了極大的方便。但隨著人們對信息綜合利用需求的進一步提高，Internet的局限性也凸現(xiàn)出來，因為計算機互連網(wǎng)絡實現(xiàn)的是一種硬件的連通，所連接起來的信息大部分是異構(gòu)的，形成了一個個信息孤島，很難達到互聯(lián)互通，真正實現(xiàn)數(shù)據(jù)的共享。信息的不一致造成有限的信息共享、缺少數(shù)據(jù)交換是制約實現(xiàn)數(shù)據(jù)綜合利用的主要瓶頸。因此，如何找出并消除異構(gòu)數(shù)據(jù)庫中數(shù)據(jù)的沖突、異常，進行數(shù)

2、據(jù)庫集成，是實現(xiàn)綜合信息應用必須解決的問題。 數(shù)據(jù)庫集成技術(shù)可以有效地檢測數(shù)據(jù)異常、盡早地調(diào)整數(shù)據(jù)、消除數(shù)據(jù)的不完整和不一致，從而有助于提高信息綜合利用的質(zhì)量。異構(gòu)數(shù)據(jù)庫集成的關(guān)鍵問題是找出異構(gòu)數(shù)據(jù)庫間相同的語義對象，即語義集成，具體到關(guān)系數(shù)據(jù)庫中，就是要找出異構(gòu)數(shù)據(jù)庫間相同的屬性和實體（記錄），即屬性匹配和實體匹配問題。本篇論文主要在分析研究了現(xiàn)有異構(gòu)數(shù)據(jù)庫語義集成技術(shù)特點的基礎上，針對目前方法的不足，考慮到神經(jīng)網(wǎng)絡具有較強的

3、自學習能力和推廣能力，比較適合處理語義集成這類不確定性問題，將神經(jīng)網(wǎng)絡理論應用到異構(gòu)數(shù)據(jù)庫語義集成中的屬性匹配和實體匹配領(lǐng)域。同時，在解決實體匹配問題時，針對屬性權(quán)重難以準確計算的問題，我們分別考慮了屬性的信息熵和互信息來估算屬性的權(quán)重。從提高識別相同語義對象的查準率和查全率兩個重要指標出發(fā)，提出了新的屬性匹配和實體匹配算法，并在具體應用環(huán)境中的數(shù)據(jù)庫上進行了實驗，取得了理想的效果。 本論文主要研究工作如下： ①全面地綜

4、述了目前異構(gòu)數(shù)據(jù)庫集成所涉及的主要問題，詳細地介紹了異構(gòu)數(shù)據(jù)庫語義集成的任務、語義異構(gòu)的類型和解決語義異構(gòu)問題主要采用的方法，并對目前方法的特點和不足之處進行了研究，分析了將神經(jīng)網(wǎng)絡理論、信息熵和互信息理論引入異構(gòu)數(shù)據(jù)庫語義集成領(lǐng)域中解決屬性匹配和實體匹配問題的可行性。 ②分析了目前文獻中基于BP神經(jīng)網(wǎng)絡的屬性匹配方法的不足，指出不同的輸入在神經(jīng)網(wǎng)絡上可能對應相同的輸出是影響神經(jīng)網(wǎng)絡結(jié)果準確性的主要因素之一，并進行了理論上的證

5、明和具體實驗環(huán)境的驗證。為了解決該問題，在論文中提出了用相同的訓練數(shù)據(jù)在不同的初始權(quán)值和閾值的情形下多次訓練神經(jīng)網(wǎng)絡，從而構(gòu)建不同于一般多級分類器方法的多個分類器的思想，可以實現(xiàn)對干擾數(shù)據(jù)的有效過濾。該思想在本文的第三章和第五章得到了很好的體現(xiàn)。 ③針對目前異構(gòu)數(shù)據(jù)庫語義集成中屬性匹配方法的不足，根據(jù)建立多個分類器的思想，提出了基于BP神經(jīng)網(wǎng)絡的二步檢查法屬性匹配算法。算法中，屬性首先根據(jù)數(shù)據(jù)類型進行分類，然后根據(jù)各分類后的屬

6、性集的特點構(gòu)建相應的神經(jīng)網(wǎng)絡，并在各分類的屬性集內(nèi)用不同的初始權(quán)值和閾值多次訓練神經(jīng)網(wǎng)絡。在進行屬性匹配時，將待匹配的屬性特征向量分別輸入對應的已訓練好的多個神經(jīng)網(wǎng)絡中，并對每個神經(jīng)網(wǎng)絡上的匹配結(jié)果求交集作為最終的屬性匹配結(jié)果。實驗結(jié)果證明該方法能明顯提高屬性匹配的準確率，降低神經(jīng)網(wǎng)絡的訓練時間。 ④針對目前異構(gòu)數(shù)據(jù)庫語義集成中實體匹配問題屬性的權(quán)重分配方案的不足，本文給出了一種基于屬性信息熵的方法來計算屬性的權(quán)重，并給出了實

7、體匹配的決策模型和基于信息熵的異構(gòu)實體匹配算法。該方法充分考慮了數(shù)據(jù)的特征，客觀且容易量化，具體應用環(huán)境下的實驗結(jié)果顯示有較高的精確度。另外，對于具有相同信息熵的不同屬性，若直接按基于屬性信息熵的方法計算權(quán)重，則這些屬性會獲得相同的權(quán)重，未能有效地對屬性的重要性進行區(qū)分。為此，還考慮了屬性的互信息，并給出了計算屬性的最終熵值的算法，通過考慮屬性信息熵和互信息來決定屬性的權(quán)重，然后根據(jù)實體匹配的決策模型和算法實現(xiàn)實體匹配，進一步提高了實體

8、匹配的查準率和查全率。 ⑤針對異構(gòu)數(shù)據(jù)庫語義集成中實體匹配的屬性權(quán)重準確計算比較困難的問題，除了采用本文給出的基于屬性信息熵和互信息的方法進行解決外，還采用不直接計算屬性的權(quán)重，而是將基于學習的思想引入到實體匹配領(lǐng)域，通過神經(jīng)網(wǎng)絡學習屬性之間的內(nèi)在關(guān)系來實現(xiàn)實體是否匹配的判斷。在應用神經(jīng)網(wǎng)絡解決實體匹配問題前，首先結(jié)合一個具體的分類問題，分析了影響B(tài)P神經(jīng)網(wǎng)絡解決分類問題的性能及準確率的原因。然后分別給出了基于BP神經(jīng)網(wǎng)絡的實