基于隱私保護(hù)的數(shù)據(jù)挖掘若干關(guān)鍵技術(shù)研究.pdf

1、數(shù)據(jù)挖掘是指從大量的、不完全的、有噪聲的、模糊的、隨機的數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。數(shù)據(jù)挖掘技術(shù)的廣泛應(yīng)用使得人們能夠從大量數(shù)據(jù)中獲取隱含的知識。然而，由于被挖掘的數(shù)據(jù)中通常還包含著許多敏感性的信息，使得數(shù)據(jù)挖掘在帶來信息時代知識學(xué)習(xí)的巨大價值的同時，也對人們的隱私和數(shù)據(jù)安全構(gòu)成了威脅。目前在商業(yè)、軍事及公共醫(yī)療衛(wèi)生等應(yīng)用領(lǐng)域，經(jīng)常面臨著如何在保護(hù)各自隱私安全的前提下進(jìn)行充分的同行業(yè)合作

2、以及數(shù)據(jù)共享的問題。因此，如何將數(shù)據(jù)挖掘和隱私保護(hù)有機地結(jié)合起來，已經(jīng)是人們面臨的一個重要課題。
　　 基于隱私保護(hù)的數(shù)據(jù)挖掘(Privacy Preserving Data Mining，簡稱PPDM)是指采用數(shù)據(jù)擾亂、數(shù)據(jù)重構(gòu)、密碼學(xué)等技術(shù)手段，能夠在保證足夠精度和準(zhǔn)確度的前提下，使數(shù)據(jù)挖掘者在不觸及實際隱私數(shù)據(jù)的同時，仍能進(jìn)行有效的挖掘工作。其目的就是通過對原始數(shù)據(jù)或者挖掘算法進(jìn)行某種改進(jìn)，在不向外界泄漏隱私信息的同時，發(fā)

3、現(xiàn)原始數(shù)據(jù)的某些統(tǒng)計規(guī)律或隱含的知識和規(guī)則。目前圍繞分類挖掘、聚類挖掘和關(guān)聯(lián)規(guī)則挖掘等主要的數(shù)據(jù)挖掘方法，學(xué)術(shù)界已經(jīng)提出了許多相應(yīng)的PPDM算法。但是在神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)和貝葉斯網(wǎng)絡(luò)增量學(xué)習(xí)方面，與之相關(guān)的PPDM算法研究較少，且效率不高。另外，分布式數(shù)據(jù)挖掘中的隱私保護(hù)問題較集中式環(huán)境更為復(fù)雜，使得傳統(tǒng)集中式PPDM技術(shù)無法直接應(yīng)用于分布式環(huán)境中。所以本文針對這些問題展開了深入研究。概括地來說，本文的主要研究工作可分為以下幾個方面：

4、　　 1)反向傳播神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法已經(jīng)被廣泛地應(yīng)用在醫(yī)療診斷，生物信息學(xué)，入侵檢測，國土安全等領(lǐng)域。這些應(yīng)用領(lǐng)域有一個共同點，就是都需要從大量的復(fù)雜的數(shù)據(jù)中抽取模式和預(yù)測趨勢。在以上這些應(yīng)用領(lǐng)域中，如何來保護(hù)敏感數(shù)據(jù)和個人的隱私信息不被泄露是一個重要的問題。目前已有的反向傳播神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法，絕大多數(shù)都沒有考慮學(xué)習(xí)過程中如何保護(hù)數(shù)據(jù)的隱私信息。本文為反向傳播神經(jīng)網(wǎng)絡(luò)提出兩個基于隱私保護(hù)的協(xié)議，分別適用于數(shù)據(jù)被水平分割和數(shù)據(jù)被垂直分割的

5、情況。在建造神經(jīng)網(wǎng)絡(luò)的過程中，需要為訓(xùn)練樣本集計算網(wǎng)絡(luò)權(quán)向量。為了保證神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)模型的隱私信息不被泄露，本文提出將權(quán)向量分配給所有參與方，使得每個參與方都具有權(quán)向量的一部分私有值。在對各層的神經(jīng)元進(jìn)行計算時，使用安全點積協(xié)議，安全多方乘積協(xié)議和安全多方加協(xié)議，從而保證神經(jīng)網(wǎng)絡(luò)權(quán)向量的中間值和最終值都是安全的。最后被建造好的學(xué)習(xí)模型被所有參與方安全地共享，并且每個參與方可以使用該模型為各自的目標(biāo)數(shù)據(jù)預(yù)測出相應(yīng)的輸出結(jié)果。實驗結(jié)果表明本文

6、所提出的兩個協(xié)議的執(zhí)行時間與加密密鑰長度和參與方數(shù)目之間的關(guān)系。另外，實驗結(jié)果還表明這兩個協(xié)議與各自的非隱私保護(hù)版本協(xié)議在測試誤差率上的區(qū)別。
　　 2)貝葉斯網(wǎng)絡(luò)學(xué)習(xí)是機器學(xué)習(xí)和數(shù)據(jù)挖掘的另一個研究方向。在對貝葉斯網(wǎng)絡(luò)學(xué)習(xí)算法的研究中，一方面需要考慮數(shù)據(jù)的隱私信息不被泄露；另一方面，在現(xiàn)實世界應(yīng)用中，數(shù)據(jù)可能是逐步到達(dá)貝葉斯網(wǎng)絡(luò)的，因此傳統(tǒng)的貝葉斯網(wǎng)絡(luò)學(xué)習(xí)算法就不能被有效的應(yīng)用。為了解決該問題，可以使用增量學(xué)習(xí)的策略。增量學(xué)習(xí)

7、策略可以在安全性、執(zhí)行時間和內(nèi)存分配方面改善算法的性能，但是目前已有的基于隱私保護(hù)的貝葉斯網(wǎng)絡(luò)學(xué)習(xí)算法都沒有結(jié)合增量學(xué)習(xí)的策略。所以本文提出一種基于隱私保護(hù)的貝葉斯網(wǎng)絡(luò)增量學(xué)習(xí)算法。該算法所使用的增量學(xué)習(xí)策略是基于充分統(tǒng)計量的。其思路大致為：首先提出一個計算充分統(tǒng)計量的公式，在此基礎(chǔ)上對傳統(tǒng)的K2算法進(jìn)行改進(jìn)，并添加了充分統(tǒng)計量的概念，進(jìn)而提出一個增量型的K2算法，最后提出基于隱私保護(hù)的貝葉斯網(wǎng)絡(luò)增量學(xué)習(xí)算法。使用該算法可以從那些被水平

8、分割并且是逐步到達(dá)的數(shù)據(jù)中，計算出網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)。該算法只需要保存每個結(jié)點和它可能的雙親集合的充分統(tǒng)計量，就可以計算出每個結(jié)點和它的雙親的得分函數(shù)值，從而建造出貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)。實驗結(jié)果表明本文所提出的基于隱私保護(hù)的貝葉斯網(wǎng)絡(luò)增量學(xué)習(xí)算法的執(zhí)行效率高于非增量學(xué)習(xí)算法。另外，實驗結(jié)果還表明增量學(xué)習(xí)算法的執(zhí)行時間與候選雙親鏈表中所含成員數(shù)目之間的關(guān)系。
　　 3)在分布式環(huán)境下，對大量的分布式數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘時，如何保護(hù)數(shù)據(jù)的隱私信息

9、是一個重要問題。本文從系統(tǒng)框架設(shè)計和算法設(shè)計兩個方面來解決這個問題。在系統(tǒng)框架設(shè)計方面，本文提出了一種新的適用于頻繁模式挖掘的框架，其中每個子網(wǎng)絡(luò)只含有一個ConnectNode，并由其負(fù)責(zé)和其它網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)傳輸，從而提高網(wǎng)絡(luò)之間數(shù)據(jù)傳輸效率。在整個分布式框架內(nèi)，只有可信結(jié)點可以訪問數(shù)據(jù)庫。在算法設(shè)計方面，本文提出了一種分布式環(huán)境下基于隱私保護(hù)的頻繁模式挖掘算法，該算法沒有采用以往的切割傳輸數(shù)據(jù)庫的方法，而是設(shè)計出一種傳輸頻繁模式樹的方

10、法。該方法通過對待傳輸?shù)臄?shù)據(jù)先進(jìn)行壓縮再傳輸?shù)姆绞絹硖岣呔W(wǎng)絡(luò)傳輸效率。在該算法中計算結(jié)點不需要訪問數(shù)據(jù)庫，也不需要各個結(jié)點交換數(shù)據(jù)內(nèi)容，從而避免數(shù)據(jù)隱私信息被泄露。只有可信結(jié)點才被允許訪問數(shù)據(jù)庫內(nèi)容，所以即使某個計算結(jié)點的數(shù)據(jù)被竊取，該數(shù)據(jù)也并不是完整的交易內(nèi)容，從而可以將數(shù)據(jù)泄露的威脅降到最低。實驗結(jié)果表明本文所提出的算法的執(zhí)行效率明顯高于其它并行分布式的頻繁模式挖掘算法。
　　 綜上所述，本文針對神經(jīng)網(wǎng)絡(luò)和貝葉斯網(wǎng)絡(luò)這兩種主