基于HDFS的時(shí)空數(shù)據(jù)共享與查詢隱私保護(hù)的研究與實(shí)現(xiàn).pdf

1、伴隨著科技的發(fā)展，社會(huì)生活的信息化程度不斷提高，在每天的生產(chǎn)生活中都會(huì)產(chǎn)生大量的數(shù)據(jù)，如何有效地存儲(chǔ)并查詢這些數(shù)據(jù)對未來的生產(chǎn)生活有重要意義。近年來云計(jì)算與云存儲(chǔ)的興起為海量數(shù)據(jù)的存儲(chǔ)與查詢提供了更有效地解決方法，越來越多的應(yīng)用開始向云端遷移。本文依托于“海洋環(huán)境信息計(jì)算與服務(wù)體系框架”的國家海洋公益項(xiàng)目。針對國家海洋局中海量時(shí)空數(shù)據(jù)存儲(chǔ)分散與管理復(fù)雜的特點(diǎn)，本文研究實(shí)現(xiàn)了基于HDFS的時(shí)空數(shù)據(jù)共享系統(tǒng);針對保護(hù)用戶時(shí)空信息查詢隱私的研

2、究目標(biāo)，本文實(shí)現(xiàn)了時(shí)空數(shù)據(jù)的查詢隱私保護(hù)算法。
　　基于HDFS的分布式文件共享系統(tǒng)的框架分為三層:基礎(chǔ)層、接口層、服務(wù)層?；A(chǔ)層使用Apache MINA、Java、Mysql、HDFS實(shí)現(xiàn)，四者分別負(fù)責(zé)消息通信、數(shù)據(jù)傳輸、用戶信息存儲(chǔ)、數(shù)據(jù)存儲(chǔ)功能。接口層負(fù)責(zé)管理基礎(chǔ)層資源并向服務(wù)層提供服務(wù)接口，該層分為數(shù)據(jù)傳輸模塊、用戶管理模塊、文件管理模塊三個(gè)模塊。服務(wù)層負(fù)責(zé)系統(tǒng)的業(yè)務(wù)邏輯處理，該層解析用戶消息并調(diào)用接口層模塊提供的服務(wù)執(zhí)

3、行用戶請求。本系統(tǒng)為每個(gè)用戶指定存儲(chǔ)空間，多個(gè)用戶可以共用同一存儲(chǔ)空間，同時(shí)共享里面的文件。
　　海洋局存儲(chǔ)著海量時(shí)空信息，現(xiàn)有的隱私查詢算法在進(jìn)行查詢時(shí)效率較低，針對這種不足本文提出了空間最近鄰與空間范圍隱私查詢算法。本文在CPIR-V算法的基礎(chǔ)上提出了SCPIR-V算法，該算法通過尋找潛在最近鄰點(diǎn)集的關(guān)系來壓縮計(jì)算矩陣，從而減少查詢時(shí)的計(jì)算代價(jià)與通信代價(jià)，該算法可以在服務(wù)端無法獲取查詢位置的前提下向用戶返回包含最近點(diǎn)的空間信息

4、。通過對比試驗(yàn)可以看出SCPIR-V算法在高斯分布與真實(shí)數(shù)據(jù)下可以提高查詢性能，在均勻數(shù)據(jù)下算法查詢性能在網(wǎng)格劃分較多時(shí)較好。本文將CPIR算法應(yīng)用到空間范圍查詢中，并在樸素的空間范圍查詢算法的基礎(chǔ)上提出了基于分組的空間范圍查詢算法。實(shí)驗(yàn)結(jié)果表明基于分組的查詢算法的通信代價(jià)沒有顯著增長，而服務(wù)端與客戶端計(jì)算性能優(yōu)于樸素查詢算法。
　　海洋數(shù)據(jù)中的時(shí)間信息會(huì)隨著數(shù)據(jù)的采集不斷的增長，現(xiàn)有的隱私數(shù)據(jù)查詢技術(shù)無法滿足用戶需求，為此本文提

5、出了基于CPIR的時(shí)間信息隱私查詢算法與時(shí)間范圍隱私查詢算法。本文分析了時(shí)間信息的基本特征，通過改進(jìn)樸素時(shí)間插入算法提出了基于動(dòng)態(tài)調(diào)整的時(shí)間插入算法與基于動(dòng)態(tài)哈希的時(shí)間插入算法。算法通過設(shè)置數(shù)據(jù)集的數(shù)目與排列方式使服務(wù)端無法判斷查詢內(nèi)容與查詢結(jié)果。最后本文將三種算法應(yīng)用到時(shí)間范圍查詢中。本文對三種算法進(jìn)行了實(shí)驗(yàn)，當(dāng)對單一時(shí)刻進(jìn)行查詢時(shí)，動(dòng)態(tài)哈希算法效率較高;進(jìn)行范圍查詢時(shí)，在客戶端計(jì)算時(shí)間與通信代價(jià)并不顯著增加的情況下，動(dòng)態(tài)哈希算法服務(wù)