基于Hadoop的時態(tài)信息存儲與檢索策略的研究.pdf

1、隨著信息技術(shù)的深入發(fā)展，蜂擁而至的信息演變成了各個領(lǐng)域和行業(yè)分析、處理以及應(yīng)用的關(guān)鍵，成為左右決策最重要的因素。幾乎所有信息都顯式或隱式地具備時態(tài)特征，探討時態(tài)信息的存儲與檢索技術(shù)成為是時態(tài)信息處理的核心之一。當(dāng)前架構(gòu)在傳統(tǒng)關(guān)系數(shù)據(jù)庫之上的時態(tài)數(shù)據(jù)模型在進行超大規(guī)模和高并發(fā)的時態(tài)數(shù)據(jù)存儲和處理時遭遇了性能瓶頸，暴露了諸多難以克服的問題，既無法滿足對時態(tài)數(shù)據(jù)的高并發(fā)讀寫需求，同時也難以處理大量存在的類型復(fù)雜的非結(jié)構(gòu)化數(shù)據(jù)，學(xué)者們開始逐步關(guān)

2、注分布式系統(tǒng)基礎(chǔ)架構(gòu)Hadoop下的應(yīng)用。Hadoop是一個開源的云計算架構(gòu)，具有大規(guī)模擴展和水平分布的特點，可以提供動態(tài)的存儲和計算能力，這就為海量時態(tài)數(shù)據(jù)的存儲和快速檢索提供了一個新思路。
　　針對海量非結(jié)構(gòu)化時態(tài)信息，構(gòu)建了在分布式環(huán)境下的數(shù)據(jù)存儲模型并在此基礎(chǔ)上提出一種基本的時態(tài)數(shù)據(jù)處理方法。使用Hadoop平臺下的分布式、非結(jié)構(gòu)化數(shù)據(jù)庫HBase對時態(tài)數(shù)據(jù)進行存儲，構(gòu)造以時態(tài)集合為時態(tài)存儲單元的時態(tài)數(shù)據(jù)存儲模型;對于時態(tài)

3、信息的查詢需求，針對分布式處理特征和時態(tài)集合數(shù)據(jù)類型，提出一種在Map/Reduce編程計算模式下進行時態(tài)信息關(guān)系演算的實現(xiàn)方法;通過擴展時態(tài)區(qū)間關(guān)系運算，實現(xiàn)以時態(tài)集合為基本時態(tài)數(shù)據(jù)操作對象的交、并等關(guān)系運算，并以醫(yī)療時態(tài)數(shù)據(jù)作為研究實例，表明了所提出的時態(tài)數(shù)據(jù)存儲模型和關(guān)系演算方案在分布式應(yīng)用系統(tǒng)下的適用性。對于時態(tài)信息的快速檢索需求，設(shè)計了多級分布式哈希索引表算法(tDHT)，實現(xiàn)對時態(tài)列族的時態(tài)屬性值的高效、快速的檢索。通過將時

4、態(tài)屬性值向二維空間映射，實現(xiàn)時態(tài)數(shù)據(jù)向空間對象的轉(zhuǎn)化，采用對空間數(shù)據(jù)的處理方法對時態(tài)數(shù)據(jù)區(qū)域進行劃分，生成多級時態(tài)數(shù)據(jù)子區(qū)域，利用分布式哈希表思想設(shè)計HBase存儲的多級索引表目錄。
　　論文的創(chuàng)新之處包括:(1)針對傳統(tǒng)的時態(tài)數(shù)據(jù)庫在存儲海量非結(jié)構(gòu)化時態(tài)信息遭遇性能瓶頸，構(gòu)建分布式存儲結(jié)構(gòu)HBase下的海量時態(tài)信息存儲模型，設(shè)計了海量時態(tài)信息的存儲架構(gòu);(2)對于存儲體系中時態(tài)信息的查詢、分析操作，提出一種在Map/Reduce

5、編程模式下進行海量時態(tài)信息關(guān)系演算的方案，實現(xiàn)了以時態(tài)集合為操作對象的并、交以及笛卡爾積等時態(tài)關(guān)系演算過程;(3)針對海量時態(tài)信息的快速、高效檢索需求，設(shè)計了多級分布式哈希索引表算法(tDHT)，實現(xiàn)對時態(tài)列族的時態(tài)屬性值的高效、快速檢索。
　　根據(jù)設(shè)計方案，文章最后進行了相應(yīng)的性能測試和數(shù)據(jù)分析，從實驗結(jié)果可以看出，本文提出的海量時態(tài)信息的存儲、查詢與檢索方案在云計算平臺下展現(xiàn)了良好的適用性，較大程度上提高了對海量時態(tài)數(shù)據(jù)的處理