基于hadoop平臺(tái)的氫分子生物醫(yī)學(xué)數(shù)據(jù)倉(cāng)庫(kù)的分析與實(shí)現(xiàn)

1、基于基于Hadoop平臺(tái)的氫分子生物醫(yī)學(xué)數(shù)據(jù)倉(cāng)庫(kù)的分析平臺(tái)的氫分子生物醫(yī)學(xué)數(shù)據(jù)倉(cāng)庫(kù)的分析與實(shí)現(xiàn)與實(shí)現(xiàn)常強(qiáng)趙偉張磊摘要：氫分子生物醫(yī)學(xué)技術(shù)的發(fā)展方興未艾，大數(shù)據(jù)相關(guān)技術(shù)成為氫分子生物醫(yī)學(xué)領(lǐng)域的最新驅(qū)動(dòng)力。依據(jù)氫分子生物醫(yī)學(xué)科研團(tuán)隊(duì)需求，構(gòu)建氫分子生物醫(yī)學(xué)數(shù)據(jù)倉(cāng)庫(kù)模型，在數(shù)據(jù)中心環(huán)境下，使用Hadoop（分布式存儲(chǔ)技術(shù)基礎(chǔ)框架）建立氫分子生物醫(yī)學(xué)數(shù)據(jù)倉(cāng)庫(kù)，充分利用虛擬化和集群的威力，提高數(shù)據(jù)倉(cāng)庫(kù)的高速運(yùn)算和存儲(chǔ)分析能力。圍繞Hadoop生態(tài)

2、圈及其技術(shù)，實(shí)現(xiàn)了不同數(shù)據(jù)來(lái)源的氫分子生物醫(yī)學(xué)數(shù)據(jù)提取、轉(zhuǎn)換和加載，變?yōu)橥瑯?gòu)的多維數(shù)據(jù)，開展數(shù)據(jù)挖掘與分析。通過(guò)基礎(chǔ)醫(yī)學(xué)研究與計(jì)算機(jī)技術(shù)相結(jié)合，為氫分子生物醫(yī)學(xué)臨床及科研提取更多有價(jià)值的信息?！娟P(guān)鍵詞】氫分子醫(yī)學(xué)數(shù)據(jù)數(shù)據(jù)倉(cāng)庫(kù)Hadoop近年來(lái)，我國(guó)氫分子生物醫(yī)學(xué)研究不斷發(fā)展，臨床科學(xué)研究和基礎(chǔ)研究水平逐步提高，同時(shí)國(guó)內(nèi)氫健康產(chǎn)業(yè)不斷發(fā)展，相關(guān)廠家己達(dá)到600余家，相應(yīng)的氫分子生物醫(yī)學(xué)數(shù)據(jù)和產(chǎn)業(yè)數(shù)據(jù)迅速積累，這些數(shù)據(jù)中必定蘊(yùn)含著大量未被發(fā)

3、掘有價(jià)值的信息。氫分子生物醫(yī)學(xué)數(shù)據(jù)類型為文本、數(shù)字、圖像或者基因等，具有多維和異構(gòu)等特征。當(dāng)前，氫分子生物醫(yī)學(xué)數(shù)據(jù)倉(cāng)庫(kù)的相關(guān)分析研究還很少見。傳統(tǒng)的數(shù)據(jù)庫(kù)對(duì)具體的業(yè)務(wù)數(shù)據(jù)進(jìn)行處理，當(dāng)對(duì)多個(gè)數(shù)據(jù)庫(kù)的氫分子生物醫(yī)學(xué)數(shù)據(jù)倉(cāng)庫(kù)環(huán)境包括操作型系統(tǒng)和數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)兩大部分，系統(tǒng)總體架構(gòu)圖如圖1所示。操作型系統(tǒng)數(shù)據(jù)由業(yè)務(wù)數(shù)據(jù)組成，我校氫生物醫(yī)學(xué)研究團(tuán)隊(duì)的科研臨床業(yè)務(wù)數(shù)據(jù)來(lái)源多樣非單一，既有儀器設(shè)備直接產(chǎn)生的數(shù)據(jù)，又有科研管理軟件等業(yè)務(wù)軟件錄入整理后的數(shù)

4、據(jù)，還有直接從社區(qū)，病患等處采集的臨床數(shù)據(jù)。數(shù)據(jù)倉(cāng)庫(kù)建立的最為重要的處理過(guò)程是ETL過(guò)程，由數(shù)據(jù)抽取、轉(zhuǎn)換和裝載過(guò)程三個(gè)過(guò)程緊密相連。經(jīng)過(guò)數(shù)據(jù)抽取過(guò)程，將操作型數(shù)據(jù)儲(chǔ)存到數(shù)據(jù)倉(cāng)庫(kù)中，形成原始數(shù)據(jù)存儲(chǔ)（RDS）；在經(jīng)過(guò)數(shù)據(jù)的轉(zhuǎn)換和轉(zhuǎn)載過(guò)程，變?yōu)檗D(zhuǎn)換后的數(shù)據(jù)（TDS）。自動(dòng)化調(diào)度組件的功能是定期自動(dòng)執(zhí)行ETL過(guò)程。數(shù)據(jù)目錄記錄數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)的清單。查詢引擎負(fù)責(zé)運(yùn)行數(shù)據(jù)挖掘算法，執(zhí)行用戶查詢；最終用戶通過(guò)可視化的界面得到數(shù)據(jù)分析結(jié)果。2數(shù)據(jù)倉(cāng)