組學(xué)大數(shù)據(jù)的檢索系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、由于大規(guī)模的基因組研究和高通量數(shù)據(jù)產(chǎn)生工具的不斷發(fā)展，生物數(shù)據(jù)面臨著井噴式的增長(zhǎng)，傳統(tǒng)的數(shù)據(jù)存儲(chǔ)管理方式已經(jīng)慢慢不能滿足需求，在這個(gè)背景下，大數(shù)據(jù)技術(shù)如 Hadoop計(jì)劃，提供了分布式并行的數(shù)據(jù)處理和PB級(jí)的數(shù)據(jù)集分析，可以實(shí)現(xiàn)大規(guī)模數(shù)據(jù)的分布式存儲(chǔ)。本文探討的問題就是如何在Hadoop下實(shí)現(xiàn)對(duì)組學(xué)大數(shù)據(jù)的存儲(chǔ)及索引檢索。
　　本文在Hadoop下實(shí)現(xiàn)了一套廣泛適用于各類數(shù)據(jù)庫(kù)的索引檢索機(jī)制。針對(duì)Hadoop下 HDFS文件系統(tǒng)不

2、適用于隨機(jī)讀寫的情況，本文使用了支持快速讀寫的HBase作為數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)。由于HBase本身在索引上有自己的局限性，本文引入了基于Lucene的分布式全文索引搜索框架Solr。結(jié)合HBase固有的主節(jié)點(diǎn)-從節(jié)點(diǎn)復(fù)制機(jī)制，在數(shù)據(jù)更新到HBase的同時(shí)，本系統(tǒng)首先通過虛擬節(jié)點(diǎn)的創(chuàng)建實(shí)現(xiàn)對(duì)更新數(shù)據(jù)的訂閱，之后應(yīng)用自定義的消息機(jī)制將更新數(shù)據(jù)異步提交給系統(tǒng)創(chuàng)建的Indexer，Indexer通過用戶自定義的索引策略生成可導(dǎo)入到Solr中的數(shù)據(jù)，最

3、后由Solr完成了對(duì)數(shù)據(jù)的全文索引工作，并保存索引在HDFS內(nèi)。檢索數(shù)據(jù)時(shí)，數(shù)據(jù)請(qǐng)求被分發(fā)到集群內(nèi)的各個(gè)節(jié)點(diǎn)上，在每臺(tái)機(jī)器上進(jìn)行查詢工作。同時(shí)用戶可以提交自己的序列數(shù)據(jù)和元數(shù)據(jù)到數(shù)據(jù)庫(kù)內(nèi)，后臺(tái)會(huì)自動(dòng)進(jìn)行數(shù)據(jù)的格式轉(zhuǎn)換導(dǎo)入工作并完成實(shí)時(shí)的索引工作。
　　本系統(tǒng)使用數(shù)據(jù)對(duì)象是NCBI SRA數(shù)據(jù)庫(kù)的元數(shù)據(jù)和序列數(shù)據(jù)部分。通過對(duì)系統(tǒng)的性能測(cè)試可看到，系統(tǒng)實(shí)現(xiàn)了對(duì)數(shù)據(jù)的快速準(zhǔn)確查詢，查詢速度是傳統(tǒng)HBase查詢速度的數(shù)百倍，具有明顯的優(yōu)勢(shì)