基于云平臺的轉(zhuǎn)錄組數(shù)據(jù)Error correction算法的研究.pdf

1、基因測序技術(shù)可以幫助了解生物的遺傳信息，從而識別生物體的致病基因和研究正確有效的治療方法。由于現(xiàn)有技術(shù)的限制，DNA通常被打斷成短片段，再用基因組裝算法將其拼接。然而短片段序列中存在堿基錯誤，如何修正是組裝算法的重要研究問題。
　　現(xiàn)有的串行Error correction算法基于這樣一種思想:來自于同一個基因組位置的reads共享某一段長度的子片段(K-mer)，通過估算K-mer，找出最有可能出錯的堿基并修改。比如K-mer清

2、單算法，利用K-mer清單圖來尋找錯誤堿基，雖然較為快速，但堿基糾錯準(zhǔn)確率不高。而K-mer枚舉比對算法利用枚舉出的K-mer找到具有相同特征的reads，再由這些reads找到錯誤堿基，雖然提高了準(zhǔn)確率，但是計算復(fù)雜，內(nèi)存消耗過大。因此兩種算法無法勝任處理海量短片段序列的任務(wù)。
　　本文提出并行Error correction算法，利用Hadoop的分布式文件系統(tǒng)(HDFS, Hadoop Distributed Filesys

3、tem)、Map/Reduce(Google Map/Reduce的開源實現(xiàn))并行編程模型和新的堿基修改規(guī)則，提高Error correction的速度和準(zhǔn)確率，減少Error correction內(nèi)存的占用。本文主要工作包括:
　　(1)針對Hadoop的Map/Reduce并行編程模型對原有算法的操作流程以及整體架構(gòu)進(jìn)行改進(jìn)。設(shè)計適合用于并行Error correction算法的鏈表，利用該鏈表存儲相關(guān)的K-mer信息和rea

4、ds信息。利用Map/Reduce并行編程模型進(jìn)行數(shù)據(jù)預(yù)處理:轉(zhuǎn)變短片段序列的存儲格式，過濾短片段序列中無用的信息，并行枚舉出所有的K-mer，為后續(xù)的reads比對做準(zhǔn)備。
　　(2)利用Map/Reduce并行編程模型完成K-mer與reads的序列比對，得到所有包含相同K-mer特征的reads序列，用設(shè)計好的鏈表分組存儲所有比對過后的序列。改進(jìn)堿基修改規(guī)則，設(shè)計一種較為完善的計算平均堿基質(zhì)量分?jǐn)?shù)的規(guī)則，將之應(yīng)用到并行算法中