基于MapReduce解析二進(jìn)制文件的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著航天航空領(lǐng)域的快速發(fā)展,傳統(tǒng)的數(shù)據(jù)存儲(chǔ)與分析方法已經(jīng)不能滿足于目前的龐大數(shù)據(jù)量,而云計(jì)算技術(shù)的出現(xiàn)和發(fā)展,很好的解決了這一問題。本文主要研究使用云計(jì)算技術(shù)中的并行計(jì)算框架MapReduce來解決航天航空領(lǐng)域中的大容量二進(jìn)制總線數(shù)據(jù)文件的解析問題,MapReduce框架實(shí)現(xiàn)了將用戶程序自動(dòng)分布到一個(gè)由多臺(tái)普通計(jì)算機(jī)組成的集群中來并發(fā)執(zhí)行的功能。
　　本文通過對(duì)航天航空領(lǐng)域中的試驗(yàn)數(shù)據(jù)格式進(jìn)行分析,提出了適合于該領(lǐng)域二進(jìn)制總線數(shù)據(jù)

2、文件的解析方法。針對(duì)航天航空領(lǐng)域中總線類型多及總線消息格式不一致的問題,本文采用了顯式動(dòng)態(tài)加載的方式來分別解析不同類型的二進(jìn)制總線數(shù)據(jù),并設(shè)計(jì)了統(tǒng)一的解析接口。同時(shí),本文實(shí)現(xiàn)了將具體的解析算法應(yīng)用于MapReduce并行計(jì)算框架中以提高解析性能,并設(shè)計(jì)了在Map階段生成的中間值中加入當(dāng)前數(shù)據(jù)分片的起始位置,在Reduce階段按照起始位置從小到大的順序輸出解析結(jié)果,從而保證了寫入的解析結(jié)果順序與原始二進(jìn)制文件中的消息順序一致。