機(jī)票實時數(shù)據(jù)處理系統(tǒng)的設(shè)計與實現(xiàn).pdf

1、本論文的主題是機(jī)票實時數(shù)據(jù)處理系統(tǒng)的設(shè)計與實現(xiàn)，來源于公司大數(shù)據(jù)部的實際業(yè)務(wù)需求。該公司業(yè)務(wù)核心是訂購機(jī)票服務(wù)，線上機(jī)票訂購系統(tǒng)每天都會產(chǎn)生大量的交易數(shù)據(jù)，存儲在MySQL和日志文件中。由于分庫分表策略，機(jī)票交易數(shù)據(jù)分布在3500多個MySQL數(shù)據(jù)庫中，涉及近五萬張表。本系統(tǒng)對大量的機(jī)票數(shù)據(jù)進(jìn)行實時的處理和展示，以滿足運營以及決策人員的數(shù)據(jù)查詢需求。
　　本系統(tǒng)分為四部分，分別為數(shù)據(jù)實時同步，數(shù)據(jù)處理，數(shù)據(jù)存儲以及數(shù)據(jù)展示。為了保

2、證數(shù)據(jù)采集的實時性，本系統(tǒng)使用Canal（基于MySQL Binlog的實時同步開源項目）來完成MySQL數(shù)據(jù)庫的實時數(shù)據(jù)同步功能。數(shù)據(jù)處理部分根據(jù)存儲和展示方式的不同，分為ElasticSearch（實時全文檢索引擎）處理程序，同構(gòu)數(shù)據(jù)處理程序，Storm(分布式流數(shù)據(jù)實時框架)實時處理程序三部分。ElasticSearch處理程序用于根據(jù)業(yè)務(wù)規(guī)則整合機(jī)票信息，將所有信息放入一張表，存儲到ElasticSearch中，用于大數(shù)據(jù)量的任

3、意字段的實時查詢。同構(gòu)數(shù)據(jù)處理部分根據(jù)分庫分表策略，將不同數(shù)據(jù)庫相同表名中的信息整合到同一張表中。全量數(shù)據(jù)存儲在HBase中，用于指定字段的實時查詢，不支持任意字段的實時查詢。同時，兩天內(nèi)的數(shù)據(jù)會存儲到MySQL，完成郵件報表等功能。Storm實時數(shù)據(jù)處理部分則實現(xiàn)了機(jī)票交易信息的實時看板功能，利用Storm的實時計算能力，對線上交易數(shù)據(jù)進(jìn)行統(tǒng)計，通過折線圖，表格等方式實時地進(jìn)行結(jié)果展示。
　　在本系統(tǒng)之前，公司采用基于Hive的