基于HBase的移動(dòng)統(tǒng)計(jì)平臺(tái)的研究.pdf

1、最近隨著越來(lái)越多的開發(fā)者轉(zhuǎn)向移動(dòng)應(yīng)用開發(fā),移動(dòng)應(yīng)用迎來(lái)快速發(fā)展的春天,但大量移動(dòng)應(yīng)用在同一時(shí)間涌入市場(chǎng)必然面對(duì)著非常激烈的競(jìng)爭(zhēng)。為了能在如此競(jìng)爭(zhēng)激烈地移動(dòng)互聯(lián)網(wǎng)領(lǐng)域脫穎而出,必須對(duì)自己的移動(dòng)應(yīng)用在市場(chǎng)的表現(xiàn)有實(shí)時(shí)和全面的了解,另外開發(fā)者還要充分了解移動(dòng)應(yīng)用的優(yōu)勢(shì)和劣勢(shì)所在,只有這樣才能及時(shí)的完善移動(dòng)應(yīng)用的功能和增強(qiáng)移動(dòng)應(yīng)用的競(jìng)爭(zhēng)力。以上的關(guān)鍵就是從用戶處獲取數(shù)據(jù)并對(duì)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)計(jì)算,考慮到數(shù)據(jù)量是非常巨大且不一定是結(jié)構(gòu)化的,利用HBas

2、e和Hadoop提供的分布式海量存儲(chǔ)和并行計(jì)算的能力,可以實(shí)現(xiàn)對(duì)移動(dòng)應(yīng)用的統(tǒng)計(jì)。
　　本文在HBase數(shù)據(jù)庫(kù)的基礎(chǔ)上,設(shè)計(jì)并實(shí)現(xiàn)一個(gè)移動(dòng)應(yīng)用統(tǒng)計(jì)平臺(tái)。它實(shí)現(xiàn)了對(duì)一個(gè)移動(dòng)應(yīng)用最基本的統(tǒng)計(jì),比如用戶量,啟動(dòng)次數(shù),啟動(dòng)時(shí)間等,以及各個(gè)統(tǒng)計(jì)項(xiàng)目在不同Target上的分布情況,另外系統(tǒng)利用MapReduce可以以較小的時(shí)間代價(jià)統(tǒng)計(jì)出某一類別移動(dòng)應(yīng)用的Top K,然后將統(tǒng)計(jì)信息以移動(dòng)應(yīng)用為單位通過(guò)Web展示。本系統(tǒng)還對(duì)HBase進(jìn)行優(yōu)化以支持

3、海量數(shù)據(jù)的快速查找定位,以及對(duì)HBase某幾列利用Coprocessor建立二級(jí)索引,提高條件檢索的查詢效率。另外在HBase和Hadoop基礎(chǔ)框架之上基于Jetty建立一套Api框架,對(duì)系統(tǒng)整個(gè)業(yè)務(wù)邏輯進(jìn)行封裝。最后在Api框架下建立一系列模塊化的,支持交叉合并的Report接口,用于返回?cái)?shù)據(jù)給Web端顯示。
　　本文還搭建測(cè)試環(huán)境完成HBase的讀寫性能測(cè)試,以及二級(jí)索引和基于二級(jí)索引找Top K方法的性能測(cè)試,通過(guò)測(cè)試數(shù)據(jù)得