基于Hadoop技術(shù)的電信大數(shù)據(jù)分析平臺的設(shè)計和實現(xiàn).pdf

1、目前運營商的網(wǎng)絡(luò)建設(shè)的逐步成熟，3G業(yè)務(wù)的快速發(fā)展，網(wǎng)絡(luò)質(zhì)量的好壞已成為電信運營商關(guān)注的重要課題，如何保證網(wǎng)絡(luò)的高質(zhì)量，已成為最重要的運營商網(wǎng)絡(luò)優(yōu)化工作。要滿足這些需求就需要分析大量的數(shù)據(jù)，電信的無線PCMD話單和業(yè)務(wù)話單每天的數(shù)據(jù)量上TB級，原來的網(wǎng)絡(luò)優(yōu)化平臺由于架構(gòu)上的限制對如此大的數(shù)據(jù)量越來越力不從心。為了對海量的數(shù)據(jù)進行分析處理，快速查詢統(tǒng)計達到對網(wǎng)絡(luò)情況精確了解，進行精準網(wǎng)絡(luò)優(yōu)化，因此建立一個大數(shù)據(jù)分析平臺勢在必行。Hadoo

2、p[1]架構(gòu)是業(yè)內(nèi)公認的處理海量數(shù)據(jù)的高性價比解決方案。這個方案提供了一種可以構(gòu)建在普通PC服務(wù)器上的高可用性、高性能的分布式計算和存儲的方法。尤其適合于日志分析。因此開發(fā)一套基于Hadoop技術(shù)的電信大數(shù)據(jù)分析平臺是電信網(wǎng)絡(luò)優(yōu)化部門的很好的選擇。
　　本文首先介紹了當前的Hadoop技術(shù)的發(fā)展現(xiàn)狀，介紹了Hadoop技術(shù)及相關(guān)組件。重點對HDFS[2]，YARN[3]，Mapreduce[4]，Hive[5]，HBase[6]的

3、工作原理進行的介紹，描述了電信大數(shù)據(jù)分析時運用hadoop技術(shù)的優(yōu)勢。也為電信大數(shù)據(jù)分析平臺的設(shè)計和實現(xiàn)中運用這些技術(shù)打下一個基礎(chǔ)。
　　然后認真分析電信的用戶投訴快速處理，小區(qū)負荷分析,業(yè)務(wù)質(zhì)量分析，故障排查，重大場景保障，業(yè)務(wù)占比分析，全網(wǎng)指標統(tǒng)計，用戶行為分析，主流業(yè)務(wù)分析等需求，以及分析電信大數(shù)據(jù)分析平臺所處的位置后，進行了系統(tǒng)總體設(shè)計。通過對需求的分類，利用Hadoop中不同組件的特性，發(fā)揮各自優(yōu)勢，用Hbase實現(xiàn)了快

4、速查詢功能，用Hive實現(xiàn)了快速統(tǒng)計分析功能。另外實現(xiàn)中間件為外部系統(tǒng)提供一系列API接口，使其可以使用數(shù)據(jù)平臺中的計算資源以及已經(jīng)實現(xiàn)的數(shù)據(jù)分析算法等。
　　在各個功能的實現(xiàn)過程中根據(jù)電信數(shù)據(jù)的特性對Hbase數(shù)據(jù)庫的使用以及Hive表的使用進行了仔細規(guī)劃和設(shè)計。在已實現(xiàn)的功能的使用中發(fā)現(xiàn)有數(shù)據(jù)傾斜等情況，沒能完全發(fā)揮Hadoop的高并發(fā)的分布式系統(tǒng)的全部威力，根據(jù)各個任務(wù)情況和數(shù)據(jù)特性進行優(yōu)化和調(diào)整，最終得到了性能上的提升。<