基于大數(shù)據(jù)的日志管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、云計(jì)算技術(shù)實(shí)現(xiàn)了軟硬件資源的共享，極大節(jié)省了用戶(hù)基礎(chǔ)設(shè)備的購(gòu)置和管理成本，促使越來(lái)越多的企業(yè)將應(yīng)用程序部署在云平臺(tái)之上。云計(jì)算提供按需服務(wù)，動(dòng)態(tài)分配資源，造成了應(yīng)用程序日志的丟失，同時(shí)分布式存儲(chǔ)的日志也不便于查看和分析。日志信息對(duì)于系統(tǒng)的維護(hù)和優(yōu)化具有重要意義，因此，將云平臺(tái)下應(yīng)用程序的日志進(jìn)行統(tǒng)一的收集和管理是非常必要的。
　　針對(duì)云計(jì)算環(huán)境下應(yīng)用程序日志的特點(diǎn)，本文做了如下的研究工作:(1)云計(jì)算根據(jù)應(yīng)用程序的負(fù)載變化情況，動(dòng)

2、態(tài)分配計(jì)算資源，造成了應(yīng)用程序日志容易丟失的問(wèn)題。本文研究和對(duì)比了主流的分布式日志收集系統(tǒng)，從中選擇Flume對(duì)日志進(jìn)行集中收集管理。
　　(2)各種應(yīng)用、中間件、系統(tǒng)等每天都會(huì)產(chǎn)生大量的日志，這些日志經(jīng)過(guò)日志收集系統(tǒng)聚合之后，形成了海量的日志信息。傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)已經(jīng)不能很好的面對(duì)海量數(shù)據(jù)的存儲(chǔ)需求。本文考察了當(dāng)前流行的非關(guān)系型數(shù)據(jù)庫(kù)，重點(diǎn)研究了其中代表性的MongoDB數(shù)據(jù)庫(kù)。研究發(fā)現(xiàn)，MongoDB無(wú)模式的存儲(chǔ)方式、簡(jiǎn)便的

3、集群擴(kuò)充等特點(diǎn)非常適合作為海量異構(gòu)日志的載體。在進(jìn)一步的研究中發(fā)現(xiàn)，MongoDB基于Chunk塊的數(shù)據(jù)均衡策略存在性能?chē)?yán)重下降的問(wèn)題。本文提出基于Chord環(huán)的數(shù)據(jù)均衡策略，依此改造了MongoDB集群，并通過(guò)實(shí)驗(yàn)驗(yàn)證了改造的有效性。
　　(3)傳統(tǒng)的單機(jī)日志分析方法面對(duì)海量日志時(shí)已經(jīng)力不從心，本文對(duì)并行化日志分析方法進(jìn)行了研究。并行計(jì)算模型MapReduce具有簡(jiǎn)單、適用性強(qiáng)、處理數(shù)據(jù)規(guī)模大等優(yōu)點(diǎn)，可以滿(mǎn)足海量日志的分析需求。