一種基于Storm和Mongodb的分布式實(shí)時(shí)日志數(shù)據(jù)存儲(chǔ)與處理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)及應(yīng)用.pdf

1、大規(guī)模實(shí)時(shí)計(jì)算作為大數(shù)據(jù)計(jì)算的重要組成部分，大規(guī)模的實(shí)時(shí)日志數(shù)據(jù)計(jì)算正逐漸成為各個(gè)計(jì)算機(jī)或互聯(lián)網(wǎng)系統(tǒng)重要的組成部分，實(shí)時(shí)日志處理正應(yīng)用于實(shí)時(shí)統(tǒng)計(jì)，實(shí)時(shí)風(fēng)控，實(shí)時(shí)推薦，實(shí)時(shí)監(jiān)控、個(gè)性化服務(wù)、實(shí)時(shí)搜索等應(yīng)用場景中。根據(jù)大規(guī)模實(shí)時(shí)日志數(shù)據(jù)存儲(chǔ)和處理的需求，本文設(shè)計(jì)實(shí)現(xiàn)了一個(gè)基于MongoDB和Storm的大規(guī)模分布式實(shí)時(shí)日志數(shù)據(jù)存儲(chǔ)與處理系統(tǒng)，本文詳細(xì)介紹了系統(tǒng)的設(shè)計(jì)需求，系統(tǒng)架構(gòu)和詳細(xì)實(shí)現(xiàn)，解決了實(shí)時(shí)分布式多源異構(gòu)日志數(shù)據(jù)日志的收集、存儲(chǔ)資

2、源浪費(fèi)、負(fù)載均衡、降低能耗、數(shù)據(jù)分析流程復(fù)雜等問題，實(shí)現(xiàn)了大規(guī)模分布式實(shí)時(shí)日志數(shù)據(jù)的收集、分發(fā)、實(shí)時(shí)處理、實(shí)時(shí)查詢、海量存儲(chǔ)等功能。該系統(tǒng)基于分布式日志收集模塊，消息發(fā)布——訂閱模塊，分布式存儲(chǔ)模塊、分布式實(shí)時(shí)計(jì)算模塊，監(jiān)控管理模塊多個(gè)核心模塊，提供一套完整的、穩(wěn)定的、可擴(kuò)展的、可容錯(cuò)的、分布式的、高性能的、節(jié)能的大規(guī)模實(shí)時(shí)日志數(shù)據(jù)存儲(chǔ)和處理系統(tǒng)。
　　本文基于Flume設(shè)計(jì)了一個(gè)分布式日志收集模塊，實(shí)現(xiàn)多源異構(gòu)日志數(shù)據(jù)的收集、分

3、發(fā)和存儲(chǔ)功能，該解決方案具有易動(dòng)態(tài)擴(kuò)展、分布式、高性能、容錯(cuò)的優(yōu)點(diǎn)。針對(duì)大規(guī)模實(shí)時(shí)日志數(shù)據(jù)的突發(fā)性特點(diǎn)，本文設(shè)計(jì)了一種基于節(jié)能負(fù)載均衡算法的分布式實(shí)時(shí)系統(tǒng)任務(wù)調(diào)度模塊，在滿足性能需求的前提下，實(shí)現(xiàn)負(fù)載均衡和節(jié)能的目的。針對(duì)大規(guī)模實(shí)時(shí)日志數(shù)據(jù)訪問具有很強(qiáng)的時(shí)效性特點(diǎn)，即當(dāng)前一小段時(shí)間內(nèi)的數(shù)據(jù)對(duì)結(jié)果的影響很大，會(huì)被頻繁訪問，以前時(shí)間的數(shù)據(jù)訪問的可能性很小，設(shè)計(jì)了一種基于訪問熱度，把日志數(shù)據(jù)根據(jù)訪問熱度按不同存儲(chǔ)策略存儲(chǔ)的方案，并且將不同存儲(chǔ)