面向大規(guī)模日志文件的數(shù)據(jù)處理方法研究及應(yīng)用.pdf

1、時(shí)至今日，大數(shù)據(jù)時(shí)代到來的風(fēng)暴革新了我們的生活、工作和思維，滲透在各個(gè)工業(yè)、商業(yè)和科研領(lǐng)域當(dāng)中。在科學(xué)研究（天文學(xué)、生物學(xué)、高能物理等）、互聯(lián)網(wǎng)、電子商務(wù)、計(jì)算機(jī)仿真等應(yīng)用中數(shù)據(jù)呈現(xiàn)快速增長的趨勢，特別是在科學(xué)研究中每年新數(shù)據(jù)的增量為15PB左右；大數(shù)據(jù)時(shí)代帶來兩大趨勢：數(shù)據(jù)不斷膨脹和數(shù)據(jù)深度分析。因此近年來對(duì)數(shù)據(jù)的分析和挖掘已經(jīng)成為計(jì)算機(jī)研究領(lǐng)域中一個(gè)炙手可熱的話題。大數(shù)據(jù)諸如突出的各種特性，已經(jīng)使得傳統(tǒng)的數(shù)據(jù)ETL、數(shù)據(jù)挖掘的方式都

2、不再適用。面對(duì)密集型、復(fù)雜混合型的數(shù)據(jù)需要有更高效的監(jiān)控方案。數(shù)據(jù)ETL主要是將分散的、異構(gòu)源中的數(shù)據(jù)如關(guān)系型數(shù)據(jù)、稠密性數(shù)據(jù)進(jìn)行提取、清洗和加載，最后成為聯(lián)機(jī)分析處理、數(shù)據(jù)挖掘的的基礎(chǔ)。
　　目前對(duì)海量日志處理的方案和開源軟件相繼出現(xiàn)，基于Hadoop的應(yīng)用已經(jīng)遍地開花，尤其是在互聯(lián)網(wǎng)領(lǐng)域。分布式文件系統(tǒng)HDFS和并行計(jì)算模型MapReduce作為Hadoop的核心組件，從存儲(chǔ)模型和計(jì)算模型都具有更高的容錯(cuò)性、更強(qiáng)的擴(kuò)展性，為海

3、量日志的處理提供了很好的運(yùn)行平臺(tái)保障。在數(shù)據(jù)存儲(chǔ)中采用諸如HBase的非關(guān)系型數(shù)據(jù)庫，以此為基礎(chǔ)深入研究適應(yīng)大規(guī)模網(wǎng)絡(luò)日志文件的數(shù)據(jù)處理技術(shù)，主要圍繞數(shù)據(jù)監(jiān)控、數(shù)據(jù)清洗、數(shù)據(jù)抽取、數(shù)據(jù)裝載、挖掘應(yīng)用開展研究論述。僅僅對(duì)海量日志進(jìn)行預(yù)處理是不足以完全達(dá)到海量數(shù)據(jù)處理的能力，還需要結(jié)合相關(guān)的數(shù)據(jù)挖掘算法研究，基于上述原因，本文將Hadoop平臺(tái)技術(shù)運(yùn)用到數(shù)據(jù)挖掘中，對(duì)于能夠?qū)崿F(xiàn)并行化的算法，結(jié)合了MapReduce并行計(jì)算模型，將其移植到H

4、adoop平臺(tái)上，提高了海量數(shù)據(jù)處理的性能。
　　本文的研究重點(diǎn)總結(jié)如下：
　　一、Hadoop生態(tài)系統(tǒng)中的開源子項(xiàng)目－Zookeeper，本文在研究中利用其分布式協(xié)調(diào)服務(wù)、分布式鎖機(jī)制和實(shí)時(shí)反饋等相關(guān)技術(shù)，提出了實(shí)時(shí)計(jì)算框架－通用數(shù)據(jù)采集模型。該數(shù)據(jù)模型采用三層設(shè)計(jì)架構(gòu)，作為單點(diǎn)可靠服務(wù)，在不影響單機(jī)主體正常服務(wù)的情況下，提供“無感知”的服務(wù)部署，為日志的實(shí)時(shí)采集提供了高效的策略。
　　二、依托Hadoop平臺(tái)的數(shù)據(jù)

5、組織、讀寫原理，針對(duì)海量數(shù)據(jù)的特點(diǎn)，設(shè)計(jì)并實(shí)現(xiàn)了基于Chukwa的大規(guī)模日志智能監(jiān)測方法。極大的彌補(bǔ)了MapReduce只能處理大文件數(shù)據(jù)的缺陷，也進(jìn)一步提高了日志處理的靈活性和擴(kuò)展性。
　　三、研究MapReduce并行計(jì)算模型，提出一種基于M-R計(jì)算模型的遺傳聚類并行算法(Clustering Genetic parallel Algorithm based on M-R model, M-R CGPA)。通過使用遺傳算法來彌