基于Hadoop-MongoDB的Web日志挖掘技術(shù)研究.pdf

1、當(dāng)今是一個(gè)互聯(lián)網(wǎng)迅速發(fā)展的時(shí)代，對(duì)互聯(lián)網(wǎng)服務(wù)提供商來(lái)說(shuō)，日志數(shù)據(jù)是一個(gè)需要進(jìn)行挖掘的寶藏庫(kù)，因?yàn)檫@些日志數(shù)據(jù)中記錄了用戶在使用應(yīng)用時(shí)的一些動(dòng)作規(guī)律、個(gè)性喜好等用戶行為數(shù)據(jù)以及后臺(tái)系統(tǒng)的性能狀態(tài)、響應(yīng)耗時(shí)等服務(wù)數(shù)據(jù)。應(yīng)用提供商通過(guò)挖掘這些數(shù)據(jù)，能夠指導(dǎo)其合理的調(diào)整應(yīng)用的架構(gòu)、內(nèi)容，使其能夠?qū)τ脩籼峁└嗅槍?duì)性的商業(yè)服務(wù)，提供更好的用戶體驗(yàn)，從而在互聯(lián)網(wǎng)產(chǎn)業(yè)的競(jìng)爭(zhēng)中抓住先機(jī)。但是現(xiàn)代的Web日志一般數(shù)據(jù)都十分巨大，傳統(tǒng)的單機(jī)處理分析的方式已

2、經(jīng)很難適應(yīng)當(dāng)前的大數(shù)據(jù)處理的要求。
　　本文主要研究了基于Hadoop及NoSQL技術(shù)中的MongoDB進(jìn)行Web日志挖掘的分析處理技術(shù)，其主要研究?jī)?nèi)容如下:
　　第一，探討了Web日志挖掘技術(shù)以及云計(jì)算的發(fā)展以及國(guó)內(nèi)外的研究現(xiàn)狀，確定了本文的研究方向;介紹了Web日志挖掘技術(shù)的一些理論基礎(chǔ)，分析了Web日志文件的存放位置、日志類型，以及常用的日志分析中的預(yù)處理機(jī)制。
　　第二，本文對(duì)Hadoop平臺(tái)架構(gòu)以及其核心技術(shù)

3、進(jìn)行了深入研究，闡述了其框架結(jié)構(gòu)，MapReduce編程模型以及其對(duì)大數(shù)據(jù)處理的性能優(yōu)勢(shì)。同時(shí)，本文還對(duì)MongoDB進(jìn)行了詳細(xì)研究，介紹了MongoDB的基本內(nèi)容，分析了非結(jié)構(gòu)化數(shù)據(jù)庫(kù)與傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù)庫(kù)的優(yōu)劣以及MongoDB對(duì)非結(jié)構(gòu)化數(shù)據(jù)的性能優(yōu)勢(shì)。
　　第三，研究分析了Web日志挖掘中的常用算法Apriori算法，它是Agrawal提出的挖掘產(chǎn)生布爾關(guān)聯(lián)規(guī)則所需頻繁項(xiàng)集的基本算法，指出Apriori算法本身需要大量掃描數(shù)據(jù)庫(kù)

4、，存在一定的I/O瓶頸。針對(duì)這一問(wèn)題，本文提出一種改進(jìn)的AprioriHM算法，算法輸入集合根據(jù)頻繁項(xiàng)集的不關(guān)聯(lián)或者弱關(guān)聯(lián)劃分成若干個(gè)子集合，將子集合分發(fā)到各個(gè)節(jié)點(diǎn)。這樣，當(dāng)進(jìn)行頻繁集項(xiàng)的迭代時(shí)，不需要再掃描整個(gè)數(shù)據(jù)候選集，只需通過(guò)搜索相關(guān)子集合，不僅減少了大部分對(duì)數(shù)據(jù)庫(kù)的掃描，同樣更有效率的找到數(shù)據(jù)集中的頻繁集項(xiàng)。在算法的實(shí)現(xiàn)上，將算法分布式運(yùn)行，利用Hadoop框架管理并行處理細(xì)節(jié)，減少挖掘算法分布式實(shí)現(xiàn)的難度，同時(shí)提高了算法在實(shí)現(xiàn)