基于NoSQL的Web日志分析系統(tǒng)的設(shè)計(jì).pdf

1、如今的互聯(lián)網(wǎng)發(fā)展迅猛，互聯(lián)網(wǎng)企業(yè)也面臨極大挑戰(zhàn)，每天會(huì)被數(shù)以萬(wàn)計(jì)甚至百萬(wàn)千萬(wàn)的用戶訪問(wèn)。為了提供更好的服務(wù)質(zhì)量，了解用戶的訪問(wèn)特點(diǎn)及用戶需求，迫切需要對(duì)用戶的訪問(wèn)行為進(jìn)行分析研究。根據(jù)研究出來(lái)的用戶行為規(guī)律來(lái)改進(jìn)網(wǎng)站，吸引更多用戶的眼球，從而給客戶帶來(lái)更好的體驗(yàn)，同時(shí)給公司帶來(lái)商機(jī)。Web日志分析便因此而產(chǎn)生。所謂的Web日志分析，就是收集用戶訪問(wèn)網(wǎng)頁(yè)時(shí)產(chǎn)生的所有日志信息，進(jìn)而對(duì)這些日志進(jìn)行數(shù)據(jù)轉(zhuǎn)化、清洗、挖掘的一個(gè)過(guò)程。
　　

2、 互聯(lián)網(wǎng)企業(yè)的壯大以及應(yīng)用系統(tǒng)規(guī)模的擴(kuò)充，相應(yīng)日志信息的數(shù)量級(jí)也在同步增長(zhǎng)。傳統(tǒng)的單機(jī)版日志分析系統(tǒng)完全不能達(dá)到目前互聯(lián)網(wǎng)企業(yè)日志分析的需求，為此，大規(guī)模數(shù)據(jù)處理平臺(tái)就成為日志分析的理想平臺(tái)。
　　 本文主要研究Hadoop分布式計(jì)算框架和MongoDB分布式數(shù)據(jù)庫(kù)，并基于Hadoop和MongoDB設(shè)計(jì)高效的Web日志分析方案。在Hadoop和MongoDB中基于MapReduce進(jìn)行算法設(shè)計(jì)時(shí)，本文提出了映射(mapping