基于hadoop的海量搜索日志分析平臺(tái)的設(shè)計(jì)和實(shí)現(xiàn).pdf

1、自20世紀(jì)末期以來，隨著互聯(lián)網(wǎng)行業(yè)的增長和人類活動(dòng)信息化進(jìn)程的加速，人們的信息交流日趨頻繁，如何進(jìn)行有效的信息檢索也隨之成為人們面臨的難題之一。搜索引擎技術(shù)的出現(xiàn)幫助人們走出了信息的迷宮，實(shí)現(xiàn)了有效的信息檢索，極大的改變了人們工作和生活的方式。
　　目前，對(duì)搜索引擎技術(shù)的研究已不再僅僅局限于其本身，對(duì)網(wǎng)絡(luò)用戶行為的研究也越來越被關(guān)注。這是因?yàn)閷?duì)網(wǎng)絡(luò)用戶行為進(jìn)行系統(tǒng)深入的研究，有利于直接捕捉用戶的顯性需求并發(fā)掘其隱性需求。與網(wǎng)絡(luò)和信

2、息化相關(guān)的另一個(gè)挑戰(zhàn)是對(duì)如何應(yīng)對(duì)海量數(shù)據(jù)的處理。這不僅對(duì)傳統(tǒng)數(shù)據(jù)庫服務(wù)器的存儲(chǔ)模式是一種巨大的考驗(yàn)，同時(shí)對(duì)服務(wù)器的CPU、IO的計(jì)算性能也是嚴(yán)峻的挑戰(zhàn)，而Hadoop/Hive是現(xiàn)技術(shù)領(lǐng)域解決這類問題的非常合適的方法和工具。
　　基于以上現(xiàn)狀，通過對(duì)大量文獻(xiàn)的閱讀和參考，以及對(duì)搜索引擎日志的產(chǎn)生和常見模型進(jìn)行的詳細(xì)分析，論文設(shè)計(jì)了一個(gè)用于處理海量搜索日志的分析平臺(tái)。具體包括:數(shù)據(jù)采集預(yù)處理模塊、數(shù)據(jù)存儲(chǔ)模塊、數(shù)據(jù)分析模塊和集群管理

3、模塊四部分。其中，設(shè)計(jì)了一套基于用戶行為模式挖掘的算法來對(duì)搜索引擎的日志進(jìn)行分析和處理;在平臺(tái)監(jiān)控模塊中，實(shí)現(xiàn)了對(duì)于集群的監(jiān)控和管理。以數(shù)據(jù)挖掘的流程為思路，以海量數(shù)據(jù)分析工具Hadoop為實(shí)驗(yàn)平臺(tái)，采用MapReduce映射/規(guī)約的編程模型，并采用簡單實(shí)用的類SQL的HIVE和HBase的海量數(shù)據(jù)庫來處理海量日志;同時(shí)，將挖掘模式分解在各分布式服務(wù)器進(jìn)行關(guān)聯(lián)匹配，然后將挖掘結(jié)果合成，由此實(shí)現(xiàn)減輕網(wǎng)絡(luò)和服務(wù)器性能的這一瓶頸的壓力，體現(xiàn)異