基于Hadoop平臺(tái)和查詢?nèi)罩镜挠脩粜袨榉治鱿到y(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的迅猛發(fā)展，用戶使用搜索引擎檢索信息時(shí)產(chǎn)生的查詢?nèi)罩緮?shù)據(jù)也越來(lái)越多。互聯(lián)網(wǎng)企業(yè)急需一種方案能有效地從這些日志數(shù)據(jù)中提取有關(guān)用戶的行為信息，并在獲得用戶數(shù)據(jù)的基礎(chǔ)上挖掘用戶的搜索需求，分析用戶的行為規(guī)律，從而提高用戶搜索信息的服務(wù)質(zhì)量。因此，目前的用戶行為分析工作面臨了兩方面難題。一方面是海量的日志數(shù)據(jù)存儲(chǔ)和預(yù)處理問(wèn)題;另一方面就是如何設(shè)計(jì)用戶行為分析模型，捕捉用戶的行為特征，在獲得用戶數(shù)據(jù)的基礎(chǔ)上選取恰當(dāng)研究平臺(tái)實(shí)現(xiàn)用戶行為分

2、析的研究。
　　基于以上分析，本論文提出了一種把Hadoop數(shù)據(jù)挖掘平臺(tái)應(yīng)用在用戶行為分析系統(tǒng)之中的方案。該方案以MapReduce為計(jì)算框架，以HBase為數(shù)據(jù)存儲(chǔ)媒介，以搜狗公司所開(kāi)放的用戶查詢?nèi)罩緸閿?shù)據(jù)來(lái)源，結(jié)合相關(guān)算法分析用戶搜索行為規(guī)律。本文主要包括以下內(nèi)容:
　　1.通過(guò)比較傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)和基于列式的非關(guān)系型數(shù)據(jù)庫(kù)的特征，決定選用非關(guān)系型數(shù)據(jù)庫(kù)HBase來(lái)存儲(chǔ)數(shù)據(jù)。設(shè)計(jì)了以查詢?nèi)罩局杏脩舻腃ookie編號(hào)和搜索

3、日期共同作為數(shù)據(jù)庫(kù)的行鍵，從而使存儲(chǔ)相同用戶的日志記錄位置更集中，數(shù)據(jù)庫(kù)掃描全表查詢更方便。
　　2.針對(duì)系統(tǒng)需求提出具體實(shí)現(xiàn)方法。包括運(yùn)用中文分詞技術(shù)對(duì)搜索關(guān)鍵詞進(jìn)行切詞處理，并提取了用戶行為特征向量集。通過(guò)對(duì)MapReduce的value排序算法的改進(jìn)完成了搜索關(guān)鍵詞統(tǒng)計(jì)、URL排名與用戶點(diǎn)擊關(guān)系分析、用戶訪問(wèn)時(shí)間段統(tǒng)計(jì)。借助MapReduce編程模型將K-means聚類(lèi)算法分布式化重構(gòu)，實(shí)現(xiàn)對(duì)用戶的查詢主題聚類(lèi)，最后對(duì)用戶的