基于Hadoop平臺和查詢?nèi)罩镜挠脩粜袨榉治鱿到y(tǒng)設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的迅猛發(fā)展，用戶使用搜索引擎檢索信息時產(chǎn)生的查詢?nèi)罩緮?shù)據(jù)也越來越多。互聯(lián)網(wǎng)企業(yè)急需一種方案能有效地從這些日志數(shù)據(jù)中提取有關(guān)用戶的行為信息，并在獲得用戶數(shù)據(jù)的基礎(chǔ)上挖掘用戶的搜索需求，分析用戶的行為規(guī)律，從而提高用戶搜索信息的服務(wù)質(zhì)量。因此，目前的用戶行為分析工作面臨了兩方面難題。一方面是海量的日志數(shù)據(jù)存儲和預(yù)處理問題;另一方面就是如何設(shè)計(jì)用戶行為分析模型，捕捉用戶的行為特征，在獲得用戶數(shù)據(jù)的基礎(chǔ)上選取恰當(dāng)研究平臺實(shí)現(xiàn)用戶行為分

2、析的研究。
　　基于以上分析，本論文提出了一種把Hadoop數(shù)據(jù)挖掘平臺應(yīng)用在用戶行為分析系統(tǒng)之中的方案。該方案以MapReduce為計(jì)算框架，以HBase為數(shù)據(jù)存儲媒介，以搜狗公司所開放的用戶查詢?nèi)罩緸閿?shù)據(jù)來源，結(jié)合相關(guān)算法分析用戶搜索行為規(guī)律。本文主要包括以下內(nèi)容:
　　1.通過比較傳統(tǒng)關(guān)系型數(shù)據(jù)庫和基于列式的非關(guān)系型數(shù)據(jù)庫的特征，決定選用非關(guān)系型數(shù)據(jù)庫HBase來存儲數(shù)據(jù)。設(shè)計(jì)了以查詢?nèi)罩局杏脩舻腃ookie編號和搜索

3、日期共同作為數(shù)據(jù)庫的行鍵，從而使存儲相同用戶的日志記錄位置更集中，數(shù)據(jù)庫掃描全表查詢更方便。
　　2.針對系統(tǒng)需求提出具體實(shí)現(xiàn)方法。包括運(yùn)用中文分詞技術(shù)對搜索關(guān)鍵詞進(jìn)行切詞處理，并提取了用戶行為特征向量集。通過對MapReduce的value排序算法的改進(jìn)完成了搜索關(guān)鍵詞統(tǒng)計(jì)、URL排名與用戶點(diǎn)擊關(guān)系分析、用戶訪問時間段統(tǒng)計(jì)。借助MapReduce編程模型將K-means聚類算法分布式化重構(gòu)，實(shí)現(xiàn)對用戶的查詢主題聚類，最后對用戶的