互聯(lián)網(wǎng)訪問數(shù)據(jù)預(yù)處理研究與應(yīng)用——基于Hadoop.pdf

1、隨著Web技術(shù)的逐漸成熟以及快速發(fā)展，越來越多的用戶可以通過互聯(lián)網(wǎng)訪問自己想要的信息。因此，用戶通過互聯(lián)網(wǎng)所能獲取的信息量呈指數(shù)級的速度增長?；ヂ?lián)網(wǎng)中的海量信息一方面為用戶提供了獲取信息的源泉，另一方面也為用戶高效獲取有價(jià)值的信息帶來了不小的挑戰(zhàn)。如何通過對用戶訪問互聯(lián)網(wǎng)的數(shù)據(jù)的挖掘來獲取用戶潛在的興趣或其他有用的信息，以此來為用戶提供個(gè)性化、智能化的信息服務(wù)已成為人們的迫切需求。
　　互聯(lián)網(wǎng)Web日志挖掘(WebLogMinin

2、g)正是在這種背景下產(chǎn)生的。但是隨著數(shù)據(jù)的大量積累，面對無比龐大的海量數(shù)據(jù)，目前的單機(jī)處理模式已然不能滿足大數(shù)據(jù)(BigData)處理的需求。因此，面向大數(shù)據(jù)處理的Hadoop平臺(tái)也隨之出現(xiàn)。
　　本文的主要研究內(nèi)容是:基于Hadoop環(huán)境下的互聯(lián)網(wǎng)訪問日志數(shù)據(jù)預(yù)處理相關(guān)技術(shù)的研究與應(yīng)用。
　　首先，簡要概述了論文的選題背景與意義，并介紹了本文的主要研究內(nèi)容和國內(nèi)外的相關(guān)研究現(xiàn)狀;然后，對Web日志挖掘進(jìn)行了簡要概述，重點(diǎn)闡

3、述了其中的Web日志預(yù)處理，并對其中的每個(gè)步驟進(jìn)行了概括。
　　其次，介紹了當(dāng)前熱門的大數(shù)據(jù)分布式處理平臺(tái)——Hadoop，通過對目前單機(jī)大數(shù)據(jù)處理技術(shù)的研究，將其移植到Hadoop環(huán)境中。在研究的基礎(chǔ)上，提出一種基于并查集的會(huì)話識別算法，并根據(jù)日志Cookie中用戶的相關(guān)賬號信息進(jìn)行用戶識別。為后期的數(shù)據(jù)挖掘提供較為準(zhǔn)確的用戶信息數(shù)據(jù)。
　　最后，在用戶識別的基礎(chǔ)上，對用戶瀏覽日志中的搜索記錄進(jìn)行自然語言處理，提取出用戶的

4、搜索字詞以及詞匯的分類信息。通過這些搜索字詞將來就可以歸納出用戶一段時(shí)間內(nèi)的興趣點(diǎn)。
　　論文在已有研究的基礎(chǔ)上，主要做了以下幾個(gè)方面的創(chuàng)新研究工作:首先探討了互聯(lián)網(wǎng)Web日志挖掘中的一個(gè)主要問題，即Web日志的數(shù)據(jù)預(yù)處理問題;針對目前單機(jī)大數(shù)據(jù)處理模式的不足，成功將其移植到分布式處理平臺(tái)Hadoop中;根據(jù)用戶瀏覽頁面的鏈接關(guān)系提出了一種并查集的會(huì)話識別算法，并根據(jù)用戶相關(guān)賬戶信息進(jìn)行用戶識別;又通過用戶搜索記錄的自然語言處理，