基于海量日志的用戶屬性挖掘系統(tǒng)及實現(xiàn)研究.pdf

1、自20世紀末以來，隨著互聯(lián)網(wǎng)的高速的發(fā)展，人們對網(wǎng)絡的需求越來越大。到目前為止，互聯(lián)網(wǎng)已經(jīng)成為人們生活中一個不可分割的部分，互聯(lián)網(wǎng)的用戶數(shù)量越來越大。在這樣的形式下，用戶每天在PC端和移動端產(chǎn)生的用戶日志也在迅速增長，現(xiàn)在已經(jīng)很難估量每天產(chǎn)生了多少用戶行為日志。這些日志中的信息量非常龐大，并且與我們每天的生活息息相關。
　　基于以上現(xiàn)狀，通過閱讀大量的參考文獻，以及對不同日志源進行研究和分析，論文設計了一個基于海量日志的用戶屬性分

2、析系統(tǒng)。該系統(tǒng)主要包括：日志貫通模塊、日志預處理模塊、用戶自然屬性挖掘模塊、用戶app興趣挖掘模塊以及評估模塊。其中日志貫通模塊和日志預處理模塊將不同日志源的日志進行聚合處理，為數(shù)據(jù)挖掘提供完整的數(shù)據(jù)；用戶屬性挖掘模塊是系統(tǒng)的核心；評估模塊是對挖掘效果的檢測。本文以數(shù)據(jù)的挖掘流程為思路，以海量日志為前提，以Hadoop為實驗平臺，采用HDFS作為文件系統(tǒng)，采用MapReduce編程框架，采用HBase為數(shù)據(jù)庫實現(xiàn)了海量日志的用戶屬性挖掘