基于日志文件的數(shù)據(jù)監(jiān)控系統(tǒng)設(shè)計與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的日益發(fā)展，網(wǎng)絡(luò)為人們提供了海量信息和多樣性的娛樂環(huán)境，如新聞資訊、影視視頻、音樂等。然而，面對如此繁雜的信息和服務(wù)，針對用戶的個性化需求，如何幫助用戶便捷地從海量數(shù)據(jù)資源中獲取到他們真正想要的信息和感興趣的資源，個性化推薦引擎技術(shù)由此應(yīng)運而生。
　　通過個性化推薦，能夠極大地降低用戶的瀏覽和檢索成本，幫助用戶更快定位有效的信息和感興趣的資源。但由于用戶喜好的差異性、需求的復(fù)雜性以及推薦信息的多樣性，往往使得有效的推

2、薦策略和推薦算法不能一蹴而就，也就必然導(dǎo)致在產(chǎn)品推廣和生產(chǎn)實驗的過程中，需要依賴于個性化推薦引擎的日志來進行分析和評估，再根據(jù)分析評估結(jié)果對推薦策略進行迭代、優(yōu)化和改進，以達到輔助優(yōu)化推薦過程的目的。面對成千上萬的產(chǎn)品實驗和海量的用戶訪問日志，如何通過一個日志數(shù)據(jù)監(jiān)控系統(tǒng)來實時有效地掌控產(chǎn)品的使用情況，以及快速客觀地評估產(chǎn)品推薦的效果和質(zhì)量，并輔助促進推薦策略算法的優(yōu)化和改進，這就成了一個非常值得研究的課題。
　　本文通過設(shè)計并實

3、現(xiàn)了一個基于推薦引擎日志文件下的數(shù)據(jù)監(jiān)控系統(tǒng)來解決上述問題，該監(jiān)控系統(tǒng)主要針對產(chǎn)品實驗和海量用戶訪問日志進行監(jiān)控分析，并根據(jù)監(jiān)控分析結(jié)果快速客觀地評估產(chǎn)品推薦的效果和質(zhì)量，從而對產(chǎn)品或?qū)嶒灥耐茝V效果進行量化評價，具有一定的進步性。系統(tǒng)首先從HDFS的數(shù)據(jù)倉庫中獲取經(jīng)過過濾處理后的日志數(shù)據(jù)，接著采用臨時的分布式處理框架，對事先定制的實驗指標(biāo)進行快速的統(tǒng)計，并將統(tǒng)計結(jié)果導(dǎo)入MySQL數(shù)據(jù)中，最后再對數(shù)據(jù)庫中的參數(shù)指標(biāo)按照配置的監(jiān)控策略進行監(jiān)