Web日志數(shù)據(jù)預(yù)處理及多維建模研究.pdf

1、針對目前網(wǎng)站日志數(shù)據(jù)分析日趨重要，但對日志數(shù)據(jù)分析多采用日志分析軟件，造成很多網(wǎng)站對日志數(shù)據(jù)的分析還停留在流量統(tǒng)計的層次。為了進(jìn)一步對日志數(shù)據(jù)進(jìn)行有效分析，獲得深層次的用戶行為特征本文，本文對基于數(shù)據(jù)倉庫的日志分析方法做出深入的研究。 本文從三個方面對基于數(shù)據(jù)倉庫的日志分析方法進(jìn)行研究：Web日志數(shù)據(jù)倉庫的特征，Web日志數(shù)據(jù)的預(yù)處理和Web日志數(shù)據(jù)倉庫多維建模。在Web日志數(shù)據(jù)倉庫特征部分對日志數(shù)據(jù)格式、日志收集中存在的問題、

2、企業(yè)數(shù)據(jù)倉庫的區(qū)別進(jìn)行了研究。根據(jù)數(shù)據(jù)倉庫系統(tǒng)的組件結(jié)構(gòu)將數(shù)據(jù)集中和數(shù)據(jù)展示作為本文的研究重點(diǎn)。數(shù)據(jù)集中部分最重要內(nèi)容為日志數(shù)據(jù)預(yù)處理方法，在這部分充分討論了數(shù)據(jù)預(yù)處理中存在的主要問題：代理緩存問題、數(shù)據(jù)清理問題。數(shù)據(jù)清理部分針對Frame頁面過濾算法的改進(jìn)為本文的一個創(chuàng)新點(diǎn)，通過改進(jìn)有益于獲取更完整的用戶瀏覽路徑。在數(shù)據(jù)清理部分還重點(diǎn)討論了網(wǎng)站用戶識別、頁面識別、會話識別等幾個重要部分。 數(shù)據(jù)展示主要問題為日志數(shù)據(jù)倉庫的多維模

3、型設(shè)計，提出在多維模型的設(shè)計中要兼顧網(wǎng)站流量統(tǒng)計分析和用戶行為模式分析。為支持行為模式分析提出設(shè)計頁面視圖事實(shí)表。在頁面事實(shí)表、頁面視圖事實(shí)表、會話事實(shí)表基礎(chǔ)上提出有利用戶分析的各種維度。為了提高數(shù)據(jù)倉庫報表的查閱速度，針對會話事實(shí)表設(shè)計出會話聚集事實(shí)表。為保持企業(yè)數(shù)據(jù)倉庫多維建模維度的一致性，文中提到數(shù)據(jù)倉庫總線結(jié)構(gòu)及數(shù)據(jù)倉庫總線矩陣，本部分還介紹了OracleClickstreamIntelligent軟件，用來建立完整的電子商務(wù)點(diǎn)