零售業(yè)大數(shù)據(jù)下載與分析系統(tǒng)的設計與實現(xiàn).pdf

1、隨著信息安全與信息技術的發(fā)展，信息和數(shù)據(jù)資源在當前經(jīng)濟領域中發(fā)揮著舉足輕重的作用，能否可以及時的獲取它們已經(jīng)成為企業(yè)在商業(yè)活動里是否成功的關鍵。大數(shù)據(jù)作為一種剛剛興起的新的領域，越來越受到各大企業(yè)的重視。企業(yè)的業(yè)務數(shù)據(jù)、銷售數(shù)據(jù)的大量產(chǎn)生，如何才能正確快速的分析這些大數(shù)據(jù)，而且從中提煉出有價值的信息，從而減少運營成本，把握市場趨勢。大數(shù)據(jù)對這些的準確把握以及及時性就有十分重要的作用。
　　本論文主要完成了面向零售行業(yè)，基于爬蟲技術

2、的大數(shù)據(jù)下載和基于OLAP（On-line Analytic Processing，聯(lián)機分析處理）數(shù)據(jù)庫的數(shù)據(jù)分析計算的設計與實現(xiàn)方法。爬蟲技術是針對數(shù)據(jù)下載部分的一個下載技術，利用爬蟲我們可以完整快速的將數(shù)據(jù)下載完成并且導入到OLAP數(shù)據(jù)庫中，在OLAP數(shù)據(jù)庫即多維數(shù)據(jù)庫中執(zhí)行多維查詢語句，從而產(chǎn)生客戶所需求的結果數(shù)據(jù)集。然后將這些數(shù)據(jù)集寫入到Excel格式的文件中并對文件的格式和內(nèi)容進行處理，最終形成客戶所想看到的報表。本系統(tǒng)主要應

3、用了Java與SQL Server2008Analysis Service技術，建成一個傳統(tǒng)的多層系統(tǒng)模式，該模式同樣包括三層內(nèi)容:業(yè)務邏輯層、表示層和數(shù)據(jù)訪問層，形成了一個用戶能夠在WEB頁面上隨意選擇想生成的數(shù)據(jù)報表，想看到的數(shù)據(jù)類型，然后通過電子郵件或者在線查看的方式瀏覽報表，還可以自定義報表內(nèi)容，使報表更擁有智能化與個性化。
　　該大數(shù)據(jù)下載與分析計算系統(tǒng)主要實現(xiàn)了兩大部分功能，下載大數(shù)據(jù)和從多維數(shù)據(jù)庫中查詢和生成報表文件

4、的功能，除了這兩大功能外，還實現(xiàn)了一個通過前臺頁面來對數(shù)據(jù)庫進行增刪改查的功能，此前臺頁面的設計是為了更好的控制后臺邏輯的運行，前臺頁面包括數(shù)據(jù)下載類型的配置頁面，下載周期的配置頁面以及用戶權限管理頁面。此前臺頁面運用了傳統(tǒng)的JSP技術進行設計的。
　　最后，本文完成了本系統(tǒng)的測試，特別是在功能測試方面采用了黑盒測試的模式，通過模擬各種異常情況，模擬異常數(shù)據(jù)的導入，來查看系統(tǒng)能否正常運行，檢查系統(tǒng)存在的問題并改正，確保系統(tǒng)能夠?qū)崿F(xiàn)