多維分析與數(shù)據(jù)挖掘技術(shù)在商務(wù)智能中的研究與應(yīng)用.pdf

1、信息化的浪潮在世界各地，各行各業(yè)掀起，信息化的層次也在不斷演進(jìn)，從MRPII、ERP到CRM，從數(shù)據(jù)倉庫(Data Warehouse)、到數(shù)據(jù)挖掘(Data Mining)，每一次變革都極大地推動著企業(yè)信息化的升級和企業(yè)管理水平的提高。隨著信息技術(shù)的與時俱進(jìn)，企業(yè)信息化的熱點也隨之轉(zhuǎn)變，據(jù)賽迪顧問在2005年中國數(shù)據(jù)管理技術(shù)應(yīng)用年會上發(fā)布的《2004-2005中國數(shù)據(jù)管理技術(shù)應(yīng)用軟件市場研究年度報告》報告顯示，商業(yè)智能作為整體數(shù)據(jù)管理

2、技術(shù)已經(jīng)在應(yīng)用軟件市場中成為發(fā)展最快的一個領(lǐng)域，其在中國市場銷售額的增長率已超過40％，占到總體數(shù)據(jù)管理技術(shù)應(yīng)用軟件市場的44.36％。很明顯，又一個信息化熱點商業(yè)智能在我國已經(jīng)悄然興起。但是，據(jù)市場反映，在這一領(lǐng)域我們與國外仍有著不小的差距。本文正是基于這一歷史背景進(jìn)行立題研究。 本文圍繞商業(yè)智能這一課題，對多維分析技術(shù)、數(shù)據(jù)挖掘這兩大商業(yè)智能的核心支撐技術(shù)進(jìn)行了深入細(xì)致的研究與分析，并在對microsoft analysis

3、、pentaho、openi等已有商業(yè)智能產(chǎn)品和市場詳細(xì)調(diào)研的基礎(chǔ)上實現(xiàn)了一個智能多維分析平臺。本文所做的主要工作、技術(shù)難點與創(chuàng)新處如下： 1．大量查閱了商業(yè)智能的相關(guān)資料，追溯了商業(yè)智能興起的原因及其發(fā)展過程，認(rèn)真學(xué)習(xí)了商業(yè)智能的體系結(jié)構(gòu)、架構(gòu)過程及應(yīng)用實施的知識，深入領(lǐng)會了商業(yè)智能的概念及其核心支撐技術(shù)。 2．深入細(xì)致的學(xué)習(xí)了多維分析技術(shù)的概念、特點以及多維分析系統(tǒng)的體系結(jié)構(gòu)，并研究了數(shù)據(jù)的切片、切塊、下鉆、上卷以及

4、轉(zhuǎn)軸操作，并對開源多維分析服務(wù)器Modrian的數(shù)據(jù)流程、體系結(jié)構(gòu)、多維數(shù)據(jù)庫的元數(shù)據(jù)格式以及將Modrian做為二次開發(fā)的類庫進(jìn)行了詳細(xì)的分析與研究，而且也從應(yīng)用的角度對作為Modrian的前端展現(xiàn)開源組件jpivot的類庫、常用標(biāo)簽組件做了深入的學(xué)習(xí)，并在此基礎(chǔ)上對Jpivot和及其所依賴的Wcf組件進(jìn)行了全部漢化工作。 3．認(rèn)真學(xué)習(xí)了數(shù)據(jù)挖掘的相關(guān)知識，分析了數(shù)據(jù)挖掘的算法以及如何進(jìn)行數(shù)據(jù)挖掘，并在此基礎(chǔ)上對開源軟件Wek

5、a的數(shù)據(jù)輸入、分類、聚類、關(guān)聯(lián)、元學(xué)習(xí)方案以及屬性、實例過濾算法進(jìn)行了分析，并就如何利用Weka做二次開發(fā)進(jìn)行了深入細(xì)致的研究。 4．在深入學(xué)習(xí)Struts開發(fā)框架，分析模型一視圖一控制器(Model-View-Controller，MVC)設(shè)計模式，Struts的類庫結(jié)構(gòu)及Tag庫以及輸入驗證及錯誤處理機(jī)制的基礎(chǔ)上，充分利用Struts的優(yōu)點，揚長避短，不僅大大提高了生產(chǎn)效率，而且明晰了系統(tǒng)結(jié)構(gòu)，為系統(tǒng)進(jìn)一步擴(kuò)展提供了良好的前

6、提條件。 5．基于上述原理和已有的研究成果，設(shè)計并實現(xiàn)了智能多維分析平臺，該平臺具有的特點與創(chuàng)新如下： 1)本系統(tǒng)采用了B/S結(jié)構(gòu)，系統(tǒng)的所有用戶可以通過Internet遠(yuǎn)程使用本系統(tǒng)，不受時間和地點的限制，而且系統(tǒng)基于web的操作方式，對于有著龐大的互聯(lián)網(wǎng)用戶數(shù)量的中國市場來說更加具有競爭力。 2)與基于Mondrian和Jpivot開發(fā)的開源商業(yè)智能系統(tǒng)pentaho和openi相比，本系統(tǒng)的核心功能均提供了

7、向?qū)降牟僮鞣绞?，而且增加了?chuàng)建Mondrian多維數(shù)據(jù)集的功能，進(jìn)一步降低了對系統(tǒng)對用戶的要求。 3)基于開源軟件構(gòu)建商業(yè)軟件，大大降低了開發(fā)成本，為進(jìn)一步提升產(chǎn)品的競爭力，提供了一種有效的商業(yè)軟件產(chǎn)品開發(fā)模式。 4)完全基于xml的數(shù)據(jù)存儲，使得系統(tǒng)脫離了具體的數(shù)據(jù)庫平臺，提高了軟件的獨立性及軟件的訪問速度，有效的降低了軟件的實施成本。 5)Xml、Xsd、Dtd、Xsl、Css以及Taglib技術(shù)的引入，不

8、僅增強(qiáng)了系統(tǒng)的個性化，而且一定程度上降低了界面顯示與控制邏輯的耦合性，為美工和程序員并行開發(fā)系統(tǒng)奠定了基礎(chǔ)。 6)可定制的系統(tǒng)界面以及屬性文件的應(yīng)用，從一定程度上滿足了用戶的個性化需求，而且對軟件的國際化有著良好的支持，使得系統(tǒng)在不修改代碼的情況下就可提供多語言版本。 7)Weka持續(xù)快速的發(fā)展以及對分布式處理的支持，使得系統(tǒng)在數(shù)據(jù)挖掘應(yīng)用擴(kuò)展及挖掘性能方面有著良好的支持。 目前，本系統(tǒng)已經(jīng)在北京市商業(yè)銀行、西門