基于MDA的數(shù)據(jù)分析過程研究.pdf

1、當今時代隨著計算機技術的高速發(fā)展,管理信息系統(tǒng)開始普及,各行各業(yè)都逐漸建立起自己的管理信息系統(tǒng)。這些系統(tǒng)運行一段時間之后,會形成大量的歷史數(shù)據(jù),但是這些系統(tǒng)不具備對數(shù)據(jù)進行分析的能力,海量數(shù)據(jù)就不會被充分利用,數(shù)據(jù)中隱含的大量信息也不能被挖掘出來,沒法對人們提供決策支持的功能。因此人們開始想辦法挖掘隱含在這些數(shù)據(jù)背后的有用信息。在這種情況下,數(shù)據(jù)分析技術應運而生。
　　 目前對數(shù)據(jù)分析的研究已經(jīng)有很多,但是研究的目標主要集中在商

2、業(yè)領域,且數(shù)據(jù)分析的落腳點是財務數(shù)據(jù)。對于教育行業(yè)這樣一個非盈利性行業(yè),面臨經(jīng)費不足、技術人員匱乏的困難,再加上與商業(yè)領域之間的行業(yè)差異,目前的數(shù)據(jù)分析工具或方法以及數(shù)據(jù)分析過程中的細節(jié)顯然不能完全適用于教育行業(yè),必須要根據(jù)這個行業(yè)本身的特點摸索新的數(shù)據(jù)分析過程。高成本、太復雜的方式顯然不適合教育行業(yè),要滿足它特有的需求,就需要挖掘新的方法,因此數(shù)據(jù)分析技術面臨新的問題和挑戰(zhàn)。
　　 本文的主要研究內(nèi)容和工作主要有以下幾個方面:

3、首先建立數(shù)據(jù)模型,將從各個數(shù)據(jù)源得到的原始數(shù)據(jù)抽取出來,通過分析設計針對它們的數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)操作和數(shù)據(jù)之間的約束,形成中間庫數(shù)據(jù)的數(shù)據(jù)模型；確定分析主題和分析角度之后,將它們之間的邏輯關系抽象出來,形成目標數(shù)據(jù)端的數(shù)據(jù)模型。其次建立了結(jié)構(gòu)化數(shù)據(jù)的采集模型,將數(shù)據(jù)抽取-數(shù)據(jù)轉(zhuǎn)化-數(shù)據(jù)加載的流程抽取為平臺無關模型,其中的具體內(nèi)容和細節(jié)通過XML配置,克服了硬編碼的局限性,增強了數(shù)據(jù)采集的靈活性、可擴展性和可移植性。再次采用了中間庫與文件相結(jié)

4、合的方式對數(shù)據(jù)進行抽取,解決了異構(gòu)數(shù)據(jù)源的數(shù)據(jù)獲取問題；針對不同的情況定義不同的規(guī)則,采用規(guī)則引擎處理不同的空值情況；采用基于分組的相似重復記錄檢測方法,對不同的關鍵字定義不同的等級,根據(jù)等級高低反復檢測來解決重復記錄檢測不準確的問題。最后針對非結(jié)構(gòu)化數(shù)據(jù)中的主觀數(shù)據(jù)采集,提出了自動調(diào)查問卷的設計方式,通過自動生成調(diào)查問卷,在網(wǎng)上實時獲得調(diào)查結(jié)果,形成了主觀數(shù)據(jù)的采集模型,提高了數(shù)據(jù)分析的全面性和準確性。
　　 本文針對教育行業(yè)