基于LAMP框架的通用數(shù)據(jù)測試平臺的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、大數(shù)據(jù)時(shí)代賦予的機(jī)遇和挑戰(zhàn)，使數(shù)據(jù)質(zhì)量保證技術(shù)研究和實(shí)踐顯得尤為必要。傳統(tǒng)數(shù)據(jù)測試方法耗費(fèi)人力且不全面，通過結(jié)構(gòu)探測、類型學(xué)習(xí)和規(guī)則檢測將二維表和樹狀結(jié)構(gòu)數(shù)據(jù)測試自動(dòng)化的同時(shí)，需將測試結(jié)果可視化，輔助數(shù)據(jù)負(fù)責(zé)人發(fā)現(xiàn)和分析數(shù)據(jù)問題。同時(shí)為保證數(shù)據(jù)測試任務(wù)正確執(zhí)行，需在規(guī)則編寫階段保證規(guī)則代碼質(zhì)量。此外，業(yè)務(wù)人員積累的數(shù)據(jù)檢測經(jīng)驗(yàn)有待利用，在發(fā)現(xiàn)數(shù)據(jù)問題的基礎(chǔ)上直接進(jìn)行修復(fù)。由于數(shù)據(jù)不斷更新會(huì)給使用主體帶來質(zhì)量風(fēng)險(xiǎn)，因此需要一套完整的周期性

2、數(shù)據(jù)監(jiān)控方案，及時(shí)預(yù)警數(shù)據(jù)質(zhì)量問題，并為問題解決提供線索。本通用數(shù)據(jù)測試平臺就是為支撐二維表和樹狀結(jié)構(gòu)數(shù)據(jù)的測試、修復(fù)和監(jiān)控等質(zhì)量保證業(yè)務(wù)而搭建的。
　　筆者根據(jù)軟件工程思想獨(dú)立完成了本論文所提及的數(shù)據(jù)測試、修復(fù)和監(jiān)控各模塊功能的需求分析、設(shè)計(jì)實(shí)現(xiàn)和測試等工作。首先，筆者分析系統(tǒng)任務(wù)和目標(biāo)用戶以及數(shù)據(jù)測試、修復(fù)和監(jiān)控三大關(guān)鍵業(yè)務(wù)過程，并在此基礎(chǔ)上識別系統(tǒng)用例，劃分各模塊子功能點(diǎn)，明確系統(tǒng)功能性和非功能性需求，然后從邏輯分層架構(gòu)、J

3、SON數(shù)據(jù)接口和數(shù)據(jù)庫角度完成系統(tǒng)概要設(shè)計(jì)，并基于LAMP框架、PHP Yii框架和前端JQuery、 Ajax等技術(shù)實(shí)現(xiàn)數(shù)據(jù)測試報(bào)告和數(shù)據(jù)預(yù)覽功能，將數(shù)據(jù)結(jié)構(gòu)、類型和指標(biāo)可視化，輔助分析數(shù)據(jù)問題和編寫用戶擴(kuò)展規(guī)則，在自動(dòng)化測試的基礎(chǔ)上，充分利用人的認(rèn)知能力和在特定領(lǐng)域積累的業(yè)務(wù)經(jīng)驗(yàn)，同時(shí)設(shè)計(jì)和實(shí)現(xiàn)了一套通用的簡單Python代碼檢測機(jī)制用于保證規(guī)則代碼質(zhì)量，此外在規(guī)則計(jì)算流程中增加數(shù)據(jù)修復(fù)機(jī)制，直接提升數(shù)據(jù)質(zhì)量，并在數(shù)據(jù)測試基礎(chǔ)上，設(shè)

4、計(jì)和實(shí)現(xiàn)了一套完整的數(shù)據(jù)文件、覆蓋率和錯(cuò)誤率質(zhì)量指標(biāo)監(jiān)控方案，及時(shí)預(yù)警數(shù)據(jù)質(zhì)量問題，同時(shí)提供數(shù)據(jù)指標(biāo)報(bào)表和基于百度Echarts技術(shù)的分組重點(diǎn)屬性覆蓋率變化趨勢圖服務(wù)，方便整體把握數(shù)據(jù)質(zhì)量狀況并為數(shù)據(jù)問題定位提供線索。
　　目前該通用數(shù)據(jù)測試平臺每天為公司20多個(gè)部門提供數(shù)據(jù)質(zhì)量保證服務(wù)。其中數(shù)據(jù)監(jiān)控模塊上線半年來，共積累監(jiān)控模板40+個(gè)，截至2015年4月14日15時(shí)，平臺累計(jì)執(zhí)行監(jiān)控計(jì)算19172次，在團(tuán)購、人物關(guān)系圖譜等線上