大數(shù)據(jù)共享服務(wù)平臺設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著信息化的腳步在各行各業(yè)中邁進(jìn)，大量數(shù)據(jù)被存儲(chǔ)在行業(yè)內(nèi)部系統(tǒng)中，不公開的數(shù)據(jù)雖然保護(hù)了企業(yè)自身的利益，但時(shí)代的發(fā)展已不容企業(yè)孤芳自賞。如何解決分析時(shí)數(shù)據(jù)單一不夠立體的問題、如何對數(shù)據(jù)進(jìn)行有效的保護(hù)、如何減少運(yùn)營成本以獲取更多更深入挖掘數(shù)據(jù)潛藏的價(jià)值，如何在保護(hù)企業(yè)利益的前提下對數(shù)據(jù)加以利用，突破傳統(tǒng)對數(shù)據(jù)利用的局限是本文主要目的。
　　目前以低成本高效率存儲(chǔ)大量非結(jié)構(gòu)化數(shù)據(jù)的方式主要是應(yīng)用Hadoop生態(tài)圈中的數(shù)據(jù)倉儲(chǔ)作為存儲(chǔ)平

2、臺，并依賴一些公司企業(yè)開發(fā)的應(yīng)用軟件對數(shù)據(jù)加以分析利用。本文中應(yīng)用Hive作為數(shù)據(jù)倉庫，管理存儲(chǔ)數(shù)據(jù)。Hive的優(yōu)勢在于可以執(zhí)行HQL語句，解析HQL語句編譯為MapReduce腳本任務(wù)在Hadoop平臺中運(yùn)行，方便了對數(shù)據(jù)的利用。
　　本文從三方面入手解決數(shù)據(jù)從導(dǎo)入到使用過程中遇到的技術(shù)問題，首先應(yīng)用數(shù)據(jù)遷移工具擴(kuò)充本系統(tǒng)的數(shù)據(jù)積累，其次對現(xiàn)有數(shù)據(jù)進(jìn)行管理劃分，在保護(hù)數(shù)據(jù)安全的前提下共享數(shù)據(jù)信息，最后提供數(shù)據(jù)應(yīng)用服務(wù)，解決用戶的

3、實(shí)際問題。系統(tǒng)采用SpringMVC、Hibernate、JPA、Shiro框架技術(shù)，簡化了開發(fā)流程，通過在Java中調(diào)用Sqoop工具接口創(chuàng)建腳本將其他目標(biāo)數(shù)據(jù)信息拷貝到系統(tǒng)存儲(chǔ)平臺。數(shù)據(jù)共享是通過用戶登錄后根據(jù)權(quán)限查看平臺資源并申請獲得數(shù)據(jù)。
　　為解決部分用戶無法搭建具有較強(qiáng)數(shù)據(jù)分析能力的平臺進(jìn)行數(shù)據(jù)挖掘，系統(tǒng)為用戶提供數(shù)據(jù)上傳接口，可將自己所有的數(shù)據(jù)上傳至系統(tǒng)數(shù)據(jù)庫中作為私有包進(jìn)行數(shù)據(jù)分析業(yè)務(wù)操作，這極大地提高了平臺可用性