企業(yè)級數(shù)據(jù)分布式拓展系統(tǒng)設(shè)計及實現(xiàn).pdf

1、數(shù)據(jù)存儲技術(shù)及應(yīng)用是互聯(lián)網(wǎng)領(lǐng)域的重點課題之一，是互聯(lián)網(wǎng)企業(yè)發(fā)展的基礎(chǔ)保證，具備重要的理論研究意義和應(yīng)用價值。隨著互聯(lián)網(wǎng)+時代的到來，初涉互聯(lián)網(wǎng)的傳統(tǒng)行業(yè)與中小型互聯(lián)網(wǎng)企業(yè)都在發(fā)展中遇到了數(shù)據(jù)飛速增長的問題，基于關(guān)系型數(shù)據(jù)庫和單機單點文件系統(tǒng)的數(shù)據(jù)存儲架構(gòu)在數(shù)據(jù)安全性、存取高效性、系統(tǒng)擴展性等方面都暴露出了問題，限制了企業(yè)的發(fā)展。因此如何在基本不改變企業(yè)現(xiàn)有互聯(lián)網(wǎng)應(yīng)用系統(tǒng)架構(gòu)的前提下，最大化利用開源資源對現(xiàn)有數(shù)據(jù)存儲架構(gòu)進行分布式遷移，為

2、企業(yè)級應(yīng)用系統(tǒng)提供一套投入成本低、配適簡單、使用方便、安全高效、易于拓展的數(shù)據(jù)遷移方案及其實現(xiàn)有很大的理論與應(yīng)用價值。
　　本文針對以上問題，并結(jié)合中小型互聯(lián)網(wǎng)企業(yè)當下普遍應(yīng)用的數(shù)據(jù)存儲解決方案，設(shè)計并實現(xiàn)了企業(yè)級數(shù)據(jù)分布式拓展系統(tǒng)。本文將系統(tǒng)分為數(shù)據(jù)庫分布式拓展和文件分布式拓展兩個子系統(tǒng)進行設(shè)計實現(xiàn)。數(shù)據(jù)庫方面，系統(tǒng)致力于不改變企業(yè)原有基于關(guān)系型數(shù)據(jù)庫的軟件架構(gòu)，設(shè)計了應(yīng)用層基于數(shù)據(jù)源動態(tài)切換技術(shù)的橫向切分配合中間層 Mycat

3、進行水平切分的組合切分模式完成對原有數(shù)據(jù)庫的分布式拓展。文件分布式拓展系統(tǒng)提出了一種“單用戶請求串行處理、多用戶請求并行處理”的多線程分配管理策略解決了單一用戶短時間大量請求造成的系統(tǒng)延時問題并運用Solr搭建文件標識索引實現(xiàn)了文件的語義化標識；通過分析原系統(tǒng)的應(yīng)用特點，設(shè)計實現(xiàn)了支持 HTTP協(xié)議的讀寫分離模塊，搭配反向代理引入負載均衡和緩存控制等特性給系統(tǒng)提供了高效、快速、多樣化的文件獲取能力。最后，本文基于以上的設(shè)計使用Java進

4、行了整體系統(tǒng)的開發(fā)實現(xiàn)，完成了企業(yè)數(shù)據(jù)儲存的分布式拓展工作，實現(xiàn)了安全存儲、高效存取、易于拓展等數(shù)據(jù)儲存架構(gòu)的相關(guān)需求。
　　本文在原軟件系統(tǒng)處理的數(shù)據(jù)集（數(shù)據(jù)庫結(jié)構(gòu)化數(shù)據(jù)和文件數(shù)據(jù)）上進行功能和性能測試，并與原系統(tǒng)進行比較，設(shè)計和實現(xiàn)的系統(tǒng)不僅有數(shù)據(jù)安全性好、存取效率高、系統(tǒng)易于拓展等特點，而且提供了良好的功能擴展性、交互友好性和發(fā)展伸縮性，進一步提高了系統(tǒng)的使用價值。本文研發(fā)的系統(tǒng)在“產(chǎn)品質(zhì)量追溯技術(shù)”聯(lián)合實驗室的產(chǎn)業(yè)化基地上