大小文件跨網絡集群快速遷移協(xié)議.pdf

1、近幾年來，計算機科學技術和網絡技術快速發(fā)展，產生了大量的數(shù)據，并且產生數(shù)據的速度也在快速增長，經過長年積累，系統(tǒng)后臺留下了海量數(shù)據。這對傳統(tǒng)的數(shù)據處理形式提出了挑戰(zhàn)，數(shù)據的多節(jié)點復制同步和遷移成為了一個重要的問題。由于網絡的異構性和網絡相關的應用多樣性的特點，最終在硬盤上形成的數(shù)據文件數(shù)量巨大，這些數(shù)據文件進行同步復制和遷移到不同的處理節(jié)點上的效率在很大程度上限制了數(shù)據處理任務的總體進度。
　　現(xiàn)有的文件數(shù)據遷移處理方法一般是通過

2、差異傳輸方式減少數(shù)據量，通過壓縮技術來減少傳輸量，通過一些加密措施來保證傳輸安全性，并且一般通過B/S的結構來實現(xiàn)文件傳輸服務。傳統(tǒng)的處理方式缺少有效的針對傳輸過程的速度優(yōu)化方式，特別是在最終的待傳輸數(shù)據的處理上，缺少高效的大規(guī)模傳播策略和措施，本協(xié)議的設計將針對最終數(shù)據的傳輸過程進行改進和優(yōu)化，通過分布式自主協(xié)商的算法和流程設計，實現(xiàn)動態(tài)源節(jié)點擴張機制，通過自動協(xié)商選舉機制實現(xiàn)區(qū)域自治管理，通過集群代理角色機制實現(xiàn)數(shù)據的跨公網多集群間

3、進行同步和遷移。這些過程實現(xiàn)大量的不同類型的數(shù)據文件在多個集群之間進行快速同步和遷移，提高各節(jié)點上的帶寬利用率。由于存在分布式協(xié)商，會有的額外開銷的代價，但是當待傳輸?shù)臄?shù)據量巨大，以及待傳輸節(jié)點的規(guī)模巨大時，能夠很好的表現(xiàn)出該協(xié)議在性能和效率上有較大改進和提升。
　　該課題的研究內容是在常見分布式文件系統(tǒng)理論基礎上，研究和設計新的分布式文件傳輸框架和協(xié)議以及協(xié)議中的分布式協(xié)商和傳輸算法。使之在復雜的網絡結構下自適應和彈性擴張，實現(xiàn)