基于計算存儲一體化策略的遙感數(shù)據(jù)高性能計算研究及應(yīng)用.pdf

1、高性能計算機的迅速發(fā)展為海量遙感數(shù)據(jù)處理提供了強大的計算資源，基于集群及計算存儲一體化的高性能計算已成為目前最主要的計算平臺。在集群環(huán)境下設(shè)計并實現(xiàn)海量遙感數(shù)據(jù)并行處理系統(tǒng)是提高遙感數(shù)據(jù)處理速度的必然選擇。
　　隨著高分辨率及傳感器類型的增加，遙感數(shù)據(jù)TB級的增長對高性能遙感數(shù)據(jù)處理平臺的I/O要求造成非常大的壓力，包括服務(wù)器磁盤的讀寫壓力，服務(wù)器網(wǎng)段的傳輸壓力等，為了最大化發(fā)揮分布式并行優(yōu)勢，在保證系統(tǒng)安全穩(wěn)定的前提下，本文采用

2、了計算存儲一體化策略，以減少并行處理系統(tǒng)中的數(shù)據(jù)傳輸。
　　本文在分析了網(wǎng)格、云計算及集群計算等幾種高性能計算的優(yōu)缺點基礎(chǔ)上，提出并實現(xiàn)了一種基于計算存儲一體化的高性能集群架構(gòu)，以實現(xiàn)對海量遙感數(shù)據(jù)的高效處理，并在衛(wèi)星遙感基礎(chǔ)共性產(chǎn)品一體化處理系統(tǒng)中得以應(yīng)用。
　　本文的工作主要體現(xiàn)在以下幾點:
　　(1)基于已有集群系統(tǒng)，深入研究遙感數(shù)據(jù)高性能計算處理系統(tǒng)，針對海量遙感數(shù)據(jù)對處理平臺I/O、服務(wù)器磁盤的讀寫及網(wǎng)絡(luò)傳輸

3、造成的壓力等問題，采用把數(shù)據(jù)存儲從原來集中到一個機器變成計算、存儲一體化架構(gòu)，最大限度降低系統(tǒng)架構(gòu)的I/O傳輸，更充分利用了存儲服務(wù)器的計算資源、計算服務(wù)器的存儲資源，從而提高平臺的整理處理時效。
　　(2)采用了邏輯上靜態(tài)、物理上可動態(tài)擴展的分布式存儲模型來實現(xiàn)對海量遙感數(shù)據(jù)的存儲及管理。引入虛擬磁盤空間(VDS)的概念來把切片分配到多個存儲站點，并采用交叉?zhèn)浞莘绞酱_保系統(tǒng)的穩(wěn)定性。
　　(3)采用三級并行策略來最大化發(fā)揮