LAMOST科學計算云平臺系統(tǒng)的構建與應用.pdf

1、隨著探測器和空間技術的發(fā)展，天文觀測從可見光、射電波段擴展到包括紅外、紫外、X射線和γ射線在內(nèi)的電磁波各個波段，形成了全波段天文學，現(xiàn)發(fā)展到了一個全新的階段，即全波段-大樣本-巨信息量時期。天文學已然成為各學科中擁有海量數(shù)據(jù)的龍頭老大，由于天文數(shù)據(jù)量的龐大和增長速度的迅猛，這些巡天項目產(chǎn)生的數(shù)據(jù)量通?？梢赃_到TB甚至PB級。如斯隆數(shù)字巡天SDSS，用了十年時間來覆蓋8000平方度的天空，得到大約108個恒星、星系及類星體的大約40TB的

2、成像及光譜數(shù)據(jù)。
　　 隨著LAMOST巡天計劃的開展，要完成對1000萬個星系、100萬個類星體及1000萬顆恒星光譜的觀測，將產(chǎn)生的數(shù)據(jù)將會是SDSS的十倍之多，對海量數(shù)據(jù)的存儲和處理將會是一個極大的挑戰(zhàn)，本文針對LAMOST的需求，對海量光譜的數(shù)據(jù)存儲和處理構建了一套適合天文數(shù)據(jù)處理的科學計算平臺并設計并實現(xiàn)了可定制的云儲存系統(tǒng)。
　　 本文主要工作如下:
　　 1、在LAMOST數(shù)據(jù)處理中心的24臺服務器

3、上構建了一套基于Hadoop開源框架并適合天文數(shù)據(jù)處理的科學計算平臺，其中包含NumPy、SciPy、PyFITS等常用的工具包。使用Python和Shell完成自動部署的程序包，以方便快捷地添加刪除物理節(jié)點以及設置負載均衡。
　　 2、基于Hadoop核心組件HDFS，設計并實現(xiàn)了多用戶的云存儲系統(tǒng)，為用戶提供了新建文件夾、文件上傳、下載文件/文件夾、刪除文件/文件夾、回收站、記事本及個人信息管理等功能。另外，管理員角色擁有賬