基于Hadoop平臺(tái)的天光殘留成分的自動(dòng)識(shí)別與檢測(cè).pdf

1、天光作為一種主要的噪聲，疊加在目標(biāo)天體光譜之中，降低了光譜的信噪比。LAMOST作為我國(guó)最大的光纖光譜望遠(yuǎn)鏡，其擁有一套完整的觀測(cè)運(yùn)行系統(tǒng)以及數(shù)據(jù)處理的流程，其中減天光作為光譜數(shù)據(jù)處理中重要的步驟之一，目的在于減去目標(biāo)光譜中疊加的天光噪聲，減天光處理過(guò)程的有效性將直接影響目標(biāo)光譜的信噪比。若經(jīng)過(guò)減天光處理之后光譜中仍含有大量強(qiáng)度高的天光殘差將不利于對(duì)目標(biāo)光譜進(jìn)行后續(xù)的分析。
　　目前，自動(dòng)識(shí)別減天光異常恒星光譜的研究較少，只能通過(guò)

2、人工檢測(cè)的方法去尋找減天光異常的光譜，這將大大降低了檢測(cè)的效率。此外，LAMOST項(xiàng)目在每個(gè)觀測(cè)夜可觀測(cè)數(shù)以萬(wàn)記的光譜數(shù)據(jù)，因此為了提高對(duì)海量光譜數(shù)據(jù)的處理能力，需要一個(gè)可靠和高效的處理平臺(tái)。而Hadoop作為一個(gè)分布式的數(shù)據(jù)處理平臺(tái)，可以實(shí)現(xiàn)對(duì)海量光譜中出現(xiàn)減天光異常光譜進(jìn)行可靠、高效的識(shí)別與檢測(cè)。綜上，本課題主要完成以下工作:
　　(1)首先簡(jiǎn)要敘述LAMOST光譜的處理流程，并分析影響減天光結(jié)果的因素，找出減天光異常光譜的特

3、征，然后提出一種簡(jiǎn)單有效的方法能夠自動(dòng)識(shí)別LAMOST經(jīng)過(guò)Pipeline處理后仍然存在減天光異常的恒星光譜并檢測(cè)其位置。
　　(2)基于Hadoop平臺(tái)對(duì)光譜數(shù)據(jù)進(jìn)行預(yù)處理，然后利用中值濾波算法實(shí)現(xiàn)分布式的連續(xù)譜歸一化處理，其目的在于扣除光譜中的連續(xù)譜信息，僅僅保留光譜數(shù)據(jù)中需要的譜線和噪聲信息。實(shí)驗(yàn)結(jié)果表明，該算法可以有效的保留譜線信息，并且應(yīng)用Hadoop平臺(tái)大大提高了對(duì)海量光譜的處理效率。
　　(3)利用Hadoop