基于分子光譜的多元校正模型優(yōu)化與轉(zhuǎn)移方法及其應(yīng)用研究.pdf

1、分子光譜是一種常用的獲得物質(zhì)定性和定量信息的分析手段，主要包括紫外-可見光譜（Ultraviolet-Visible Spectroscopy）、近紅外光譜(Near Infrared Spectroscopy)、中紅外光譜(Mid-Infrared Spectroscopy)、拉曼光譜（Raman Spectroscopy）和熒光光譜(Fluorescence Spectroscopy)等。因為分子光譜測試簡單便捷、適合于多種形態(tài)的樣

2、本分析且信息豐富，在化學(xué)成分分析中有著非常廣泛的應(yīng)用。尤其是近紅外光譜和拉曼光譜與多元校正方法相結(jié)合，不需做樣本預(yù)處理，可實現(xiàn)樣本的無損在線分析，廣泛應(yīng)用于各個領(lǐng)域。然而，由于干擾和其它光學(xué)效應(yīng)的存在，此類光譜一般具有背景復(fù)雜，譜峰重疊，信號弱等特點。因此，如何從復(fù)雜、重疊的分子光譜信號中提取微弱的有用信息，并建立滿足需要的校正模型是目前基于分子光譜技術(shù)進(jìn)行定性和定量分析的關(guān)鍵，直接決定該項技術(shù)的可用性?；诖耍菊撐闹饕越t外光譜和

3、拉曼光譜為對象，對影響分子光譜建模的奇異樣本檢測、光譜預(yù)處理、波長選擇、多元校正模型建立和轉(zhuǎn)移方法、光譜融合等方面進(jìn)行了研究，主要內(nèi)容包括:
　　一、奇異樣本的消除與否對模型的穩(wěn)健性和預(yù)測精度有著重要影響，分子光譜的建模大量應(yīng)用了主成分回歸和偏最小二乘回歸等非穩(wěn)健的多元校正方法，采用這些方法進(jìn)行建模之前，應(yīng)對光譜數(shù)據(jù)的奇異點進(jìn)行檢測和剔除。由于光譜的高度相似性，我們只能夠借助于一些數(shù)學(xué)方法來對這些樣品進(jìn)行評估和診斷。本文采用了基于

4、蒙特卡洛采樣的奇異樣本診斷方法，對近紅外光譜測定液態(tài)牛奶的蛋白質(zhì)和脂肪含量數(shù)據(jù)及拉曼光譜測定汽油中總烯烴含量的數(shù)據(jù)進(jìn)行了診斷，并與經(jīng)典方法馬氏距離法和穩(wěn)健偏最小二乘法進(jìn)行了比較，結(jié)果表明，采用基于蒙特卡羅采樣的方法能夠有效的剔除數(shù)據(jù)中的奇異樣品，顯著提高模型的預(yù)測精度，其結(jié)果優(yōu)于馬氏距離法和穩(wěn)健偏最小二乘法，可以在光譜分析的數(shù)據(jù)診斷中發(fā)揮有效作用。
　　二、分子光譜數(shù)據(jù)的共線性十分嚴(yán)重，通過篩選特征波長（波數(shù)）建?？梢院喕Ｐ筒⑻?/p>

5、高模型的預(yù)測能力和穩(wěn)健性。本文分別通過對不同食醋種類的近紅外光譜識別，食醋總酸含量的近紅外光譜測定，不同植物油的拉曼光譜識別及白酒中乙醇含量的拉曼光譜測定四個應(yīng)用對象進(jìn)行研究，引入競爭自適應(yīng)重加權(quán)采樣(Competitive Adaptive Reweighted Sampling，CARS)方法選擇關(guān)鍵波長（波數(shù)）建立模型，采用這些關(guān)鍵波長（波數(shù)）建立的模型，模型復(fù)雜度降低且預(yù)測誤差有了顯著的減小，證明了CARS方法可以和光譜分析相結(jié)

6、合，在光譜定性和定量應(yīng)用中起到較好的作用。
　　三、多元校正模型的建立是進(jìn)行分子光譜定性定量分析的基礎(chǔ)，新型建模方法一直是本領(lǐng)域研究的熱點之一。本文針對不同光譜數(shù)據(jù)的特點，結(jié)合機(jī)器學(xué)習(xí)的最近進(jìn)展，發(fā)展了兩種新的光譜定性定量分析多元校正方法。第一種方法是結(jié)合小波變換和隨機(jī)森林(Random Forest，RF)的分類方法，用于近紅外光譜對蜂蜜摻假的鑒別。小波分解和重建可以壓縮光譜數(shù)據(jù)并過濾掉噪聲等干擾信息，而隨機(jī)森林方法作為一種包含

7、多個決策樹的分類器具有優(yōu)良的分類效果，可以提高光譜定性識別的正確率。第二種方法是小波變換結(jié)合支持向量機(jī)(Support Vector Machines，SVM)方法，用于拉曼光譜對汽油中總芳烴含量的測定。同樣采用小波分解和重建壓縮過濾光譜之后，采用基于結(jié)構(gòu)風(fēng)險最小化的SVM模型進(jìn)行預(yù)測，與偏最小二乘法(PLS)的結(jié)果比較表明，該方法能夠提升預(yù)測結(jié)果。
　　四、為了解決不同光譜儀器之間光譜的差異性問題，提出了一種基于典型相關(guān)分析的光

8、譜多元校正模型轉(zhuǎn)移新方法。典型相關(guān)分析是一種能夠有效地揭示兩組變量之間相互線性依賴關(guān)系的多元統(tǒng)計分析方法。在本方法中，我們首先對原光譜和目標(biāo)光譜進(jìn)行典型相關(guān)分析，然后用所得到的典型相關(guān)變量進(jìn)行轉(zhuǎn)換。因為兩組光譜之間反應(yīng)被測物信息的部分是一致的，應(yīng)該是相互線性相關(guān)的，而噪聲和干擾信息是隨機(jī)的，所以是無關(guān)的。結(jié)果表明，采用典型相關(guān)變量進(jìn)行轉(zhuǎn)換，可以從整體光譜中提取有效信息，同時濾除噪聲和干擾信息，得到較好的模型轉(zhuǎn)移結(jié)果。
　　五、光譜

9、分析的預(yù)測質(zhì)量主要取決于多元校正模型的質(zhì)量。因此模型建立之后的驗證也十分重要。當(dāng)前，模型驗證一般建立在一個單獨的測試集或者固定樣本分組后的單次交叉檢驗上，這樣的比較方法在小數(shù)量樣本上具有得出錯誤結(jié)論的風(fēng)險?；诖?，我們根據(jù)模型集群分析的思路，通過不斷改變測試集與訓(xùn)練集的樣本劃分，獲取了不同樣本集的預(yù)測誤差的分布，并可以對它們進(jìn)行統(tǒng)計檢驗，可以得到可靠的結(jié)論。結(jié)果表明，這樣能夠提高模型驗證比較的可靠性。
　　六、近紅外光譜和拉曼光譜

10、均具有多種不同種類的儀器，包括實驗室研究型或者便攜式儀器，傅立葉變換型或者CCD檢測器型等。這些儀器具有不同的分辨率以及性能。結(jié)合合適的化學(xué)計量學(xué)處理方法，較弱性能的儀器數(shù)據(jù)有可能達(dá)到和較高性能儀器數(shù)據(jù)相類似的預(yù)測效果。本文基于此，對不同分辨率的光譜儀器測試了相同的樣本，分別加以處理后，對預(yù)測結(jié)果進(jìn)行了統(tǒng)計檢驗，結(jié)果表明，合適的數(shù)據(jù)處理方法可以大幅提高較弱性能儀器的預(yù)測結(jié)果，并達(dá)到與較高性能的儀器預(yù)測結(jié)果相類似的水平。
　　七、不