蘋果近紅外光譜數(shù)據(jù)庫系統(tǒng)關(guān)鍵算法研究及原型系統(tǒng)開發(fā).pdf

1、近紅外（Near-infrared，NIR）光譜的信息量豐富，圖譜穩(wěn)定性高且容易采集，其NIR漫反射分析不需要對樣品做任何化學(xué)處理，因此NIR光譜分析技術(shù)具有快速、無損和綠色的特點。計算機技術(shù)的廣泛應(yīng)用和化學(xué)計量學(xué)的不斷發(fā)展促使NIR光譜分析方法在諸多領(lǐng)域倍受青睞。但是，建立性能優(yōu)良的NIR模型必須同時具備:規(guī)范、合理的光譜采集標準，性能穩(wěn)定、精度符合要求的光譜儀，豐富的樣品資源，準確測量樣品成分濃度的技術(shù)以及具有豐富經(jīng)驗的建模人員等條

2、件。對于普通單位而言，很難同時具備以上條件;另一方面，具備以上條件的單位所取得的NIR光譜分析成果受限于現(xiàn)有光譜數(shù)據(jù)管理方法而難以大范圍應(yīng)用。因此，為了推廣NIR光譜分析技術(shù)的應(yīng)用范圍和共享NIR光譜分析結(jié)果，建立光譜數(shù)據(jù)庫系統(tǒng)（Spectral database system，SDBS）是非常必要的。
　　本課題以蘋果為檢測對象，探索構(gòu)建用于蘋果NIR光譜及其分析結(jié)果管理的數(shù)據(jù)庫系統(tǒng)的方法。首先，研究了蘋果NIR光譜匹配算法（S

3、pectral matchingalgorithm，SMA）。根據(jù)杰卡德相似系數(shù)（Jaccard similarity coefficient，JSC）構(gòu)造全光譜匹配算法(Spectral matching algorithm based on JSC，SMA-JSC)，將曲線線形作為光譜匹配指標引入到光譜匹配中來。其次，本文還利用曲線平滑算法、曲線譜峰識別方法對蘋果NIR光譜有效特征峰識別進行研究。優(yōu)選了蘋果NIR光譜曲線譜峰識別參數(shù)

4、，實現(xiàn)了蘋果NIR光譜有效特征峰的自動識別。并在此基礎(chǔ)上對光譜特征峰匹配算法（Spectral matching algorithm with peak information，SMA-P）進行研究。最后，根據(jù)以上研究所得出的結(jié)論，開發(fā)了蘋果NIR SDBS原型系統(tǒng)。
　　本文的主要內(nèi)容和研究結(jié)果如下:
　　(1)分析和研究了蘋果NIR光譜特征峰自動識別方法，優(yōu)選了蘋果NIR光譜特征峰識別參數(shù)。由于常用曲線平滑算法容易導(dǎo)致光

5、譜特征峰波段產(chǎn)生較大的形變，導(dǎo)致特征峰參數(shù)產(chǎn)生偏差，且無法滿足特征峰自動識別的要求。本文提出一種基于數(shù)據(jù)點加權(quán)的曲線平滑算法，在固定寬度的滑動窗口內(nèi)根據(jù)曲線波動頻率對中心數(shù)據(jù)點加權(quán)，對權(quán)重不同的數(shù)據(jù)點采用不同的平滑算法進行平滑。當(dāng)權(quán)重閾值大于0.5時，經(jīng)過平滑的曲線均方根（Root mean square，RMS）值變化不明顯，當(dāng)窗口大小為21時，對特征峰波段的保護效果最優(yōu)。選擇峰寬和峰形指數(shù)作為假性峰(Pseudo peak，PP)過

6、濾指標，測試了20個水平的峰寬閾值（Tpw∶3～41）對PP的過濾效果，當(dāng)Tpw達到29時，無法通過繼續(xù)增大Tpw過濾其他PP;繼續(xù)采用峰形指數(shù)閾值（Tps）過濾其他PP，當(dāng)閾值為0.005時，濾除效果最佳。比較了8～128cm-1分辨率下的光譜特征峰識別情況，在32或64cm-1分辨率下的特征峰識別效果最佳，當(dāng)分辨率繼續(xù)降低時，光譜數(shù)據(jù)點數(shù)逐漸減小，無法滿足Tpw的要求，特征峰識別效果變差。結(jié)果表明:當(dāng)光譜分辨率為32cm-1，加權(quán)窗

7、口為21，權(quán)重閾值為0.7，平滑窗口大小為21，Tpw為29，Tps為0.005時，特征峰位1正確識別率為100％，特征峰位2正確識別率為99.50％，可以實現(xiàn)蘋果NIR光譜特征峰及相關(guān)參數(shù)的自動計算。
　　(2)研究了用于蘋果NIR光譜的SMA-P。對SMA-P區(qū)分不同樣品光譜的能力進行驗證，采用阿克蘇紅富士，山東紅將軍，陜西紅富士和陜西黃金帥4個類別，每個類別100個樣品，共400個樣品進行測試。在400條試驗樣品光譜中隨機抽

8、取20條與所有樣品光譜進行比較。分別采用特征峰個數(shù)、峰位、峰面積和峰寬作為光譜匹配指標進行匹配，抽取的20條光譜與總體樣品光譜中多條光譜完全匹配的比率分別為100％、25.00％、10.00％和0。因此，采用特征峰寬或面積指標區(qū)分不同樣品光譜效果較好。進一步采用特征峰寬和面積作為光譜匹配指標對樣品光譜進行分類測試，平均分類正確率分別為47.25％和55.00％。此結(jié)果表明:SMA-P對不同類別的蘋果樣品分類識別能力較差，不能勝任蘋果NI

9、RSDBS對未知樣品進行分類初選的任務(wù)。
　　(3)研究了用于蘋果NIR光譜的全光譜匹配算法（Spectral matching algorithm with full spectral information，SMA-FS）。對SMA-FS，包括絕對差異法(Absolute distance，AD)、總體平方差法(Sum of square difference，SSD)、歐式距離法(Euclidean distance，ED)

10、、相關(guān)系數(shù)法(Correlation coefficient，CC)和光譜角法（Spectral angle，SA），區(qū)分不同樣品光譜的能力進行驗證。仍采用(2)中所描述的測試樣品和測試方法進行測試，結(jié)果表明上述5種SMA-FS均能夠正確區(qū)分不同樣品光譜。進一步采用這5種SMA-FS對樣品光譜進行分類測試，平均分類識別正確率分別為65.50％、66.00％、73.00％、64.75％和62.75％，分類結(jié)果明顯優(yōu)于SMA-P的分類結(jié)果，

11、但正確率仍有待進一步提高。根據(jù)JSC原理構(gòu)造全光譜匹配算法SMA-JSC。采用(2)中所描述的測試樣品和測試方法進行測試，結(jié)果表明SMA-JSC能夠正確區(qū)分不同樣品的光譜。進一步采用SMA-JSC對樣品光譜進行分類測試，對應(yīng)平均分類識別正確率為:94.50％（校正）和95.00％（內(nèi)部驗證）;進一步擴大測試范圍，采用甘肅紅富士、山東紅富士和陜西紅富士三個類別的蘋果，每個類別100個樣品，共300個樣品進行上述測試。結(jié)果進一步證實SMA-

12、JSC能夠正確區(qū)分不同樣品的光譜，對應(yīng)平均分類識別正確率為:93.67％和93.33％;為了驗證擴大測試樣品集對算法的影響，將兩個測試樣品集合并后再進行上述測試。結(jié)果表明SMA-JSC仍然能夠正確區(qū)分所有不同樣品的光譜，對應(yīng)平均分類識別正確率為:94.14％和94.29％，算法性能并未因測試樣品集的擴大而降低。采用判別分析法(Discriminant analysis，DA)對以上樣品光譜進行分類測試。兩兩分類平均精度分別為:98.60

13、％（原始光譜）、95.90％（一階導(dǎo)數(shù)）和96.30％（二階導(dǎo)數(shù)），隨著樣類別數(shù)量的增加，分類正確率逐漸下降，當(dāng)對以上7類樣品進行分類時，正確率降低為:88.00％、56.40％和58.40％。以上結(jié)果表明:SMA-JSC對多類別的蘋果樣品分類識別正確率遠高于SMA-P和常見的SMA-FS，具有受樣品類別數(shù)量影響小，分類精度高和性能穩(wěn)定的優(yōu)點。相比較而言，分類樣品類別的增加將導(dǎo)致傳統(tǒng)分類算法效果變差。因此，在上述幾類算法中，SMA-JS

14、C最適用于蘋果NIRSDBS的分類篩選任務(wù)，為蘋果NIR SDBS的查詢分析正確率的提高提供了有力保障。
　　(4)制定蘋果NIR SDBS入庫光譜規(guī)范。從標準樣品選擇、樣品預(yù)處理方法、光譜采集儀器、儀器參數(shù)設(shè)置、光譜采集試驗環(huán)境等影響光譜品質(zhì)的因素著手，充分利用前人的研究成果和領(lǐng)域知識，并結(jié)合本文的研究結(jié)論制定了蘋果NIR SDBS入庫光譜規(guī)范。此項工作為蘋果NIR SDBS的數(shù)據(jù)規(guī)范性和一致性提供了理論依據(jù)和指導(dǎo)。