基于半監(jiān)督和遷移學(xué)習(xí)的近紅外光譜建模方法研究.pdf

1、在科學(xué)與經(jīng)濟(jì)飛速發(fā)展的當(dāng)今時(shí)代，企業(yè)生產(chǎn)過程的自動(dòng)化和智能化水平日益提高，傳統(tǒng)的產(chǎn)品質(zhì)量監(jiān)控手段難以滿足產(chǎn)品研發(fā)和生產(chǎn)控制的需求。近紅外光譜分析技術(shù)(NIR)作為一種新型、快速高效的檢測(cè)手段應(yīng)運(yùn)而生，大大提升了產(chǎn)品質(zhì)量監(jiān)督管理的工作效率，已經(jīng)在石油、醫(yī)藥、煙草等行業(yè)中被廣泛應(yīng)用。通過總結(jié)前期在“智能感官評(píng)估方法”課題的研究結(jié)論得知，當(dāng)模型的輸入是信息不夠完備的常規(guī)化學(xué)成分指標(biāo)時(shí)，難以建立分類性能良好的感官模擬評(píng)估模型。傳統(tǒng)的實(shí)驗(yàn)室化學(xué)分

2、析法往往檢測(cè)的成分?jǐn)?shù)量有限，而近紅外光譜中包含了豐富的成分信息。近紅外光譜分析通常應(yīng)用于檢測(cè)產(chǎn)品的化學(xué)成分含量方面，本文以近紅外光譜作為研究對(duì)象，應(yīng)用多種機(jī)器學(xué)習(xí)方法，深入分析近紅外光譜中反映的卷煙產(chǎn)品質(zhì)量以及卷煙配方中成分的關(guān)系。直接應(yīng)用高維的光譜數(shù)據(jù)建立與產(chǎn)品質(zhì)量之間的關(guān)系模型。近年的實(shí)踐應(yīng)用表明，傳統(tǒng)近紅外光譜分析技術(shù)在面對(duì)成分復(fù)雜或背景噪聲干擾較大的情況時(shí)，遇到了模型穩(wěn)定性差、預(yù)測(cè)誤差較大、建模樣本量大、模型難以移植等許多實(shí)際問

3、題，現(xiàn)有的近紅外光譜建模技術(shù)亟待提升。本文從近紅外光譜分析建模的基本原理、國(guó)內(nèi)外研究現(xiàn)狀分析入手，在轉(zhuǎn)導(dǎo)推理思想的啟發(fā)下，將半監(jiān)督學(xué)習(xí)、遷移學(xué)習(xí)方法引入近紅外光譜分析建模方法體系，主要圍繞近紅外高維光譜數(shù)據(jù)處理、光譜定性分析和定量分析建模、光譜分析模型傳遞四個(gè)關(guān)鍵技術(shù)內(nèi)容展開深入研究。
　　 本研究主要內(nèi)容包括：⑴當(dāng)近紅外光譜與觀測(cè)數(shù)據(jù)為非線性關(guān)系時(shí)，傳統(tǒng)降維方法容易出現(xiàn)原始數(shù)據(jù)特征信息丟失、流形結(jié)構(gòu)被破壞、數(shù)據(jù)分類性能下降等問

4、題。本文提出一種半監(jiān)督核鄰域保護(hù)嵌入算法(SSKNPE)。該算法基于核變換距離將非線性問題轉(zhuǎn)化為一個(gè)特征空間的線性問題，通過充分利用部分有標(biāo)記樣本的先驗(yàn)分類信息約束特征映射，使數(shù)據(jù)從高維映射到低維后仍能保持?jǐn)?shù)據(jù)的全局結(jié)構(gòu)和局部結(jié)構(gòu)。實(shí)驗(yàn)驗(yàn)證，SSKNPE算法的降維質(zhì)量?jī)?yōu)于LLE等傳統(tǒng)流形學(xué)習(xí)算法，能更好地改善卷煙品牌識(shí)別近紅外光譜分析模型的分類性能。⑵針對(duì)傳統(tǒng)分類器的歸納推理機(jī)制存在的預(yù)測(cè)風(fēng)險(xiǎn)問題和大量有標(biāo)記的訓(xùn)練樣本的約束等問題，引入

5、轉(zhuǎn)導(dǎo)推理和半監(jiān)督學(xué)習(xí)思想，提出了一種基于近鄰傳播聚類的半監(jiān)督支持向量機(jī)算法(APS4VM)。算法將近鄰傳播聚類和混沌優(yōu)化相結(jié)合，快速搜索多個(gè)間隔最大平面的低密度區(qū)域，確定安全分類的支持決策面。算法在少量標(biāo)記樣本的情況下，針對(duì)Iris數(shù)據(jù)集和卷煙口味評(píng)價(jià)數(shù)據(jù)進(jìn)行實(shí)驗(yàn)驗(yàn)證。實(shí)驗(yàn)結(jié)果表明能夠建立了性能良好、穩(wěn)健的分類模型，半監(jiān)督支持向量機(jī)具有實(shí)際工程應(yīng)用價(jià)值，解決了標(biāo)記樣本不足時(shí)的卷煙近紅外光譜定性分析建模困難的問題。⑶針對(duì)復(fù)雜非線性問題中傳

6、統(tǒng)近紅外光譜定量建模方法預(yù)測(cè)性能較低，要求訓(xùn)練樣本足夠多等實(shí)際工程應(yīng)用困難，提出一種基于量子粒子群優(yōu)化的半監(jiān)督支持向量回歸算法(QPSO-LSS3VR)。該算法結(jié)合K近鄰和置信度選樣方法實(shí)現(xiàn)半監(jiān)督學(xué)習(xí)中未標(biāo)記樣本估計(jì)，采用高效的量子粒子群優(yōu)化算法搜索最佳的半監(jiān)督支持向量機(jī)回歸模型參數(shù)γ，λ，σ。卷煙總糖預(yù)測(cè)模型實(shí)驗(yàn)表明，該算法基于半監(jiān)督學(xué)習(xí)思想，能在少量標(biāo)記樣本的情況下快速達(dá)到較低的預(yù)測(cè)標(biāo)準(zhǔn)誤差，優(yōu)化方法提高了建模的時(shí)間效率，同時(shí)降低了

7、半監(jiān)督建模成本，解決了標(biāo)記樣本不足時(shí)的卷煙近紅外光譜定量分析建模困難的問題。⑷針對(duì)近紅外光譜分析儀器之間模型通用性差的問題，分析現(xiàn)有模型傳遞方法的不適用性：建模所需的標(biāo)準(zhǔn)樣本準(zhǔn)備條件苛刻，實(shí)際操作復(fù)雜，傳統(tǒng)統(tǒng)計(jì)方法傳遞后的模型預(yù)測(cè)性能偏低。本文創(chuàng)新性地應(yīng)用遷移學(xué)習(xí)思想，提出一種新的近紅外光譜模型傳遞算法，即基于相似匹配和遷移學(xué)習(xí)的模型傳遞算法(SM-TrBoostEns)。通過非線性降維方法將近紅外光譜投影到低維空間，根據(jù)距離度量樣品的

8、相似性，篩選對(duì)目標(biāo)儀器建模有益的樣本進(jìn)行知識(shí)遷移，并采用遷移式Boosting技術(shù)和集成學(xué)習(xí)相結(jié)合的方式傳遞模型。通過兩臺(tái)近紅外設(shè)備之間的卷煙總糖預(yù)測(cè)模型傳遞實(shí)驗(yàn)表明，該算法在目標(biāo)儀器采集較少標(biāo)準(zhǔn)樣本光譜的情況下，仍能有效提升目標(biāo)儀器回歸預(yù)測(cè)精度，具有一定的實(shí)用性。實(shí)驗(yàn)同時(shí)也說明遷移學(xué)習(xí)方法可以在近紅外光譜模型傳遞方面繼續(xù)深入探索和改進(jìn)。⑸總結(jié)本文的研究結(jié)論和創(chuàng)新工作，提出下一步研究工作重點(diǎn)將圍繞半監(jiān)督學(xué)習(xí)模型的預(yù)測(cè)輸出置信度、異常光譜