子空間學(xué)習(xí)若干問題研究及其應(yīng)用.pdf

1、子空間學(xué)習(xí)是機器學(xué)習(xí)領(lǐng)域的一個熱門課題，被廣泛應(yīng)用于計算機視覺、分析化學(xué)、生物信息學(xué)等領(lǐng)域。對維度高、訓(xùn)練樣本少的數(shù)據(jù)，常用的回歸、分類模型經(jīng)常出現(xiàn)過擬合、參數(shù)估計誤差大等問題。然而，數(shù)據(jù)雖然是高維的，但是可能分布在一個低維的子空間上，在此低維子空間上對數(shù)據(jù)的回歸或分類就能避免出現(xiàn)過擬合、參數(shù)估計誤差大等問題。子空間學(xué)習(xí)是解決這個問題的一個重要途徑。針對具體的回歸、分類等任務(wù)，學(xué)習(xí)最優(yōu)的子空間是子空間學(xué)習(xí)的核心問題。
　　針對回歸

2、、分類等問題，研究者基于各種準(zhǔn)則通過設(shè)計對應(yīng)的目標(biāo)函數(shù)以及對回歸系數(shù)、投影向量的正則化方法提出了多種子空間學(xué)習(xí)模型，然而，由于具體問題的復(fù)雜性，如何根據(jù)具體的回歸、分類任務(wù)設(shè)計目標(biāo)函數(shù)以及回歸系數(shù)、投影向量的正則化方法以得到最高的回歸、分類準(zhǔn)確度，仍然是子空間學(xué)習(xí)中的一個困難問題。
　　本文的工作圍繞子空間學(xué)習(xí)理論中設(shè)計最優(yōu)的目標(biāo)函數(shù)以及回歸系數(shù)、投影向量的正則化方法的幾個問題展開研究，集中研究了以最小化錯誤分類率、最小化均方誤差

3、為目標(biāo)學(xué)習(xí)最優(yōu)投影向量、數(shù)據(jù)之間具有相關(guān)性的子空間建模這三個問題。
　　本文的研究內(nèi)容及取得的成果包括以下幾個方面：
　　1.研究了線性分類問題中的最優(yōu)投影向量的問題，提出了一種近似最優(yōu)的線性判別模型。針對現(xiàn)有的線性判別分析模型沒有考慮投影向量是否最優(yōu)的、依賴于從樣本中估計分布的均值和協(xié)方差矩陣等問題，在數(shù)據(jù)服從Laplacian分布的情況下，分析了最小錯分率意義下求最優(yōu)投影向量的準(zhǔn)則，并給出了魯棒的線性判別分析模型及線性規(guī)

4、劃求解方法。該模型依賴于中值和平均絕對偏差的估計，比均值和協(xié)方差矩陣的估計要魯棒，適合訓(xùn)練樣本較少、有噪聲或異常點的情況。在服從高斯分布、Laplacian分布、有屬性缺失的高斯分布的數(shù)據(jù)上的仿真實驗顯示該模型都具有較好的分類效果。
　　2.研究了線性回歸問題中的最優(yōu)投影向量的問題，提出了一種近似最優(yōu)的偏最小二乘模型。針對特征有噪聲的情況，分析了均方誤差與投影向量的關(guān)系，給出了基于偏最小二乘框架提取最優(yōu)投影向量的回歸模型。并進一步

5、提出了一種近似最優(yōu)模型，給出了基于廣義特征值分解的模型求解方法。標(biāo)準(zhǔn)庫上的實驗顯示該模型具有更小的預(yù)測誤差，且使用了更少的隱藏變量。
　　3.研究了對不同樣本之間的相關(guān)性、同一樣本不同特征之間相關(guān)性的聯(lián)合建模問題，提出了基于回歸框架的多任務(wù)多視角學(xué)習(xí)模型以及對應(yīng)的核多任務(wù)多視角學(xué)習(xí)模型，給出了顯示求解算法。并將該學(xué)習(xí)模型應(yīng)用到視頻跟蹤問題中，通過該模型實現(xiàn)了對視頻相鄰幀之間的相關(guān)性、多種特征的相關(guān)性性的聯(lián)合建模，在多個標(biāo)準(zhǔn)數(shù)據(jù)庫上