核正則化回歸學(xué)習(xí)和向量排序的收斂性分析及應(yīng)用.pdf

1、在經(jīng)濟社會問題中，許多實際任務(wù)都可以轉(zhuǎn)化為回歸問題，比如，市場趨勢預(yù)測、人口預(yù)測、經(jīng)濟發(fā)展因素分析、股價預(yù)測等。排序?qū)W習(xí)在實際中也有許多應(yīng)用的例子，比如，作為一個有力工具，排序?qū)W習(xí)在信息檢索、質(zhì)量控制、生存分析、計算生物學(xué)等方面有著許多實際應(yīng)用價值。
　　在回歸分析中，經(jīng)常遇到非線性問題，此時常用的回歸方法，如多元線性回歸、多元逐步回歸、線性分位數(shù)回歸等方法，就不能對數(shù)據(jù)進行有效擬合和預(yù)測了。核函數(shù)的表示方法，通過定義一個核函數(shù)作

2、為非線性變換，將輸入空間的非線性數(shù)據(jù)映射到高維的特征空間，然后在這個線性的特征空間中構(gòu)造回歸函數(shù)，而且只需要計算數(shù)據(jù)在特征空間的內(nèi)積就可以表示數(shù)據(jù)的特征。因此利用核函數(shù)技術(shù)，不失為解決非線性回歸問題的一種有效方法。
　　在進行回歸分析時，基于經(jīng)驗風(fēng)險最小化準則的回歸算法屬于不適定問題，在樣本量較小時容易出現(xiàn)“過擬合現(xiàn)象”，雖然對訓(xùn)練數(shù)據(jù)有較高的擬合度，但是對未知數(shù)據(jù)的預(yù)測能力差，模型的復(fù)雜度過大。為此，Tikhonov提出了正則化

3、的方法，在期望風(fēng)險后面加上表示模型復(fù)雜度的正則化項，在這種結(jié)構(gòu)風(fēng)險最小化準則下進行回歸學(xué)習(xí)。
　　核正則化方法同時結(jié)合核函數(shù)技術(shù)和正則化方法的優(yōu)點，是學(xué)習(xí)理論當(dāng)前采用的一種新方法。本文基于核正則化方法，在最小平方損失下，對回歸學(xué)習(xí)和向量排序?qū)W習(xí)的收斂速度進行研究。對算法的誤差上界進行量化分析，以此來衡量根據(jù)訓(xùn)練樣本學(xué)習(xí)到的算法對未知數(shù)據(jù)的預(yù)測能力，探討算法的收斂速度是否受到再生核空間的凸性、逼近性能和容量的影響，這是學(xué)習(xí)理論中的一

4、個焦點問題。
　　本文的主要研究內(nèi)容和創(chuàng)新點體現(xiàn)在以下三個方面:
　　1.近年來已經(jīng)有許多文獻對再生核Hilbert空間的正則化回歸學(xué)習(xí)算法的收斂速度進行了研究。但是由于Hilbert空間的結(jié)構(gòu)簡單所以有局限性，實際上許多數(shù)據(jù)不滿足由Hilbert空間的內(nèi)積誘導(dǎo)的距離。因此有必要擴大假設(shè)函數(shù)空間，Banach空間就是一個合理的選擇。對再生核Banach空間的正則化回歸學(xué)習(xí)算法的收斂性進行分析，這是一個新的研究領(lǐng)域，一個關(guān)鍵的

5、理論問題是Banach空間的幾何性質(zhì)如何影響收斂速度。
　　論文的第三章在Banach空間B具有q-一致凸性（其中q＞1），有一致連續(xù)的再生核等假定下，對再生核Banach空間的正則回歸學(xué)習(xí)算法的收斂速度進行了研究，分別推導(dǎo)出了以期望均值和經(jīng)驗均值表示的學(xué)習(xí)速度，結(jié)果表明Banach空間的一致凸性會影響核正則化回歸算法的學(xué)習(xí)速度，改進了現(xiàn)有文獻中得到的學(xué)習(xí)速度。之后給出符合定理條件的再生核Banach空間的例子，說明了定理條件的合

6、理性。
　　2.對于Banach空間無凸性要求的情況(q=1)，目前尚未見到對此時再生核Banach空間的正則化回歸算法的收斂性進行分析，論文的第四章展開了這方面的研究，以期望均值的形式推導(dǎo)出了該核正則化回歸算法的泛化誤差的概率上界。研究結(jié)果表明此時正則化回歸算法的期望誤差上界與樣本量、再生核Banach空間的復(fù)雜度、逼近誤差、輸出空間Y的取值上界M、再生核等有關(guān)。
　　3.排序?qū)W習(xí)可以看作是特殊的回歸問題，但是也有它的不同

7、之處。在排序問題中，通過學(xué)習(xí)一個實值函數(shù)用以對樣本進行打分，但是得分本身并不重要，關(guān)鍵在于通過這些得分對研究對象進行相對排序。近年來，將排序理論和機器學(xué)習(xí)結(jié)合起來，形成了核正則化排序方法。將一般的排序問題擴展為向量排序問題，這是一個新的研究內(nèi)容。
　　在論文第五章中，利用假設(shè)空間的覆蓋數(shù)、再生性等特點，對最小平方損失下再生核Hilbert空間的正則化向量排序算法的收斂速度進行了定量研究，利用G(a)teaux導(dǎo)數(shù)給出了最優(yōu)解和未知