基于馬氏距離的度量學(xué)習(xí)算法研究及應(yīng)用.pdf

1、隨著國民經(jīng)濟(jì)的發(fā)展，我國在逐步進(jìn)行著產(chǎn)業(yè)智能化升級(jí)，而機(jī)器學(xué)習(xí)是智能化產(chǎn)業(yè)的理論基石之一。目前大部分機(jī)器學(xué)習(xí)算法都需要對(duì)使用特征向量描述的樣本測量相似性。因此，專門研究相似性測量函數(shù)的度量學(xué)習(xí)成為了機(jī)器學(xué)習(xí)理論中一個(gè)重要的研究分支。雖然距離度量函數(shù)有很多種類，但馬氏距離因?yàn)槿ヱ詈虾土烤V無關(guān)這兩種優(yōu)良的性質(zhì)成為目前最好用的度量函數(shù)。因而基于馬氏距離的度量學(xué)習(xí)算法的研究得到很多學(xué)者的青睞，研究成果也愈加豐富。但是通過對(duì)目前幾種典型的度量學(xué)習(xí)

2、算法分析，可以看到度量學(xué)習(xí)理論中還存在一些亟待解決的問題。本論文在前人工作基礎(chǔ)上，對(duì)現(xiàn)有度量學(xué)習(xí)理論進(jìn)行了有益的補(bǔ)充，提出了三種不同的度量學(xué)習(xí)算法，用于解決不同的問題。同時(shí)，論文將所提出的度量學(xué)習(xí)算法擴(kuò)展到新的應(yīng)用領(lǐng)域，為這些問題的解決提供新的方法和思路。
　　本論文第一章介紹了度量學(xué)習(xí)的研究背景和意義，對(duì)度量學(xué)習(xí)的原理進(jìn)行了分析。同時(shí)，第一章還介紹了度量學(xué)習(xí)的研究現(xiàn)狀，剖析了幾種目前最先進(jìn)的度量學(xué)習(xí)算法，發(fā)現(xiàn)度量學(xué)習(xí)理論存在的不

3、足，提出研究內(nèi)容。
　　第二章探討了度量學(xué)習(xí)與支持向量機(jī)分類器結(jié)合使用的可能性，研究了一種基于支持向量機(jī)分類的度量學(xué)習(xí)算法。首先，該章節(jié)對(duì)K近鄰分類器和支持向量機(jī)分類器進(jìn)行了全面的分析和比較，同時(shí)探討了兩者和度量學(xué)習(xí)的關(guān)系。其次，該章節(jié)構(gòu)建了基于馬氏距離的徑向基函數(shù)核，分析了該函數(shù)核的性質(zhì)并與其他函數(shù)核進(jìn)行了性能比較。再次，該章節(jié)提出了一種學(xué)習(xí)基于馬氏距離的徑向基函數(shù)核的度量學(xué)習(xí)算法，將度量學(xué)習(xí)和支持向量機(jī)參數(shù)的學(xué)習(xí)融入到同一框架

4、下。同時(shí)，該章節(jié)還提出了一種壓縮表示法，提高處理高維數(shù)據(jù)的效率。另外，該章節(jié)引入了有向非循環(huán)圖策略來解決多類別數(shù)據(jù)的情況。該章節(jié)所提出的算法有效地將度量學(xué)習(xí)與支持向量機(jī)分類器結(jié)合起來，有效地解決了支持向量機(jī)核函數(shù)選取困難的問題。在標(biāo)準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果證明了算法的高精確度和穩(wěn)定性。
　　第三章探討了如何建立在實(shí)際應(yīng)用中普遍適用的度量學(xué)習(xí)模型的問題。首先，該章節(jié)研究了Logdet散度的性質(zhì)和物理意義。其次，該章節(jié)詳細(xì)闡述并比較了三種

5、訓(xùn)練約束，并肯定了三元約束的優(yōu)越性。在此研究基礎(chǔ)上，該章節(jié)提出了一種使用三元約束的基于Logdet散度的度量學(xué)習(xí)算法，在提高算法性能的同時(shí)降低了保守性。該章節(jié)也使用了壓縮表示法來處理高維數(shù)據(jù)的情況，以損失少許精度為代價(jià)大幅地減少計(jì)算時(shí)間。該章節(jié)的另一個(gè)創(chuàng)新點(diǎn)是提出了一種動(dòng)態(tài)三元約束構(gòu)建策略，該策略使得每個(gè)循環(huán)都能選擇最有效的三元約束進(jìn)行馬氏矩陣的訓(xùn)練。這些工作使得該章節(jié)所提出的度量學(xué)習(xí)算法有著很好的性能表現(xiàn)和很強(qiáng)的適用性，在標(biāo)準(zhǔn)數(shù)據(jù)集上

6、的實(shí)驗(yàn)結(jié)果證明了算法的先進(jìn)性。
　　第四章研究了對(duì)動(dòng)態(tài)特征樣本進(jìn)行度量學(xué)習(xí)的問題。首先，該章節(jié)對(duì)時(shí)間序列進(jìn)行探討，并對(duì)已知的多變量時(shí)間序列的相似性測量方法進(jìn)行了比較。其次，該章節(jié)研究了一種基于馬氏距離的動(dòng)態(tài)時(shí)間規(guī)整算法，用于測量多變量時(shí)間序列的相似性。同時(shí)，該章節(jié)提出了一種用于多變量時(shí)間序列的距離度量學(xué)習(xí)模型，該算法可以高效地學(xué)習(xí)基于馬氏距離的動(dòng)態(tài)時(shí)間規(guī)整算法中所需要的馬氏矩陣。該章節(jié)首次將度量學(xué)習(xí)算法應(yīng)用于動(dòng)態(tài)特征樣本的學(xué)習(xí)與分

7、類。實(shí)驗(yàn)證明，與經(jīng)典方法相比，該算法有一定的先進(jìn)性。
　　第五章研究了將所提出的三種度量學(xué)習(xí)算法應(yīng)用到新的應(yīng)用領(lǐng)域上。第一個(gè)應(yīng)用是人臉表情識(shí)別，該章節(jié)提出了一種基于度量學(xué)習(xí)的人臉表情識(shí)別框架。該框架使用行為單元來描述人臉表情的幾何特征，并使用所提出的三種度量學(xué)習(xí)算法學(xué)習(xí)用來測量行為單元相似性的馬氏距離函數(shù)。第二個(gè)應(yīng)用是圖像檢索，該章節(jié)提出了一種基于度量學(xué)習(xí)的圖像檢索框架。該框架使用金字塔視覺單詞直方圖方法提取圖像的外觀特征，并使用