基于機(jī)器學(xué)習(xí)的數(shù)據(jù)補(bǔ)全、標(biāo)注和檢索若干問(wèn)題研究.pdf

1、隨著互聯(lián)網(wǎng)的飛速發(fā)展，人們進(jìn)入了大數(shù)據(jù)時(shí)代。在大數(shù)據(jù)時(shí)代如何對(duì)數(shù)據(jù)進(jìn)行理解和檢索成為研究人員廣泛關(guān)注的問(wèn)題，在推薦系統(tǒng)、人臉識(shí)別、圖像檢索等眾多實(shí)際問(wèn)題中有著廣泛的應(yīng)用。但是在大數(shù)據(jù)時(shí)代，關(guān)于數(shù)據(jù)本身，我們還面臨著很多挑戰(zhàn)。第一點(diǎn)，雖然可以很容易的收集到大量數(shù)據(jù)，但是由于各方面的原因，真實(shí)數(shù)據(jù)經(jīng)?？赡苁侨笔У摹⒉煌暾?、或者被部分被干擾的，所以如何進(jìn)行數(shù)據(jù)補(bǔ)全和恢復(fù)是一個(gè)難題。第二點(diǎn)，數(shù)據(jù)的分類、識(shí)別和理解經(jīng)常需要依賴大量的標(biāo)注數(shù)據(jù)，但

2、是大數(shù)據(jù)時(shí)代，雖然數(shù)據(jù)總量多，但是大部分?jǐn)?shù)據(jù)都是沒(méi)有標(biāo)注信息的，而人工標(biāo)注所有數(shù)據(jù)耗時(shí)耗力，因此如何選擇最重要、最有信息含量的那部分?jǐn)?shù)據(jù)進(jìn)行標(biāo)注，從而降低標(biāo)注成本，也是一個(gè)重要的科研問(wèn)題。第三點(diǎn)，大數(shù)據(jù)時(shí)代，如何在對(duì)數(shù)據(jù)進(jìn)行理解的基礎(chǔ)上，進(jìn)行快速準(zhǔn)確的數(shù)據(jù)檢索，精確的了解用戶意圖，并給用戶進(jìn)行實(shí)時(shí)反饋，也是一大挑戰(zhàn)。針對(duì)這三方面的問(wèn)題，本論文開展了以下工作:
　　1.為了更好的進(jìn)行數(shù)據(jù)信息恢復(fù)，我們提出了一個(gè)基于矩陣截?cái)嗍胶朔稊?shù)的

3、矩陣補(bǔ)全算法。本文在傳統(tǒng)的基于矩陣核范數(shù)的矩陣補(bǔ)全思路啟發(fā)下，進(jìn)一步對(duì)矩陣核范數(shù)進(jìn)行了精細(xì)化的修改，將傳統(tǒng)核范數(shù)定義中的最大的r的奇異值去掉，由此定義了新的矩陣截?cái)嗍胶朔稊?shù)。通過(guò)這種修改，基于矩陣截?cái)嗍胶朔稊?shù)的優(yōu)化問(wèn)題能夠?qū)仃嚨闹鹊膬?yōu)化問(wèn)題進(jìn)行更好的近似，從而得到更好的低秩解。同時(shí)，我們提出了兩種高效的矩陣截?cái)嗍胶朔稊?shù)的優(yōu)化算法，分別對(duì)應(yīng)于硬限制和軟限制條件下目標(biāo)函數(shù)的求解。而且，該工作給出了一種一般性的替代矩陣核范數(shù)的思路，可以廣泛

4、應(yīng)用到多種采用矩陣核范數(shù)的問(wèn)題中。
　　2.我們稱對(duì)數(shù)據(jù)進(jìn)行自動(dòng)采樣，選擇最有信息量的數(shù)據(jù)進(jìn)行標(biāo)注的過(guò)程為主動(dòng)學(xué)習(xí)。本文在傳統(tǒng)主動(dòng)學(xué)習(xí)算法基礎(chǔ)上，進(jìn)一步利用核空間理論，將基于距離敏感重構(gòu)的主動(dòng)學(xué)習(xí)算法成功其推廣為其非線性形式。傳統(tǒng)基于距離敏感重構(gòu)的主動(dòng)學(xué)習(xí)算法只是簡(jiǎn)單的通過(guò)線性重構(gòu)去表示數(shù)據(jù)分布，但在很多的實(shí)際問(wèn)題中，數(shù)據(jù)分布往往非常復(fù)雜。而核空間理論表明，可以通過(guò)選擇適當(dāng)?shù)暮撕瘮?shù)，將原始數(shù)據(jù)點(diǎn)映射到無(wú)窮維再生希爾伯特核空間(RK

5、HS)中。而研究表明，在一個(gè)充分高維的空間里，數(shù)據(jù)的復(fù)雜非線性結(jié)構(gòu)更可能被展開成簡(jiǎn)單的幾何結(jié)構(gòu)。因此，我們?cè)诤丝臻g中對(duì)原始算法進(jìn)行了重新推導(dǎo)，并提出了一種全新的優(yōu)化算法進(jìn)行核空間目標(biāo)函數(shù)的快速求解。實(shí)驗(yàn)表明，通過(guò)引入核空間，我們對(duì)數(shù)據(jù)幾何信息的刻畫更加準(zhǔn)確了，取得了更好的效果。
　　3.為了加速數(shù)據(jù)檢索的速度，提高數(shù)據(jù)檢索的精度，本文提出了一個(gè)綜合數(shù)據(jù)結(jié)構(gòu)和哈希算法的近似最近鄰檢索框架。傳統(tǒng)上，基于數(shù)據(jù)結(jié)構(gòu)的檢索算法和基于哈希算法

6、的檢索算法是最近鄰檢索中的兩個(gè)獨(dú)立的研究方向。本文提出的框架可以融合多種數(shù)據(jù)結(jié)構(gòu)（如K-means樹，K近鄰圖等）和任意哈希算法，實(shí)現(xiàn)兩者的優(yōu)勢(shì)互補(bǔ)。一方面，我們將數(shù)據(jù)結(jié)構(gòu)中使用的傳統(tǒng)歐式距離度量改進(jìn)成漢明距離，大大加速數(shù)據(jù)結(jié)構(gòu)中每一步搜索的計(jì)算速度;另一方面，我們對(duì)每個(gè)數(shù)據(jù)點(diǎn)的哈希編碼利用數(shù)據(jù)結(jié)構(gòu)進(jìn)行了重新組織，因此避免了對(duì)哈希編碼進(jìn)行線性暴力搜索，將線性復(fù)雜度降低為對(duì)數(shù)復(fù)雜度。還有很重要的一點(diǎn)是，傳統(tǒng)哈希算法由于需要線性遍歷，往往只