基于語(yǔ)義關(guān)聯(lián)學(xué)習(xí)的跨模態(tài)檢索方法研究.pdf

1、網(wǎng)頁(yè)中通常帶有文字描述、圖片或視頻等各種模態(tài)的數(shù)據(jù)，它們雖然構(gòu)成不同，但因?yàn)楣铂F(xiàn)關(guān)系而有相同的語(yǔ)義?？缒B(tài)檢索是用一種模態(tài)的數(shù)據(jù)作為查詢，得到不同模態(tài)但同語(yǔ)義的查詢結(jié)果，它豐富了查詢方式和查詢內(nèi)容?？缒B(tài)檢索的關(guān)鍵是獲取不同模態(tài)異構(gòu)數(shù)據(jù)的統(tǒng)一特征表示，基于典型關(guān)聯(lián)分析的子空間學(xué)習(xí)方法和基于分類的語(yǔ)義空間學(xué)習(xí)方法是解決異構(gòu)問(wèn)題有效方法，這兩種方法分別利用了訓(xùn)練數(shù)據(jù)的共現(xiàn)信息和類別標(biāo)記信息。
　　本文基于語(yǔ)義關(guān)聯(lián)學(xué)習(xí)所提出的關(guān)聯(lián)回歸模

2、型，在實(shí)現(xiàn)不同模態(tài)數(shù)據(jù)語(yǔ)義空間學(xué)習(xí)的同時(shí)，在語(yǔ)義空間中，不同模態(tài)數(shù)據(jù)間具有最大化的語(yǔ)義關(guān)聯(lián)性。該模型綜合利用共現(xiàn)信息和類別標(biāo)記信息，具有統(tǒng)一的目標(biāo)函數(shù)，其求解采用優(yōu)化包minFunc中的LBFGS方法。關(guān)聯(lián)回歸模型使得各模態(tài)語(yǔ)義學(xué)習(xí)的邏輯回歸分類器不再是相互獨(dú)立，分類器之間在目標(biāo)函數(shù)中采用線性加權(quán)組合方式，權(quán)重將使模型對(duì)不同模態(tài)數(shù)據(jù)分類有不同的側(cè)重，對(duì)于語(yǔ)義關(guān)聯(lián)和分類器在目標(biāo)函數(shù)中也是采用線性加權(quán)組合方式，平衡分類和關(guān)聯(lián)性要求。關(guān)聯(lián)回歸