基于跨模態(tài)的圖像瀏覽與推薦關(guān)鍵技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)的高速發(fā)展和圖像獲取技術(shù)的不斷提高，圖像在網(wǎng)絡(luò)中的產(chǎn)生速度也呈爆炸式增長(zhǎng)。這就導(dǎo)致了如何更好的對(duì)圖像數(shù)據(jù)進(jìn)行組織，管理和獲取成為一個(gè)廣泛關(guān)注的問(wèn)題。當(dāng)前隨著圖像數(shù)據(jù)增長(zhǎng)速度越來(lái)越快，無(wú)論是單純基于語(yǔ)義信息或者視覺(jué)信息的圖像瀏覽和推薦算法都不能夠很好的解決該問(wèn)題，因此本文著重研究基于跨模態(tài)信息的圖像瀏覽與推薦的相關(guān)方法，并涉及三個(gè)重要的方面:圖像跨模態(tài)關(guān)聯(lián)網(wǎng)絡(luò)的構(gòu)建;基于跨模態(tài)信息的圖像聚類算法研究;基于跨模態(tài)信息的圖像個(gè)性化推

2、薦方法研究。
　　在圖像跨模態(tài)關(guān)聯(lián)網(wǎng)絡(luò)的構(gòu)建方面，語(yǔ)義關(guān)聯(lián)網(wǎng)絡(luò)和視覺(jué)關(guān)聯(lián)網(wǎng)絡(luò)是兩個(gè)主要組成部分。語(yǔ)義關(guān)聯(lián)網(wǎng)絡(luò)的構(gòu)建主要考慮基于概念在多標(biāo)注圖像數(shù)據(jù)集中共現(xiàn)概率的層次內(nèi)關(guān)聯(lián)關(guān)系和基于WordNet定義的固有層次關(guān)聯(lián)關(guān)系所共同構(gòu)成。視覺(jué)關(guān)聯(lián)網(wǎng)絡(luò)的構(gòu)建則主要通過(guò)提取圖像視覺(jué)信息特征來(lái)完成獲得圖像集合之間的視覺(jué)關(guān)聯(lián)的任務(wù)。最后通過(guò)語(yǔ)義關(guān)聯(lián)網(wǎng)絡(luò)和視覺(jué)關(guān)聯(lián)網(wǎng)絡(luò)的融合形成跨模態(tài)關(guān)聯(lián)網(wǎng)絡(luò)。
　　在基于跨模態(tài)信息的圖像聚類方面，首先考慮的是視

3、覺(jué)信息和語(yǔ)義信息的特征提取方法:視覺(jué)信息涉及基于SIFT特征的LLC線性編碼方法和SPM分層特征提取方法;語(yǔ)義信息的特征提取方法則定義一個(gè)依賴于數(shù)據(jù)集標(biāo)注信息的共現(xiàn)關(guān)聯(lián)網(wǎng)絡(luò)，并基于這個(gè)網(wǎng)絡(luò)對(duì)圖像中包含的語(yǔ)義標(biāo)注信息進(jìn)行TF-IDF優(yōu)化編碼。接著本文采用CCA方法將兩個(gè)不同維度的特征進(jìn)行跨模態(tài)信息融合;并為圖像聚類提供跨模態(tài)特征。
　　在基于跨模態(tài)信息的圖像個(gè)性化推薦算法方面，本文詳細(xì)介紹了該算法的設(shè)計(jì)框架和各部分的設(shè)計(jì)過(guò)程。首先是

4、基于跨模態(tài)關(guān)聯(lián)網(wǎng)絡(luò)的圖像多模態(tài)關(guān)聯(lián)信息挖掘過(guò)程，它依賴于跨模態(tài)關(guān)聯(lián)網(wǎng)絡(luò)建立多模態(tài)信息的關(guān)聯(lián)挖掘機(jī)制;接著是基于用戶個(gè)性化模型的多模態(tài)關(guān)聯(lián)融合，主要針對(duì)關(guān)聯(lián)挖掘產(chǎn)生的圖像候選集構(gòu)建基于語(yǔ)義關(guān)聯(lián)和視覺(jué)關(guān)聯(lián)的跨模態(tài)圖模型，并在圖模型的構(gòu)建中引入用戶個(gè)性化模型。最后是基于隨機(jī)游走的關(guān)聯(lián)推薦算法，在跨模態(tài)圖模型中建立一種模擬人類聯(lián)想思維方式的瀏覽推薦模式，其目的是讓算法能夠更加準(zhǔn)確的捕捉用戶對(duì)于圖像的興趣關(guān)注點(diǎn)，并且為用戶提供更好的圖像瀏覽與推薦