版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
1、隨著互聯(lián)網(wǎng)2.0技術(shù)的快速發(fā)展,一系列圍繞著多媒體內(nèi)容的研究不停地涌現(xiàn)出來(lái)。身處于這樣一個(gè)多媒體的時(shí)代,人們也在日常生活中不停創(chuàng)造并分享傳播著圖像和視頻這些常見(jiàn)的多媒體素材。而在這一過(guò)程中,用戶并不局限于僅僅分享傳播圖像視頻這些單一視覺(jué)信息,很多時(shí)候還會(huì)加上他們對(duì)圖像視頻內(nèi)容在語(yǔ)義層面的理解,比如標(biāo)簽或者描述這些文本信息。這樣就為多媒體領(lǐng)域衍生出了很多跨模態(tài)間的應(yīng)用。具體而言,這其中不僅包含有從文本出發(fā)查詢(xún)相關(guān)圖像的多媒體檢索技術(shù),也包
2、含有從視頻素材直接到文本的視頻描述生成,更有一些大膽的跨模態(tài)應(yīng)用比如從文本出發(fā),自動(dòng)生成相關(guān)的視頻內(nèi)容。這些跨模態(tài)應(yīng)用的本質(zhì)都是在視覺(jué)信息和文本信息這兩個(gè)不同模態(tài)間的互相轉(zhuǎn)換。目前的技術(shù)手段大部分都依賴(lài)于多模態(tài)學(xué)習(xí)與深度學(xué)習(xí)的現(xiàn)有框架來(lái)簡(jiǎn)單實(shí)現(xiàn)不同模態(tài)間的轉(zhuǎn)換,卻忽視了不同模態(tài)間本質(zhì)存在的高層語(yǔ)義聯(lián)系。而在模態(tài)轉(zhuǎn)換的過(guò)程中強(qiáng)調(diào)這一高層語(yǔ)義信息對(duì)深度理解視覺(jué)內(nèi)容以及最終提高模態(tài)間轉(zhuǎn)換質(zhì)量而言都是至關(guān)重要的。
針對(duì)這一問(wèn)題,本論文
3、從視覺(jué)信息和文本信息間本質(zhì)存在的高層語(yǔ)義信息出發(fā),研究如何利用高層語(yǔ)義信息來(lái)幫助并提升多媒體檢索(文本到圖像)、視頻描述生成(視頻到文本)、視頻內(nèi)容生成(文本到視頻)這些跨模態(tài)的應(yīng)用。本論文包含以下幾個(gè)創(chuàng)新點(diǎn):
(1)論文提出一種基于高層語(yǔ)義的多媒體檢索算法,可利用搜索引擎中用戶點(diǎn)擊數(shù)據(jù)挖掘出查詢(xún)關(guān)鍵詞和圖像的高層語(yǔ)義關(guān)系,并以此構(gòu)建出一個(gè)語(yǔ)義子空間來(lái)直接度量這兩種不同模態(tài)間的語(yǔ)義相關(guān)性,實(shí)現(xiàn)查詢(xún)關(guān)鍵詞到圖像轉(zhuǎn)換的多媒體檢索。
4、在該方法中語(yǔ)義子空間的構(gòu)建主要遵循兩個(gè)原則,即最小化查詢(xún)關(guān)鍵詞與對(duì)應(yīng)的點(diǎn)擊過(guò)的圖像在語(yǔ)義子空間中的距離,并同時(shí)保留每個(gè)模態(tài)在自己原本空間的固有關(guān)系結(jié)構(gòu)來(lái)。通過(guò)在一個(gè)大規(guī)模的用戶點(diǎn)擊圖像檢索數(shù)據(jù)集上的實(shí)驗(yàn),本文證明了該算法相比于傳統(tǒng)支持向量機(jī)的排序模型在語(yǔ)義相關(guān)性的評(píng)測(cè)標(biāo)準(zhǔn)上提高了4.0%。
(2)論文提出一種基于隱式高層語(yǔ)義的視頻描述生成算法,自動(dòng)生成語(yǔ)法連貫而且語(yǔ)義和視頻內(nèi)容一致的描述語(yǔ)句。該方法在利用長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)對(duì)詞
5、和詞之間的語(yǔ)法連貫性建模的同時(shí),還設(shè)計(jì)了一個(gè)全新的視覺(jué)語(yǔ)義嵌入式模塊來(lái)約束整個(gè)語(yǔ)句和視頻內(nèi)容的隱式語(yǔ)義相關(guān)性。這其中長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)與視覺(jué)語(yǔ)義嵌入式模塊是共同訓(xùn)練與優(yōu)化的。本文在三個(gè)視頻描述生成數(shù)據(jù)集上進(jìn)行了大量實(shí)驗(yàn)并證明了所提出方法的有效性,其中所提出方法在YouTube2Text數(shù)據(jù)集上相比于基于長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)的方法在METEOR指標(biāo)上提高了4.7%。
(3)除了利用視頻和描述語(yǔ)句間隱含的語(yǔ)義相關(guān)性,論文還提出一種基
6、于顯式高層語(yǔ)義的視頻描述生成算法,進(jìn)一步提高從視頻內(nèi)容到描述語(yǔ)句的轉(zhuǎn)換質(zhì)量。該方法首先挖掘出視頻中包含的顯式高層語(yǔ)義信息(也就是語(yǔ)義屬性),然后將這一高層語(yǔ)義信息動(dòng)態(tài)地融入到基于循環(huán)神經(jīng)網(wǎng)絡(luò)的傳統(tǒng)視頻描述生成模型中,從而大大提高了生成的視頻描述語(yǔ)句與視頻內(nèi)容的語(yǔ)義相關(guān)性。同樣地,本論文在三個(gè)視頻描述生成數(shù)據(jù)集上驗(yàn)證了基于顯式高層語(yǔ)義的視頻描述生成模型的有效性。其中在MSVD數(shù)據(jù)集上,該方法取得了迄今為止公開(kāi)的最高性能:52.8%的BLE
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 眾賞文庫(kù)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 基于語(yǔ)義關(guān)聯(lián)學(xué)習(xí)的跨模態(tài)檢索方法研究.pdf
- 視覺(jué)與聽(tīng)覺(jué)跨模態(tài)轉(zhuǎn)換的認(rèn)知和應(yīng)用研究.pdf
- 基于Ontology的語(yǔ)義檢索應(yīng)用研究.pdf
- 基于語(yǔ)義一致性和矩陣分解的跨模態(tài)哈希檢索研究.pdf
- 潛在語(yǔ)義分析在跨語(yǔ)言信息檢索中的應(yīng)用研究.pdf
- 基于環(huán)境激勵(lì)高墩大跨連續(xù)剛構(gòu)橋模態(tài)分析及應(yīng)用研究.pdf
- 基于語(yǔ)義Web的信息檢索應(yīng)用研究.pdf
- 基于語(yǔ)義的Web服務(wù)發(fā)現(xiàn)應(yīng)用研究.pdf
- 語(yǔ)義Web環(huán)境下基于本體的語(yǔ)義檢索應(yīng)用研究.pdf
- 基于跨模態(tài)哈希的圖文檢索研究.pdf
- 基于語(yǔ)義的web服務(wù)發(fā)現(xiàn)應(yīng)用研究
- 基于語(yǔ)義的報(bào)表系統(tǒng)模型的應(yīng)用研究.pdf
- 基于高層語(yǔ)義的圖像檢索研究.pdf
- 基于RDF、Ontology技術(shù)的語(yǔ)義Web應(yīng)用研究.pdf
- 基于主題分類(lèi)的多模態(tài)信息融合應(yīng)用研究.pdf
- 基于語(yǔ)義距離的跨語(yǔ)言信息檢索研究.pdf
- 語(yǔ)義提升和矩陣分解在跨模哈希檢索中的應(yīng)用研究.pdf
- 基于語(yǔ)義Web的知識(shí)表示及應(yīng)用研究.pdf
- 語(yǔ)義網(wǎng)格Portal的應(yīng)用研究.pdf
- 基于本體的教學(xué)資源語(yǔ)義檢索應(yīng)用研究.pdf
評(píng)論
0/150
提交評(píng)論