面向多模態(tài)數(shù)據(jù)的多分類與檢索方法研究.pdf

1、隨著網(wǎng)絡技術(shù)的快速發(fā)展，包含有文本與圖像等數(shù)據(jù)的多模態(tài)文檔大規(guī)模地出現(xiàn)在人們的日常生活中。在信息的世界中，這些不同模態(tài)的數(shù)據(jù)資源可以無形地提升感覺器官接受知識的能力。盡管如此，由于多模態(tài)數(shù)據(jù)所呈現(xiàn)出的多樣性、復雜性與隨意性，人們很難從大量的數(shù)據(jù)資源中挖掘出對自己有用的信息。因此，為了更好地滿足人們?nèi)找嬖鲩L的各種需求，本文從多分類與檢索的角度研究了多模態(tài)數(shù)據(jù)的智能化管理技術(shù)。
　　許多實際問題的解決方案均涉及到多分類技術(shù)，該技術(shù)可以

2、有效地縮減用戶與計算機的理解差異。在傳統(tǒng)的多類Boosting方法中，多類損耗函數(shù)不一定具有猜測背離性，且多類弱學習器的結(jié)合被限制為線性的加權(quán)和。為了獲得高準確率的最終分類器，多類損耗函數(shù)應該具有多類邊緣極大化、貝葉斯一致性與猜測背離性。除此之外，弱學習器的缺點可能會限制線性分類器的性能，然而它們的非線性結(jié)合可以提供較強的判別力。根據(jù)這兩個觀點，本文設(shè)計了一個自適應的多類Boosting分類器，即SOHP-MCBoost算法。在每次迭代

3、中，SOHP-MCBoot算法能夠利用向量加法或Hadamard乘積來集成最優(yōu)的多類弱學習器。這個自適應的過程可以產(chǎn)生弱學習的Hadamard乘積向量和，進而挖掘出數(shù)據(jù)集的隱藏結(jié)構(gòu)。
　　對于一個多模態(tài)數(shù)據(jù)文檔，模態(tài)內(nèi)損耗可以捕獲到每個模態(tài)數(shù)據(jù)的語義類信息，而模態(tài)間損耗可以挖掘到不同模態(tài)數(shù)據(jù)之間的語義相關(guān)性。傳統(tǒng)的單模態(tài)Boosting方法沒有考慮模態(tài)間損耗，這可能會增大相關(guān)數(shù)據(jù)的語義距離。為了共同地分析多模態(tài)數(shù)據(jù)，本文設(shè)計了一個

4、包含模態(tài)內(nèi)損耗與模態(tài)間損耗的多模態(tài)多類Boosting框架。對于多維泛函空間內(nèi)的優(yōu)化問題，這個框架可以利用梯度下降的策略來輪流地更新每個模態(tài)的預測器。在獲得最優(yōu)預測器之后，Sigmoid函數(shù)可以把相應的擬邊緣轉(zhuǎn)換成語義概念類的后驗概率。經(jīng)過這樣的操作過程，語義空間的跨模態(tài)檢索能夠妥善地保存模態(tài)內(nèi)的語義信息與模態(tài)間的語義相關(guān)性。
　　基于原始特征向量的內(nèi)容相似性可以揭示每個模態(tài)數(shù)據(jù)集的內(nèi)部結(jié)構(gòu)，而基于語義特征向量的語義相似性反映了不

5、同模態(tài)數(shù)據(jù)之間的相關(guān)性，二者的結(jié)合能夠在一定程度上提高跨模態(tài)與多模態(tài)檢索的性能。在一階馬爾可夫鏈中，每個目標對象的內(nèi)容特征與語義特征可以分別表示一個隱藏狀態(tài)及其對應的發(fā)射概率。根據(jù)多類邏輯回歸或隨機森林，具有一階馬爾可夫鏈的CCSS模型可以把每個模態(tài)數(shù)據(jù)的原始特征映射到一個共同的語義空間。通過在馬爾可夫鏈內(nèi)尋找一條最優(yōu)的狀態(tài)路徑，CCSS模型能夠為每個查詢對象返回一條目標對象的索引序列。在這個序列中，相鄰的目標對象具有類似的內(nèi)容信息與語

6、義信息。
　　不同模態(tài)的數(shù)據(jù)提供了互補的信息，它們的相互作用可以幫助人們在高層次上更好地理解多模態(tài)數(shù)據(jù)文檔。在跨模態(tài)檢索的過程中，具有兩條一階馬爾可夫鏈的圖模型（CCSSI）不僅考慮了不同模態(tài)數(shù)據(jù)的相互作用，而且結(jié)合了內(nèi)容相似性與語義相似性。一條鏈中的對象可以轉(zhuǎn)移到該鏈的另一個對象，卻不能轉(zhuǎn)移到另一條鏈上的任意對象。當CCSSI模型檢索一條鏈中的對象時，另一條鏈中的對象能夠補充有用的信息。在某一個時間步，最相關(guān)對象的選擇同時依賴于