多媒體信息綜合檢索的關(guān)鍵技術(shù)研究.pdf

1、該文以數(shù)字圖書館等容納多種媒體類型的信息資料庫為應(yīng)用目標(biāo),總結(jié)了當(dāng)前國內(nèi)外多媒體檢索領(lǐng)域中最活躍的圖像檢索和視頻檢索(包括技術(shù)路線、相關(guān)技術(shù)和典型系統(tǒng))的研究現(xiàn)狀,討論了數(shù)字圖書館對多媒體檢索技術(shù)所提出的新問題和挑戰(zhàn),并對多媒體信息檢索技術(shù)進(jìn)行了拓展性研究,重點介紹了三項關(guān)鍵技術(shù):綜合時空特性的相關(guān)反饋方法,交叉參照索引的多模態(tài)檢索方法、以及面向多媒體文檔的多通道檢索方法.該文深入研究了相關(guān)反饋的人機(jī)交互方法,分析了基于內(nèi)容的圖像檢索中

2、相關(guān)反饋信息的時間特性與空間特性,在此基礎(chǔ)上首次提出了一種時空約束支持向量機(jī)(TSC-SVM)的相關(guān)反饋學(xué)習(xí)方法.在空間和時間維度上有所約束的利用用戶在檢索(相關(guān)反饋的循環(huán))過程中不斷反饋的正例(相關(guān)圖像)和負(fù)例(不相關(guān)圖像)信息,達(dá)到合理利用相關(guān)反饋信息、準(zhǔn)確掌握用戶查詢需求以及提高檢索精度的目的.和普通支持向量機(jī)方法相比,該方法能夠明顯的提高相關(guān)反饋的學(xué)習(xí)能力,提高檢索結(jié)果的準(zhǔn)確率;同時還能在檢索過程中準(zhǔn)確實時的跟蹤用戶的查詢需求,

3、在用戶的查詢需求發(fā)生轉(zhuǎn)移時顯得格外有效.為實現(xiàn)多種模態(tài)數(shù)據(jù)的綜合檢索,該文突破傳統(tǒng)的文本標(biāo)注方法,提出了一種多媒體對象的索引方法——交叉參照索引方法.在該方法中,多媒體對象的索引就是一組與該多媒體對象語義相關(guān)的多媒體對象.同時,提出了一種全新的多模態(tài)檢索機(jī)制,在檢索和相關(guān)反饋中結(jié)合交叉參照索引與底層特征,實現(xiàn)對多模態(tài)數(shù)據(jù)的統(tǒng)一處理;另外,還提出了能夠有效提高檢索系統(tǒng)的短期和長期性能的一種交叉參照索引的自動更新算法.針對數(shù)字圖書館等異構(gòu)信

4、息知識庫的特點,該文提出和實現(xiàn)了一個面向多媒體文檔的多通道(對應(yīng)如文本、圖像、視頻等的多種模態(tài))檢索系統(tǒng);定義了一個新的用來描述多媒體文檔內(nèi)容的框架,該框架不但提取出多媒體文檔在各通道下的基于內(nèi)容的底層特征,而且還記錄下多媒體文檔中不同多媒體對象間的鏈接關(guān)系;同時,提出了一種基于圖模型的交叉參照知識庫,用來存儲從鏈接關(guān)系中挖掘出的多媒體對象間的語義關(guān)系,通過一個有效的語義上下文分析算法,在檢索過程中計算每個對象與查詢的語義相似度.語義上