基于內(nèi)容醫(yī)學(xué)圖像檢索中相關(guān)反饋技術(shù)研究.pdf

1、在醫(yī)學(xué)領(lǐng)域,隨著醫(yī)學(xué)影像設(shè)備的大量出現(xiàn),醫(yī)學(xué)圖像已成為現(xiàn)代醫(yī)療中的一種基礎(chǔ)性工具,醫(yī)院每天會(huì)產(chǎn)生大量的包含病人生理、病理和解剖信息的醫(yī)學(xué)圖像,這些醫(yī)學(xué)圖像在臨床診療、醫(yī)學(xué)教學(xué)和科研活動(dòng)中占有不可替代的地位,由此對(duì)醫(yī)學(xué)圖像數(shù)據(jù)進(jìn)行有效的管理和檢索產(chǎn)生了巨大的需求。傳統(tǒng)的圖像信息檢索主要依靠文本注釋、關(guān)鍵字來進(jìn)行,然而這樣帶來一些嚴(yán)重的問題:一來由于如今圖像信息數(shù)據(jù)量非常龐大,依靠人工查看并依次對(duì)圖像進(jìn)行注釋,這樣的效率遠(yuǎn)遠(yuǎn)達(dá)不到要求；二來

2、依靠人工觀察和注釋非常地具有主觀性,對(duì)同一幅圖,不同的人可能有不同的看法和注釋,甚至同一個(gè)人在不同時(shí)刻評(píng)價(jià)都不一樣,這是非常不可靠的。于是,主要以圖像內(nèi)容為度量標(biāo)準(zhǔn)的基于內(nèi)容的圖像檢索技術(shù),成為近十幾年來研究的熱點(diǎn),也是解決海量圖像數(shù)據(jù)管理和查詢的有效途徑。
　　 基于內(nèi)容的醫(yī)學(xué)圖像檢索(Content Based Medical Image Retrieval,CBMIR)是從醫(yī)學(xué)圖像本身提取灰度、形狀、紋理等底層視覺特征和高

3、層語義特征,構(gòu)成描述圖像內(nèi)容的特征向量,并以特征向量作為建立索引和匹配準(zhǔn)則的客觀依據(jù)檢索所需圖像。近年來，CBMIR技術(shù)已成為生物醫(yī)學(xué)工程領(lǐng)域十分活躍的研究方向。
　　 目前,CBMIR采用的技術(shù)多半來自基于內(nèi)容的圖像檢索(Content Based Image Retrieval,CBIR),但CBIR中的許多成熟技術(shù)并不能直接移植到CBMIR中,這主要是由醫(yī)學(xué)圖像本身的特點(diǎn)決定的:1)大多數(shù)醫(yī)學(xué)圖像是灰度圖,不同的圖像內(nèi)容可

4、能灰度信息相似,這使得常規(guī)的基于圖像全局特征(如灰度直方圖)的CBIR算法不適用于醫(yī)學(xué)圖像；2)自然圖像往往含有可以區(qū)分類別的背景色彩,然而醫(yī)學(xué)圖像(如X線圖像)的背景都為黑色,圖像類別的區(qū)分僅依靠對(duì)圖像中對(duì)象的分類來完成；3)醫(yī)學(xué)上存在多種成像模式,針對(duì)不同模式的圖像處理算法也會(huì)有所不同,提取的特征也有差異；4)圖像處理技術(shù)在醫(yī)學(xué)圖像處理領(lǐng)域還面臨著很多困難,如醫(yī)學(xué)圖像分割等；5)醫(yī)學(xué)成像過程中會(huì)引入各種噪聲、偽影、幾何形變等干擾；6

5、)醫(yī)學(xué)圖像灰度分辨率和空間分辨率高,所含信息量大。因此,必須尋求適合醫(yī)學(xué)圖像特點(diǎn)的特征提取算法和內(nèi)容表示方法,才能使CBMIR獲得成功。
　　 基于內(nèi)容的醫(yī)學(xué)圖像檢索的基本步驟是:對(duì)圖像數(shù)據(jù)庫中的所有圖像進(jìn)行圖像預(yù)處理和分析,提取圖像特征,建立特征庫,并將特征庫與圖像庫由特定的標(biāo)識(shí)關(guān)聯(lián)起來；在檢索過程中,先提取檢索樣圖相應(yīng)的特征向量,然后將該特征向量與特征庫中的特征向量進(jìn)行比較,根據(jù)匹配結(jié)果在圖像數(shù)據(jù)庫中檢索出所需要的圖像返回給

6、用戶；然而,兩幅底層特征相似度匹配程度高的圖像在語義內(nèi)容上可以相差很大,存在著所謂的“語義鴻溝”,它是制約基于圖像底層特征的CBMIR性能的主要因?yàn)椤?br>　　 產(chǎn)生“語義鴻溝”的因?yàn)橛?1)計(jì)算機(jī)視覺對(duì)色彩特征的表示、相似度定義和人對(duì)色彩的感知存在著一定差距。一般的相似性距離表示的只是圖像特征空間中的距離,而不是真正的圖像語義之間的相似距離；2)高層語義概念同底層特征之間的差距。人們?cè)谌粘Ｉ钪锌偸怯靡恍└邔哟蔚母拍?而計(jì)算機(jī)視覺

7、技術(shù)從圖像中提取的特征主要是低層次特征,除了人臉識(shí)別和指紋識(shí)別等特別領(lǐng)域,在大多數(shù)情況下,很難直接得到低層特征和高層特征之間的聯(lián)系；3)人類感知的主觀性。對(duì)于同一視覺內(nèi)容,不同的人或者是同一個(gè)人在不同的情況下可能有不同的理解,這就是人類感知的主觀性。這種主觀性可能存在于不同層次上,例如某人可能對(duì)圖像的顏色感興趣；而另一人可能更多的注重圖像的紋理特征；或者兩人同樣都是注重紋理特征,但他們各自所理解的紋理相似性也是完全不同的。事實(shí)上,任何一

8、種紋理特征的表達(dá)形式都不能涵蓋完整的圖像信息,不同的特征表示方法是從不同角度來體現(xiàn)視覺特征的；4)有一些圖像檢索系統(tǒng)采用了多特征檢索,由于不同的特征采用不同的相似性度量方法,很難找到一個(gè)比較合適的各特征綜合距離以符合人對(duì)圖像之間的相似度感知。
　　 如何解決“語義鴻溝”是目前CBMIR研究中最活躍的問題之一。目前縮減“語義鴻溝”的技術(shù)主要有:基于區(qū)域的圖像檢索、基于機(jī)器學(xué)習(xí)技術(shù)的圖像語義分類、相關(guān)反饋(relevance fee

9、dback,RF)、自適應(yīng)相似度匹配函數(shù)、結(jié)合文本的CBMIR等,其中RF技術(shù)應(yīng)用最為廣泛且效果顯著,RF允許用戶對(duì)檢索結(jié)果進(jìn)行評(píng)價(jià)和標(biāo)記,并反饋給系統(tǒng),系統(tǒng)則利用反饋信息進(jìn)行學(xué)習(xí),并在再次檢索返回更符合用戶要求的查詢結(jié)果。
　　 相關(guān)反饋原是一種在文字檢索系統(tǒng)中使用的技術(shù),它利用用戶先前的檢索結(jié)果信息進(jìn)行反饋從而自動(dòng)調(diào)節(jié)當(dāng)前查詢,在基于內(nèi)容的圖像檢索中,檢索一般總是通過一系列交互來完成的。首先用戶進(jìn)行一次初步查詢,系統(tǒng)返回這次

10、查詢獲得的最接近結(jié)果。用戶對(duì)結(jié)果集合進(jìn)行判斷,標(biāo)記滿意的結(jié)果為正例,并可標(biāo)記不滿意的結(jié)果為反例。系統(tǒng)根據(jù)用戶標(biāo)記結(jié)果進(jìn)行自我調(diào)整并進(jìn)行新一輪檢索。簡(jiǎn)單的說,就是將前一個(gè)查詢的結(jié)果反饋到系統(tǒng)的輸入端以改進(jìn)下一個(gè)查詢的輸出效果。該過程可根據(jù)用戶要求反復(fù)進(jìn)行。相關(guān)反饋的目標(biāo)是從用戶與查詢系統(tǒng)的實(shí)際交互過程中進(jìn)行學(xué)習(xí),發(fā)現(xiàn)并捕捉用戶的實(shí)際查詢意圖,并以此修正系統(tǒng)的查詢策略,從而得到與用戶實(shí)際需求盡可能相吻合的查詢結(jié)果。由于相關(guān)反饋可以實(shí)時(shí)地修改

11、系統(tǒng)的查詢策略,從而為圖像檢索系統(tǒng)增加了自適應(yīng)功能。
　　 本文首先分析了基于內(nèi)容圖像檢索技術(shù)的研究現(xiàn)狀及存在的問題,詳細(xì)闡述了基于內(nèi)容的圖像檢索研究的各個(gè)關(guān)鍵技術(shù),其中包括圖像檢索技術(shù)的發(fā)展階段介紹、檢索性能評(píng)價(jià)及分析、圖像視覺特征的提取與表達(dá)等等,并且分析了基于內(nèi)容圖像檢索中的多種相關(guān)反饋算法。詳細(xì)介紹了NMF(非負(fù)矩陣分解)相關(guān)反饋應(yīng)用到醫(yī)學(xué)圖像檢索。對(duì)傳統(tǒng)的乘法更新NMF迭代次數(shù)多,收斂時(shí)間慢等缺點(diǎn),提出將投影梯度應(yīng)用到

12、NMF,在保證查全率查準(zhǔn)率情況下,收斂速度大大的提高了。本文主要包括以下工作:
　　 1)系統(tǒng)介紹了基于內(nèi)容的圖像檢索的基礎(chǔ)知識(shí)和若干關(guān)鍵技術(shù),針對(duì)醫(yī)學(xué)圖像的特點(diǎn),提出了適合醫(yī)學(xué)圖像的灰度、紋理、形狀、空間的特征提取,詳細(xì)的分析了一些常用的特征提取方法,對(duì)各種特征進(jìn)行有效的融合與選擇來達(dá)到提高檢索效率。
　　 2)為了縮小圖像低層特征與圖像在語義內(nèi)容的差別,即所謂的“語義鴻溝”,將相關(guān)反饋技術(shù)引入圖像檢索系統(tǒng)中,在分析了