基于高階CRFs和稀疏字典學習的場景語義解析.pdf

1、圖像語義標注作為場景理解中的一個基本問題，已成為計算機視覺領域研究的熱點；并廣泛應用于探險搜索、自動導航、安全防護、醫(yī)療護理等領域，具有重要的學術研究和工程應用價值。于是，本文設計了一種基于高階條件隨機場(CRFs)和稀疏字典學習的場景語義標注框架。首先，利用融合深度的多尺度分層過分割法獲得場景的超像素區(qū)域；接著，利用融合區(qū)域級多模態(tài)感知線索特征的二階CRFs模型，實現(xiàn)基于自底向上區(qū)域級表達的圖像場景標注；然后，利用不同類別統(tǒng)計先驗約束

2、判別性視覺特征的稀疏字典表示，構(gòu)成基于判別性稀疏字典學習的高階CRFs模型，實現(xiàn)基于自頂向下語義類別判別成本約束的場景語義標注。
　　針對目前快速的非監(jiān)督過分割方法在復雜場景中難于獲得與目標物體的一致性邊緣，本文提出采用基于多源感知多尺度組合成組的全局概率邊緣超度量圖(gpb-ucm)分層方法進行過分割待標注的RGB-D場景。首先，利用場景中圖像色彩、紋理及深度等感知線索，基于gpb-ucm分割法進行多尺度分層過分割得到不同尺度下

3、的過分割區(qū)域圖；然后，基于投影變換配準每個尺度的過分割區(qū)域圖；最后，融合合并各個尺度配準下的過分割區(qū)域的邊緣權值，以實現(xiàn)合成最終的分層分割區(qū)域圖。NYU Depth V2數(shù)據(jù)集上實驗表明，基于深度信息和多尺度融合改進過分割法，能提升劃分待解析場景超像素區(qū)域的目標物體邊緣性能，為后續(xù)基于以超像素分割區(qū)域為節(jié)點的概率圖模型的語義標注框架提供緊湊且可靠的場景結(jié)構(gòu)表達。
　　鑒于傳統(tǒng)場景語義標注方案中單一模態(tài)局部特征的表達能力欠佳和局部特

4、征信息難于捕獲上下文語義標簽之間有效依賴的問題，本文提出一種基于自底向上多模態(tài)特征融合的二階CRFs模型建模場景上下文關系的圖像語義標注方法。首先，以即得場景過分割區(qū)域為節(jié)點，分別提取并歸一化以顏色驅(qū)動的核描述子外觀特征和以深度驅(qū)動的HHA幾何特征。接著，拼接各個超像素區(qū)域節(jié)點即得的歸一化多模態(tài)視覺特征向量；利用支持向量機(SVM)分類器判別超像素區(qū)域相應的語義類別得分作為該CRFs模型中各節(jié)點的一元項勢能；以相鄰超像素過分割區(qū)域中LU

5、V空間色彩特征差異為該CRFs模型中鄰域邊的成對項勢能，自底向上構(gòu)建待解析場景區(qū)域級表示的概率圖模型。然后，在結(jié)構(gòu)化支持向量機框架SSVM下，最小化訓練集中基準標注圖與基于該CRFs推斷的標注圖之間的誤差，基于BCFW(Block Coordinate Frank-Wolfe)優(yōu)化方法學習該二階CRFs模型參數(shù)。最后，給定CRFs模型和測試圖像時，在最大化后驗概率MAP框架下，基于圖分割方法推斷待解析場景的語義標注結(jié)果。NYU Dept

6、h V2數(shù)據(jù)集上的實驗表明，基于深度信息和多模態(tài)特征融合的二階CRFs模型標注框架，能解析推斷出視覺表現(xiàn)力更強、標注準確率更高的語義標注圖。
　　為了克服場景標注中局部上下文信息難以捕獲長距離超像素區(qū)域視覺表達和目標對象之間的相互依賴關系的問題，本文提出一種基于自頂向下判別性稀疏字典學習高階條件隨機場模型的圖像標注方法。首先，按照每個不同語義類別，分別提取相應過分割區(qū)域中的視覺特征；采用字典學習方法稀疏編碼每個類別的視覺特征，以初

7、始化各個特定類別的相應稀疏字典；在上述二階CRFs模型標注基礎上，引入每一語義類的稀疏編碼子直方圖高階約束成本，構(gòu)建基于自頂向下高階CRFs的標注模型。然后，在結(jié)構(gòu)化支持向量機框架SSVM下，最小化訓練集中基準標注圖與高階CRFs模型推斷的標注圖之間的誤差過程中，先固定高階CRFs模型參數(shù)基于梯度下降法遞進式學習相應稀疏字典表示；后固定稀疏字典基于BCFW優(yōu)化方法進行交替式學習高階CRFs模型參數(shù)。最后，給定高階CRFs模型和測試圖像時