基于共現(xiàn)信息及感知?dú)w類的衣物識(shí)別與解析.pdf

1、近年來(lái)隨著電子商務(wù)的快速發(fā)展，虛擬試衣、衣物推薦、以及基于圖片的衣物檢索等逐漸具有廣泛的應(yīng)用需求。這些應(yīng)用中的一個(gè)關(guān)鍵的問(wèn)題是衣物的識(shí)別與解析，即實(shí)現(xiàn)圖片級(jí)別和像素級(jí)別的衣物標(biāo)注?，F(xiàn)實(shí)中的衣物圖片背景復(fù)雜、圖片中的人體姿勢(shì)各異、衣服形狀款式多樣，同時(shí)帶標(biāo)簽數(shù)據(jù)集有限，使得衣物識(shí)別及衣物解析變得十分困難、現(xiàn)有的模型性能普遍不理想。為此，本文主要針對(duì)圖片中衣物類別的相關(guān)特性以及影響衣物解析性能關(guān)鍵因素進(jìn)行深入研究，提出了衣物識(shí)別和解析的改進(jìn)

2、算法。具體工作包括:
　　(1)圖片層面上的衣物識(shí)別，即針對(duì)衣物圖像進(jìn)行衣物類別的標(biāo)注。目前主流的衣物識(shí)別算法都使用單一任務(wù)模型訓(xùn)練衣物分類器，沒有考慮衣物類別之間的共現(xiàn)關(guān)系。即便有部分工作考慮了這一關(guān)系，其模型也不利于之后的特征選擇。針對(duì)這一問(wèn)題，本文將衣物共現(xiàn)約束項(xiàng)加入到多任務(wù)學(xué)習(xí)的目標(biāo)函數(shù)中，以擬合衣物類別之間的關(guān)系。實(shí)驗(yàn)證明，加入衣物共現(xiàn)約束項(xiàng)的平均性能優(yōu)于單一任務(wù)學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)以及傳統(tǒng)的多任務(wù)學(xué)習(xí)等方法，其訓(xùn)練結(jié)果便于可

3、視化，可用于特征選擇。
　　(2)像素層面上的衣物解析，即對(duì)一張圖像中不同區(qū)域標(biāo)注具體的衣物標(biāo)簽。首先，雖然目前大部分主流模型都有考慮人體部位的對(duì)稱性，然而它們卻忽略了衣物本身的對(duì)稱性;另外，許多衣物解析模型的解析結(jié)果中存在邊緣標(biāo)簽?zāi)：F(xiàn)象，也即不同衣物區(qū)域的接壤處的錯(cuò)誤率較高。針對(duì)這些問(wèn)題，本文參考視覺感知(visual perception)領(lǐng)域中的感知?dú)w類(perceptual grouping)理論，對(duì)基礎(chǔ)的結(jié)構(gòu)性條件隨機(jī)

4、場(chǎng)模型進(jìn)行改進(jìn)。即，根據(jù)對(duì)稱性感知，在模型中加入體現(xiàn)衣物對(duì)稱性的二元?jiǎng)莺瘮?shù)以將對(duì)稱性相近的備選區(qū)域標(biāo)注為相同的類別;另外，根據(jù)輪廓閉包理論，在基礎(chǔ)模型的損失函數(shù)中加入了輪廓距離代價(jià)項(xiàng)，懲罰沒有與實(shí)際邊界對(duì)齊的預(yù)測(cè)邊界，使得預(yù)測(cè)的衣物區(qū)域邊界盡量與實(shí)際圖像中的邊緣對(duì)齊以減少接壤區(qū)域的錯(cuò)誤率。最后，基于衣物識(shí)別的實(shí)驗(yàn)結(jié)果，將原模型中使用單一任務(wù)邏輯回歸訓(xùn)練的部分改為使用多任務(wù)學(xué)習(xí)，以挖掘衣物類別間關(guān)系。實(shí)驗(yàn)證明，改進(jìn)的衣物解析模型的平均性能