移動(dòng)增強(qiáng)現(xiàn)實(shí)中的圖像處理關(guān)鍵技術(shù)研究及應(yīng)用.pdf

1、本文結(jié)合國家科技重大專項(xiàng)課題，研究移動(dòng)增強(qiáng)現(xiàn)實(shí)中的圖像處理關(guān)鍵技術(shù)，同時(shí)研發(fā)一套可商用的移動(dòng)增強(qiáng)現(xiàn)實(shí)應(yīng)用系統(tǒng)，為移動(dòng)增強(qiáng)現(xiàn)實(shí)應(yīng)用的產(chǎn)業(yè)化進(jìn)行大膽探索和實(shí)踐。本文研究的移動(dòng)增強(qiáng)現(xiàn)實(shí)中的視頻和圖像處理關(guān)鍵技術(shù)，主要包括視覺搜索、目標(biāo)的注冊(cè)與跟蹤、移動(dòng)增強(qiáng)現(xiàn)實(shí)內(nèi)容展現(xiàn)以及相關(guān)的圖像壓縮等多個(gè)方面，通過這些關(guān)鍵技術(shù)的研究，針對(duì)移動(dòng)增強(qiáng)現(xiàn)實(shí)應(yīng)用場景，針對(duì)性地提出了一些創(chuàng)新性的解決方案，分別解決了移動(dòng)增強(qiáng)現(xiàn)實(shí)應(yīng)用中圖像搜索、圖像識(shí)別、圖像渲染等不同

2、環(huán)節(jié)中存在的一些問題。主要研究內(nèi)容簡介如下:
　　1.視覺搜索技術(shù)
　　針對(duì)現(xiàn)有移動(dòng)增強(qiáng)現(xiàn)實(shí)中的視覺搜索技術(shù)查詢精度不高、碼流不能自適應(yīng)等問題，提出了一套完整的內(nèi)存占用小、不同碼率特征搜索魯棒性強(qiáng)、易于分布式部署的移動(dòng)視覺搜索解決方案。通過基于統(tǒng)計(jì)方法的融合多種影響圖像檢索性能的特征點(diǎn)選擇方法、簡單的描述子線性變換方法、以及基于區(qū)塊的位置點(diǎn)編碼方法，有效降低了局部特征碼流;通過使用基于Fisher向量的局部描述子聚合方法，有

3、效聚合局部特征并去除干擾信息，生成可快速進(jìn)行距離計(jì)算的二進(jìn)制緊湊型描述子，并采用DISTRACT算法來進(jìn)行幾何校驗(yàn)，對(duì)檢索結(jié)果進(jìn)行二次過濾，使得整套系統(tǒng)性能在不同碼率的特征碼流中表現(xiàn)均比較穩(wěn)定，并結(jié)合快速線性查找方法實(shí)現(xiàn)了快速的視覺搜索，為移動(dòng)增強(qiáng)現(xiàn)實(shí)系統(tǒng)的大規(guī)模部署提供了有力的條件。
　　2.注冊(cè)跟蹤技術(shù)
　　主要通過將特征匹配識(shí)別與特征跟蹤分為多線程并行計(jì)算，以及對(duì)傳統(tǒng)RANSAC算法進(jìn)行幾何約束優(yōu)化，有效解決了現(xiàn)有基于

4、無標(biāo)識(shí)注冊(cè)跟蹤的增強(qiáng)現(xiàn)實(shí)系統(tǒng)中的實(shí)時(shí)性問題。另一方面，通過在系統(tǒng)中加入特征跟蹤質(zhì)量評(píng)估來實(shí)現(xiàn)兩個(gè)線程間狀態(tài)的切換，以及對(duì)單應(yīng)矩陣進(jìn)行有效性篩選等方法，使得系統(tǒng)在保證流暢性的同時(shí)，對(duì)目標(biāo)旋轉(zhuǎn)、平移、縮放和部分遮擋情況下均可進(jìn)行穩(wěn)定跟蹤。最后實(shí)現(xiàn)了一套可在移動(dòng)終端側(cè)實(shí)時(shí)穩(wěn)定跟蹤的增強(qiáng)現(xiàn)實(shí)跟蹤注冊(cè)系統(tǒng)。
　　3.內(nèi)容渲染技術(shù)
　　以輕量高效為主要目標(biāo)對(duì)移動(dòng)增強(qiáng)現(xiàn)實(shí)內(nèi)容展現(xiàn)關(guān)鍵技術(shù)中涉及到的腳本解析、內(nèi)容加載和渲染方案進(jìn)行選型，依據(jù)

5、大量測試結(jié)果對(duì)不同格式的增強(qiáng)內(nèi)容給出了相關(guān)配置建議，同時(shí)針對(duì)目前由于移動(dòng)智能終端計(jì)算資源有限尚無法運(yùn)行于移動(dòng)增強(qiáng)現(xiàn)實(shí)應(yīng)用中的景深、陰影的渲染算法進(jìn)行了探索，在陰影渲染時(shí)利用哈希表的方法快速查找輪廓邊，同時(shí)基于Per-Object的思想進(jìn)行陰影體構(gòu)建，大幅減少了渲染的面元數(shù)目。
　　4.圖像壓縮技術(shù)
　　在標(biāo)準(zhǔn)JPEG編碼框架下:
　　實(shí)現(xiàn)了一種視覺無損圖像壓縮算法，其中首次引入有效且完備的圖像質(zhì)量評(píng)價(jià)方法，動(dòng)態(tài)調(diào)整質(zhì)量

6、因子，在保證用戶視覺無感知的情況下，獲得了較高壓縮比;綜合考慮壓縮前后圖像的信噪比、邊緣和紋理等因素，構(gòu)建客觀圖像質(zhì)量評(píng)價(jià)模型，并利用質(zhì)量因子及客觀圖像質(zhì)量評(píng)分的先驗(yàn)統(tǒng)計(jì)知識(shí)，大幅縮小需調(diào)整的質(zhì)量因子動(dòng)態(tài)范圍，并采用二分法快速調(diào)整質(zhì)量因子，有效提高了系統(tǒng)運(yùn)行效率。
　　在此基礎(chǔ)之上，將理論研究成果應(yīng)用于工程實(shí)踐中，完成了移動(dòng)增強(qiáng)現(xiàn)實(shí)業(yè)務(wù)系統(tǒng)架構(gòu)設(shè)計(jì)，組織開發(fā)了增強(qiáng)現(xiàn)實(shí)業(yè)務(wù)應(yīng)用平臺(tái)和移動(dòng)智能終端側(cè)增強(qiáng)現(xiàn)實(shí)客戶端應(yīng)用軟件，完成了一次有