外文翻譯--基于dsp的通過局部特征實時物體識別嵌入式系統(tǒng)

1、<p><b>　　附錄A</b></p><p>　　Real-time object recognition using local features on a DSP-based embedded system</p><p><b>　　Abstract</b></p><p>　　In the last

2、 few years, object recognition has become one of the most popular tasks in computer vision. In particular, this was driven by the development of new powerful algorithms for local appearance based object recognition. So-c

3、alled ‘‘smart cameras’’ with enough power for decentralized image processing became more and more popular for all kinds of tasks, especially in the field of surveillance. Recognition is a very important tool as the robus

4、t recognition of suspicious vehicles, persons or </p><p>　　Keywords DSP ; Object recognition; Local features; Vocabulary tree</p><p>　　Introduction</p><p>　　Object recognition is o

5、ne of the most popular tasks in the field of computer vision. In the past decade, big efforts were made to build robust object recognition systems based on appearance features with local extent. For such a framework to b

6、e applicable in the real world several attributes are very important: insensitivity against rotation, illumination or view point changes, as well as real-time behavior and large-scale operation. Current systems already h

7、ave a lot of these properties and, th</p><p>　　In turn, recently embedded vision platforms such as smart cameras have successfully emerged, however, only offering a limited amount of computational and memory

8、 resources. Nevertheless, embedded vision systems are already present in our everyday life. Almost everyone’s mobile phone is equipped with a camera and, thus, can be treated as a small embedded vision system. Clearly th

9、is gives rise to new applications, like navigation tools for visually impaired persons, or collaborative public monitori</p><p>　　For the reasons already mentioned, recognition tasks are a very important are

10、a of research. However, in this respect some attributes of embedded platforms strictly limit the practicability of current state-of-the-art approaches. For example, the amount of memory available on a device strictly lim

11、its the number of objects in the database. Therefore, for building an embedded object recognition system, one goal is to make the amount of data to represent a single object as small as possible in order</p><p

12、>　　In this work, we describe a method to deploy a medium sized object recognition system on a prototypical DSP based embedded platform. To the best of our knowledge, we are the first to extensively investigate issues

13、related to object recognition in the context of Embedded Systems; by now this is the only work studying the influence of various parameters on recognition performance and runtime behavior. We pick a set of high-level alg

14、orithms to describe objects by a set of appearance features. As a </p><p>　　The remainder of this paper is structured as follows. In Sect. 2 we give an overview about developments in both areas that we are b

15、ringing together in our work. On the one hand we list a number of references in the context of object recognition by computer vision; on the other hand, we cite a number of publications from the area of embedded smart se

16、nsors. A detailed description of the methods involved in building our object recognition algorithm is given in part 3. In Sect. 4 we outline our fram</p><p>　　Related Work</p><p>　　In the follow

17、ing we will give a short introduction to the topic of local feature based object recognition. Due to the huge amount of literature available, we will focus on the most promising approaches using local features, and refer

18、 to those algorithms which are somehow related to our work. We will also give a short overview about object recognition in the context of embedded systems, which, due to the sparseness of existing approaches, contain bot

19、h global and local methods, as well as algorith</p><p>　　Local-appearance based visual object recognition became popular after the development of powerful interest region detectors and descriptors. Early ful

20、l-featured object recognition systems dealing with all the individual algorithmic steps and their related problems were proposed by Schmid and Mohr, and Schiele and Crowley . The main idea behind local feature based obje

21、ct recognition is maintaining object representations from collections of locally sampled descriptions. In other words, the appeara</p><p>　　The collectivity of all descriptors from multiple objects(i.e., bag

22、s of descriptors) is used to build a database. Given this database and a new representation of an object to be recognized, correspondences are counted into a voting scheme to determine the correct match. Determining thes

23、e correspondences is a complex task. Descriptors are high dimensional feature vectors and matching a query descriptor means determining the exact nearest neighbors in the database. Unfortunately, by now, no algori</p&

24、gt;<p>　　The basic principle of interest points and regions is the search for spots and areas in an image which exhibit a predefined property making them special in relation to their local neighborhood. This prope

25、rty should make the region distinguishable from its neighborhood and detectable repeatedly. Furthermore, the detection of these features should be—to the best possible—illumination and viewpoint invariant.</p><

26、;p>　　The first important interest point detector, the so-called Harris Corner detector, was proposed in 1988 by Harris and Stephens. It exhibits excellent repeatability and was subsequently used for object recognition

27、 purposes by Schmid and Mohr. An extension to the Harris detector to include scale information was later reported by Mikolajczyk and Schmid as Harris–Laplace detector and was used by Schaffalitzky and Zisserman formulti-

28、view matching of unordered image sets. Another approach to detect bl</p><p>　　The currently most popular two-part approach known as scale invariant feature transform (SIFT) was proposed by Lowe, where the fi

29、rst part is an interest point detector. The DoG detector takes the differences of Gaussian blurred images as an approximation of the scale normalized Laplacian and uses the local maximum of the responses in scale space a

30、s an indicator for a keypoint. A complementary feature detector, the maximally stable extremal regions (MSER) detector, was proposed by Matas et al. In</p><p>　　Two affine covariant region detectors were pro

31、posed by Tuytelaars and Van Gool, intensity-based regions (IBR) and edge-based regions (EBR). IBRs are based on</p><p>　　extrema in intensity. Given a local intensity extremum, the brightness function along

32、rays emanating from the extremum is studied. This function itself exhibits an extremum at locations where the image intensity suddenly changes. Linking all points of the emanating rays corresponding to this extremum for

33、ms and IBR. EBRs are determined from corner points and edges nearby. Given a single corner point and walking along the edges in opposite directions with two more control points, a one-dimensiona</p><p>　　Ano

34、ther algorithm, termed Salient Region detector was proposed by Kadir et al. and is based on the probability density function (PDF) of intensity values computed over an elliptical region. For each pixel, the entropy extre

35、ma for an ellipse centered at this pixel is recorded over the ellipse parameter’s orientation, h, scale s and the ratio of major to minor axis k. From a sorted list of all region candidates the n most salient ones are ch

36、osen. For an extensive evaluation of a large number of af</p><p>　　Generally speaking, a descriptor is an abstract characterization of an image patch. Usually, the image patch is chosen to be the local envir

37、onment of an interest region. Based on various algorithms methods or transformations, the resulting character can be made rotation invariant or, at least partially, insensitive to affine transformations.</p><p

38、>　　Most approaches are based on gradient calculations or image brightness values. As a second part of the SIFT approach, Lowe proposed the use of descriptors based on stacked gradient histograms. The single histograms

39、 are calculated in a subdivided patch describe the gradient orientation in order to cover spatial information. Finally, they are concatenated to form a 128-dimensional descriptor. Recently Ke and Sukthankar, proposed the

40、 so called PCASIFT descriptor based on eigenspace analysis. They c</p><p><b>　　附錄B</b></p><p>　　基于DSP的通過局部特征實時物體識別嵌入式系統(tǒng)</p><p><b>　　摘要</b></p><p&g

41、t;　　在過去幾年中，對象識別已經(jīng)成為最熱門的任務(wù)，計算機(jī)視覺尤其是，這是推動發(fā)展新的強(qiáng)大的算法，局部特征的物體識別。所謂'智能相機(jī)有足夠的權(quán)力分散的圖像處理變得越來越流行的各種任務(wù)，特別是在外地的監(jiān)視。它是一個非常重要的工具，強(qiáng)大的識別可疑車輛，人員或物體是否符合公眾安全。這只是局部識別功能的嵌入式平臺的基本功能。在我們的工作中，我們調(diào)查的任務(wù)是，目標(biāo)識別基于狀態(tài)最先進(jìn)的算法，在一個基于DSP的嵌入式系統(tǒng)。我們執(zhí)行一些功能強(qiáng)大

42、的算法識別物體，即有興趣點探測連同區(qū)域描述，并建立一個中型對象數(shù)據(jù)庫為基礎(chǔ)的詞匯樹，這是適合我們的專用硬件設(shè)置。我們仔細(xì)研究了該算法參數(shù)性能的嵌入式平臺。我們所研究的，國家最先進(jìn)的目標(biāo)識別算法，可以成功地部署在當(dāng)今智能相機(jī)，即使計算和內(nèi)存資源有嚴(yán)格的限制。</p><p>　　關(guān)鍵詞 數(shù)字信號處理；物體識別；本地功能；詞匯樹；</p><p><b>　　介紹</b>

43、</p><p>　　識別物體是一個最流行的任務(wù)領(lǐng)域中的計算機(jī)問題。在過去十年中，大量科學(xué)工作者做出努力，建立強(qiáng)有力的目標(biāo)識別系統(tǒng)的外觀特征與局部特征的程度。對于這樣一個框架，以適用于現(xiàn)實世界中的幾個屬性是非常重要的：對旋轉(zhuǎn)不敏感，光照或觀點的變化，以及實時的行為和大規(guī)模行動。目前的系統(tǒng)已經(jīng)有很多這些屬性，雖然不是所有的問題已經(jīng)解決，但如今他們變得越來越有吸引力的行業(yè)列入產(chǎn)品的客戶市場。</p>&

44、lt;p>　　反過來，最近嵌入式視覺平臺，如智能相機(jī)已經(jīng)成功地出現(xiàn)了，不過，只有提供數(shù)量有限的計算和內(nèi)存資源。然而，嵌入式視覺系統(tǒng)已經(jīng)在我們的日常生活中。幾乎每個人的手機(jī)配備了攝像頭，因此可以被視為一個小型的嵌入式視覺系統(tǒng)。顯然，這會引起新的應(yīng)用程序，如導(dǎo)航工具，視障人士，或協(xié)作公眾監(jiān)督使用數(shù)以百萬計的人造眼睛。此外，低價格的數(shù)字傳感器和需要增加公共場所的安全造成了巨大數(shù)量的增長攝像機(jī)監(jiān)視用途。他們必須體積小，并處理大量的現(xiàn)有數(shù)據(jù)

45、的網(wǎng)站。此外，他們必須執(zhí)行專門的業(yè)務(wù)自動和人機(jī)交互。不僅在該領(lǐng)域的監(jiān)視，而且在家庭領(lǐng)域的機(jī)器人，娛樂，軍事和工業(yè)機(jī)器人技術(shù)，嵌入式計算機(jī)視覺平臺越來越受歡迎，這應(yīng)歸功于其對環(huán)境的魯棒性逆境。特別是基于DSP的嵌入式平臺很受歡迎，因為它們功能強(qiáng)大且廉價的處理器，仍然是小規(guī)模和效率方面的能耗。隨著數(shù)字信號處理器提供了最大的靈活性，軟件運行，相對于其他嵌入式單位像臺塑作為，專用集成電路或芯片，其目前的成功并不奇怪。</p>&l

46、t;p>　　對于已經(jīng)提到的原因，認(rèn)識的任務(wù)是一個非常重要的研究領(lǐng)域。然而，在這方面的一些屬性的嵌入式平臺的嚴(yán)格限制的可行性目前的狀態(tài)，最先進(jìn)的方法。例如，可用的記憶體數(shù)量的設(shè)備上嚴(yán)格限制數(shù)量的對象在數(shù)據(jù)庫中。因此，建立一個嵌入式對象識別系統(tǒng)，一個目標(biāo)是使大量的數(shù)據(jù)來表示一個單獨的對象盡可能小，以便最大限度地發(fā)揮一些識別物體。另一個重要方面是實時這些系統(tǒng)的能力。算法必須足夠快將業(yè)務(wù)在現(xiàn)實世界中。他們必須健全和用戶友好的，否則，產(chǎn)品配

47、備了這種功能，只不過是沒有吸引力的潛在客戶。例如，在一個互動參觀博物館，識別物體在移動設(shè)備上，必須足夠快，以便連續(xù)性指導(dǎo)。正式地講，我們認(rèn)為這是一個應(yīng)用程序需要軟實時系統(tǒng)的行為。顯然，這只是一個例子，以及確切的含義實時取決于具體應(yīng)用。我們?nèi)匀徽J(rèn)為物體識別系統(tǒng)是實時的能力，如果能夠提供至少一個結(jié)果每秒。這已經(jīng)足以讓許多服務(wù)等應(yīng)用的例子，介紹了上述互動博物館。但是，很顯然，這個定義不符合其他應(yīng)用程序，并改善吞吐量需要識別物體的幀速率，例如，

48、結(jié)合目標(biāo)跟蹤?？傊⒁粋€全功能的識別系統(tǒng)在嵌入式平臺原來是一個具有挑戰(zhàn)性的問題給所有不同的方面和環(huán)境限制考慮。</p><p>　　在這項工作中，我們描述的一種方法來部署一個中型物體識別系統(tǒng)原型基于DSP的嵌入式平臺。以我們所知，我們是第一個廣泛的調(diào)查有關(guān)的問題識別物體在嵌入式系統(tǒng);現(xiàn)在這是唯一的工作，學(xué)習(xí)的影響，各種參數(shù)對識別性能和運行時行為。我們挑選了一套高層次的算法來描述物體的一套外觀特征。作為一個典型

49、的局部特征識別系統(tǒng)，我們使用不同的高斯（狗）關(guān)鍵點和主成分分析尺度不變特征變換（ PCASIFT ）描述建立緊湊對象的意見。安排這方面的信息的一個聰明treelike數(shù)據(jù)結(jié)構(gòu)基于K - means聚類，一個所謂的詞匯樹，實時行為實現(xiàn)。通過運用專門的壓縮機(jī)制，大小的數(shù)據(jù)結(jié)構(gòu)可以進(jìn)行交易的對識別性能，從而準(zhǔn)確調(diào)諧的屬性識別系統(tǒng)對某一特定的硬件平臺就可以執(zhí)行。因為它顯示了廣泛的評價的同時考慮，特殊性能的算法和專用的特殊的硬件優(yōu)勢，大量增加識別

50、性能和吞吐量是可以實現(xiàn)的。</p><p>　　其余本文結(jié)構(gòu)如下，我們概述的事態(tài)發(fā)展在這兩個領(lǐng)域，我們正在把我們的工作。一方面，我們列出了一些參考的背景下目標(biāo)識別的計算機(jī)視覺;另一方面，我們列舉了一些出版物，從該地區(qū)的嵌入式智能傳感器。詳細(xì)說明方法參與建設(shè)我們的目標(biāo)識別算法是在第3部分。，我們大綱的框架，讓我們詳細(xì)的培訓(xùn)和實施我們的系統(tǒng)。我們密切描述設(shè)計中的所有步驟的做法，讓方說明的替代方法，我們評估我們的實驗系

51、統(tǒng)的一個具有挑戰(zhàn)性的對象數(shù)據(jù)庫，并討論實時和現(xiàn)實世界的問題。此外，我們調(diào)查的一些特殊功能的辦法，并闡明相依的若干參數(shù)對系統(tǒng)的整體性能。工作結(jié)束時的最后一些說明和展望未來的工作。</p><p><b>　　相關(guān)工作</b></p><p>　　在下面我們將簡要介紹該專題的局部特征的物體識別。由于大量的文獻(xiàn)資料，我們將集中于最有前途的方法利用當(dāng)?shù)靥攸c，是指那些有某種算法

52、與我們的工作。我們還將在短期簡介識別物體在嵌入式系統(tǒng)，其中，由于稀疏的現(xiàn)有方法，包含全球和地方的方法，以及算法實現(xiàn)FPGA和DSP為基礎(chǔ)的平臺。</p><p>　　當(dāng)?shù)爻霈F(xiàn)的視覺識別物體成為受歡迎的發(fā)展后，強(qiáng)大的利益區(qū)域的探測器和描述。早期功能齊全的目標(biāo)識別系統(tǒng)處理所有個人算法步驟及有關(guān)問題提出了施密德和莫爾和席勒和Crowley 。主要的想法基于局部特征識別物體保持對象申述收藏當(dāng)?shù)夭蓸诱f明。換言之，部分地方出

53、現(xiàn)一個單一的對象編碼描述，和一套這些描述形式的最后對象的代表性。找到區(qū)分地區(qū)，所謂的利益區(qū)域探測器的使用，該區(qū)域或分找到的特殊視覺的獨特性。附近的這些地區(qū)是后來編碼使用一種特殊變換建立一個描述提供一些可取的本質(zhì)屬性。除了對光照變化不敏感，局部的觀點不變，申述套地方描述提供抗背景雜波和部分閉塞。不用說，一個所謂的包描述符的代表性可以采用單一或數(shù)個不同的組合探測器和描述。</p><p>　　集體所有描述由多個對象（

54、即包描述符）是用來建立一個數(shù)據(jù)庫。鑒于這一新的數(shù)據(jù)庫和代表性的對象必須承認(rèn)，對應(yīng)計成投票計劃，以確定正確的匹配。確定這些書信是一項復(fù)雜的任務(wù)。描述高維特征向量和描述符匹配的查詢手段確定確切的近鄰在數(shù)據(jù)庫中。不幸的是，到目前為止，沒有任何演算法，都可以準(zhǔn)確近鄰點在高維空間，是比任何更有效的徹底搜查。由于大量的對象，大量的本地描述符，分別這種類型的信息管理是臃腫，效率低下。因此，許多不同的方法來近似的解決辦法的一條有效途徑已提議保持業(yè)績的總

55、體目標(biāo)識別系統(tǒng)的管理。</p><p>　　基本原則和地區(qū)的興趣點是尋找地點和地區(qū)的形象，展示一個預(yù)定義的財產(chǎn)使他們特別在其當(dāng)?shù)厣鐓^(qū)。這個屬性應(yīng)當(dāng)使該區(qū)域有別于其鄰居和探測反復(fù)。此外，這些功能的檢測應(yīng)以盡可能最好的，照明和觀點不變。</p><p>　　第一個重要的興趣點檢測器，即所謂的哈里斯角探測器，有人提議在1988年由Harris和斯蒂芬斯。它出色的重復(fù)性和展品后來用于識別物體的目的

56、施密德和莫爾。的擴(kuò)展，哈里斯探測器，包括大規(guī)模的信息后來被報道Mikolajczyk和施密德作為哈里斯一拉普拉斯探測器和使用的是Schaffalitzky和Zisserman formulti視圖匹配無序圖片集。另一種方法來檢測斑點狀結(jié)構(gòu)的圖像搜索點的行列式的Hessian矩陣假設(shè)當(dāng)?shù)貥O端嗯，這是所謂的黑森州探測器。進(jìn)一步發(fā)展包括仿射方差導(dǎo)致哈里斯仿射和黑森州仿射探測器提出Mikolajczyk ， Mikolajczyk和施密德。&l

57、t;/p><p>　　目前最流行的兩個部分的做法稱為尺度不變特征變換（上海對外貿(mào)易學(xué)院）是由勞文提出，其中的第一部分是一個興趣點檢測。狗探測器采取不同的高斯模糊圖像作為一個近似的規(guī)模正?；绽购褪褂卯?dāng)?shù)刈罡叩拇饛?fù)中尺度空間作為一項指標(biāo)的關(guān)鍵點。補(bǔ)充功能探測器，在最大限度地穩(wěn)定極值區(qū)域（ MSER ）探測器，是由麥塔斯等。?？傊?， MSER探測器搜尋區(qū)域是光明或黑暗的比其周圍的環(huán)境，即周圍的黑暗，反之亦然光明像素。

58、首先，像素的排序在升序或降序進(jìn)行排序的強(qiáng)度值，根據(jù)地區(qū)不同類型的檢測。像素陣列，比上一季度美聯(lián)儲進(jìn)入聯(lián)盟找到算法和樹形數(shù)據(jù)結(jié)構(gòu)形狀維持，而節(jié)點包含有關(guān)像素街道，以及有關(guān)強(qiáng)度值的關(guān)系。最后，節(jié)點滿足一套預(yù)先確定的標(biāo)準(zhǔn)要求的樹木遍歷算法。</p><p>　　兩個仿射協(xié)變區(qū)域探測器提出了Tuytelaars和Van Gool ，強(qiáng)度為基礎(chǔ)的區(qū)域（ IBR技術(shù)）和優(yōu)勢為基礎(chǔ)的區(qū)域（ EBR ） 。 IBRs是基于極值的

59、強(qiáng)度。鑒于當(dāng)?shù)氐膹?qiáng)度極值，亮度功能沿射線產(chǎn)生的極值研究。這個功能本身展品的極值在地方的形象強(qiáng)度突然變化。連接所有點所產(chǎn)生的射線相應(yīng)這個極值形式和IBR技術(shù)。 EBRs決心從角落點和邊緣附近。鑒于一個角落點和走邊有兩個相反的方向有更多的控制點，一維類平行介紹了利用角球本身和載體指著從角落的控制點。研究函數(shù)的紋理和使用額外的限制，一個平行四邊形是選定一個EBR 。</p><p>　　另一種算法，稱為凸區(qū)域探測器是由

60、卡迪爾等。并基于概率密度函數(shù)（ PDF ）的強(qiáng)度值計算的一個橢圓形的區(qū)域。每個像素，熵極值為橢圓中心在此記錄像素的橢圓參數(shù)的方向，氫，硫和規(guī)模的比例，主要以短軸光從排序名單的候選人的所有地區(qū)的N最突出的是選擇。對于一個廣泛的評估了大量仿射區(qū)域探測器提及的工作。</p><p>　　一般而言，一個描述符是一個抽象的表征圖像修補(bǔ)程序。通常情況下，圖像修補(bǔ)程序推選為當(dāng)?shù)丨h(huán)境的興趣區(qū)域。根據(jù)不同的算法，方法或轉(zhuǎn)變，由此產(chǎn)

61、生的性質(zhì)，可旋轉(zhuǎn)不變或至少部分敏感仿射變換。</p><p>　　大多數(shù)的做法是基于梯度計算或圖像的亮度值。作為第二部分的上海對外貿(mào)易學(xué)院的做法，羅威建議使用描述的基礎(chǔ)上疊加梯度直方圖。單直方圖計算在細(xì)分補(bǔ)丁描述梯度方向，以涵蓋空間信息。最后，它們級聯(lián)形成一個128的三維描述。最近柯和Sukthankar ，提出了所謂的PCASIFT描述特征空間分析的基礎(chǔ)上。他們計算的一個主要成分分析（ PCA ）的梯度特征空間

62、圖像，代表人數(shù)超過兩萬形象補(bǔ)丁。該描述符的新形象瓦所產(chǎn)生的梯度投影的瓷磚上precalculated特征空間，只保留的D最重要的特征向量。因此，一個有效的壓縮描述維度實現(xiàn)， coevally保持業(yè)績的速度可比原來的上海對外貿(mào)易學(xué)院描述。密切相關(guān)的上海對外貿(mào)易學(xué)院的做法，梯度位置和方向直方圖（ GLOH ）描述是由Mikolajczyk和施密德。反對篩選梯度直方圖計算，細(xì)圓而不是粗糙的矩形網(wǎng)格，導(dǎo)致272二維直方圖。常設(shè)仲裁法院隨后用來降