基于視覺(jué)—語(yǔ)音交互式室內(nèi)層次地圖構(gòu)建與導(dǎo)航系統(tǒng).pdf

1、本文在搭載有Kinect視覺(jué)傳感器和SICK LMS100激光傳感器的Pioneer-3AT機(jī)器人硬件平臺(tái)上，在開(kāi)源操作系統(tǒng)ROS框架內(nèi)，搭建了一個(gè)完整的基于骨架追蹤和語(yǔ)音標(biāo)注的交互式柵格-拓?fù)?語(yǔ)義層次地圖構(gòu)建和導(dǎo)航系統(tǒng)。
　　整個(gè)系統(tǒng)包括交互模塊，控制模塊，制圖模塊和導(dǎo)航模塊四個(gè)主要部分。交互模塊中:本系統(tǒng)使用了基于Kinect骨架追蹤和基于科大訊飛云服務(wù)的視覺(jué)-語(yǔ)音交互于段。機(jī)器人通過(guò)Skeleton Tracking算法獲

2、取用戶的骨架位置信息，通過(guò)手機(jī)端的語(yǔ)音識(shí)別APP記錄對(duì)于人類來(lái)說(shuō)有特殊意義的地點(diǎn)的語(yǔ)義名稱?？刂颇K中:機(jī)器人將視覺(jué)交互模塊獲得的骨架位置信息按照一定的函數(shù)關(guān)系轉(zhuǎn)化成機(jī)器人的角速度和線速度從而跟隨用戶移動(dòng)。制圖模塊中:在跟隨用戶移動(dòng)過(guò)程中機(jī)器人自下而上的建立了柵格-拓?fù)?語(yǔ)義三層地圖。機(jī)器人通過(guò)Gmapping算法使用里程計(jì)和激光數(shù)據(jù)實(shí)時(shí)構(gòu)建出周圍環(huán)境柵格地圖。將特殊地點(diǎn)語(yǔ)義名稱結(jié)合柵格地圖的坐標(biāo)位置值定義為拓?fù)涔?jié)點(diǎn)，使用增量算法構(gòu)建出

3、拓?fù)涞貓D。最后抽取出每個(gè)拓?fù)涔?jié)點(diǎn)的語(yǔ)義名稱，建立語(yǔ)義地圖。底層?xùn)鸥竦貓D用于機(jī)器人理解環(huán)境，上層語(yǔ)義地圖用于人類理解環(huán)境，中間的拓?fù)鋵油ㄟ^(guò)在語(yǔ)義名稱和坐標(biāo)值之間建立對(duì)應(yīng)關(guān)系，成為上層地圖和底層地圖之間聯(lián)系的橋梁。導(dǎo)航模塊中:用戶通過(guò)手機(jī)端APP向機(jī)器人發(fā)送目的地語(yǔ)音名稱，機(jī)器人收到語(yǔ)音信號(hào)后，首先在語(yǔ)義層地圖找到相應(yīng)的語(yǔ)義節(jié)點(diǎn)，然后在拓?fù)鋵诱业綄?duì)應(yīng)語(yǔ)義節(jié)點(diǎn)的坐標(biāo)值，最后將柵格地圖轉(zhuǎn)化成耗散地圖，使用Adaptive Particle Fi

4、lter算法完成全局定位，A*搜索算法完成路徑規(guī)劃，最終到達(dá)目的地。
　　交互式制圖因?yàn)榧尤肓巳祟愔橇Σ粌H可以提高機(jī)器人的制圖效率，而且可以在地圖中加入人類語(yǔ)義信息。柵格-拓?fù)?語(yǔ)義層次地圖可以在人類認(rèn)知環(huán)境方式-語(yǔ)義概念和機(jī)器人認(rèn)知環(huán)境方式-傳感器數(shù)據(jù)之間建立橋梁，有效減少人機(jī)之間的認(rèn)知鴻溝。此外，整個(gè)系統(tǒng)在ROS框架內(nèi)實(shí)現(xiàn)，嚴(yán)格按照功能不同對(duì)程序進(jìn)行了模塊化，使本系統(tǒng)具有良好的可擴(kuò)展性和可移植性。并在不同的真實(shí)環(huán)境下做了大量的