無(wú)需腳本的動(dòng)態(tài)字幕生成中的關(guān)鍵技術(shù)研究.pdf

1、全球超過(guò)六千六百萬(wàn)的人遭受聽(tīng)覺(jué)受損的折磨，這一缺陷嚴(yán)重影響了他們對(duì)視頻內(nèi)容的理解。字幕標(biāo)注技術(shù)在一定程度上能夠幫助他們?cè)谟^(guān)看影視作品時(shí)，同步理解畫(huà)面內(nèi)容、人物身份、對(duì)白語(yǔ)意等。然而現(xiàn)存的大多數(shù)字幕標(biāo)注技術(shù)遠(yuǎn)遠(yuǎn)不能滿(mǎn)足聽(tīng)覺(jué)障礙者理解與欣賞視頻的需求。本文介紹一種無(wú)需腳本的動(dòng)態(tài)字幕生成技術(shù)，其中包含說(shuō)話(huà)人分割與聚類(lèi)、語(yǔ)音盲源分離、自動(dòng)語(yǔ)音識(shí)別、人臉檢測(cè)等關(guān)鍵技術(shù)。
　　本文描述的動(dòng)態(tài)字幕生成方法，是將生成的字幕動(dòng)態(tài)地顯示在說(shuō)話(huà)人人臉附

2、近，與傳統(tǒng)的靜態(tài)字幕標(biāo)注技術(shù)相比，并非簡(jiǎn)單地放置于特定的位置，如屏幕底部等區(qū)域。聽(tīng)覺(jué)障礙者能夠較為迅速地分辨出說(shuō)話(huà)人的身份信息，并獲取有益于理解故事情節(jié)的語(yǔ)言臺(tái)詞，無(wú)需在畫(huà)面與對(duì)白之間不斷切換而導(dǎo)致注意力的分散，從而更好地欣賞視頻作品。
　　本系統(tǒng)側(cè)重腳本無(wú)關(guān)，擬在采用聲音及視覺(jué)技術(shù)，將聲音信息通過(guò)自動(dòng)語(yǔ)音識(shí)別直接轉(zhuǎn)化為文本信息，與已有的動(dòng)態(tài)字幕標(biāo)注技術(shù)相比，不再依賴(lài)字幕-腳本文件，從而可以廣泛使用。
　　無(wú)需腳本的動(dòng)態(tài)字幕