藏文編碼識別與轉(zhuǎn)換算法的研究與實現(xiàn).pdf

1、隨著計算機技術(shù)和網(wǎng)絡(luò)技術(shù)的飛速發(fā)展，藏文信息處理的工作取得了很大的進步。但是由于藏文國際標(biāo)準(zhǔn)編碼和國家標(biāo)準(zhǔn)編碼出臺的相對滯后，目前市場上各種軟件廠商采取自己的編碼標(biāo)準(zhǔn)，使得各種藏文資料、網(wǎng)站之間不能兼容，信息不能共享，從而嚴(yán)重影響了藏文信息處理工作的發(fā)展。目前大多數(shù)文獻資料仍然是采用了整字編碼的GB2312體系的編碼作為藏文編碼。
　　 本文首先討論了藏文編碼識別與轉(zhuǎn)換中的關(guān)鍵問題，介紹了藏文結(jié)構(gòu)特點和統(tǒng)計學(xué)特征，介紹了各種可能

2、的識別準(zhǔn)則并進行分析比較。確定了使用以藏文的音節(jié)點間距規(guī)律為特征和高頻音節(jié)為特征的識別方法對方正Windows、方正Dos、同元、華光Windows、華光Dos、班智達、ISO/IEC10646基本集、國家標(biāo)準(zhǔn)擴充集A的藏文編碼識別；并能夠正確地將藏文文本與其他語言區(qū)分。
　　 其次為了實現(xiàn)各種非標(biāo)準(zhǔn)藏文編碼到國家標(biāo)準(zhǔn)或國際標(biāo)準(zhǔn)藏文編碼的統(tǒng)一轉(zhuǎn)換，本文主要進行的工作分為兩個部分：首先制定基于GB2312體系非標(biāo)準(zhǔn)的藏文編碼到國家

3、標(biāo)準(zhǔn)擴充集編碼之間的查詢對照表，同時依據(jù)分析后需要轉(zhuǎn)換的編碼的特征采用基于個編碼特點的查詢算法實現(xiàn)了方正Windows、方正Dos、同元、華光Windows、華光Dos等藏文編碼向ISO/IEC10646基本集和國家標(biāo)準(zhǔn)擴充集A的藏文編碼的轉(zhuǎn)換；同時也實現(xiàn)了，國家標(biāo)準(zhǔn)擴充集A到ISO/IEC10646基本集的轉(zhuǎn)換。
　　 最后設(shè)計了藏文編碼識別與轉(zhuǎn)換系統(tǒng)，通過大量數(shù)據(jù)集對本系統(tǒng)進行了測試。由測試結(jié)果可知該系統(tǒng)對藏文編碼的識別與轉(zhuǎn)