基于并行IB的多語(yǔ)種文本聚類(lèi)研究.pdf

1、隨著互聯(lián)網(wǎng)的快速發(fā)展和全球化趨勢(shì)的進(jìn)一步深化，文本數(shù)據(jù)呈現(xiàn)大規(guī)模的增長(zhǎng)。同時(shí)，自動(dòng)翻譯系統(tǒng)的興起使得文本數(shù)據(jù)很容易被翻譯成其它語(yǔ)言，從而促進(jìn)了多語(yǔ)種文本數(shù)據(jù)的產(chǎn)生，為多語(yǔ)種文本聚類(lèi)提供了數(shù)據(jù)支撐。傳統(tǒng)的文本聚類(lèi)算法在對(duì)多語(yǔ)種文本數(shù)據(jù)聚類(lèi)時(shí)，僅考慮多語(yǔ)種文本數(shù)據(jù)的各個(gè)不同的語(yǔ)種信息，忽略了多個(gè)語(yǔ)種之間的潛在的關(guān)聯(lián)信息，使數(shù)據(jù)模式結(jié)構(gòu)中包含單個(gè)語(yǔ)種信息帶來(lái)的偏見(jiàn)。
　　IB方法是一種基于率失真理論的數(shù)據(jù)分析方法，在對(duì)高維稀疏數(shù)據(jù)進(jìn)行聚

2、類(lèi)時(shí)具有獨(dú)特的優(yōu)勢(shì)。該方法將數(shù)據(jù)模式的提取視為一個(gè)數(shù)據(jù)壓縮的過(guò)程，即將數(shù)據(jù)對(duì)象壓縮到一個(gè)“瓶頸”變量中，同時(shí)最大化地保存數(shù)據(jù)中的信息量，可有效地發(fā)現(xiàn)數(shù)據(jù)對(duì)象間所蘊(yùn)含的內(nèi)在模式。目前IB方法已在眾多領(lǐng)域中取得成功的應(yīng)用。多元IB方法是對(duì)IB方法的擴(kuò)展，在處理多語(yǔ)種文本時(shí)有著獨(dú)特的優(yōu)勢(shì)，多元IB方法主要有并行IB和對(duì)稱(chēng)IB。
　　針對(duì)傳統(tǒng)文本聚類(lèi)算法在處理多語(yǔ)種文本時(shí)僅考慮多語(yǔ)種文本數(shù)據(jù)的各個(gè)不同的語(yǔ)種信息，忽略了多個(gè)語(yǔ)種之間的潛在的

3、關(guān)聯(lián)信息的問(wèn)題，本文提出一種基于并行IB的多語(yǔ)種文本聚類(lèi)算法：ML-PIB算法。該算法在對(duì)多語(yǔ)種文本數(shù)據(jù)進(jìn)行聚類(lèi)分析時(shí)，能夠同時(shí)考慮多個(gè)語(yǔ)種的語(yǔ)種信息，進(jìn)而有效挖掘各個(gè)不同語(yǔ)種信息之間蘊(yùn)含的關(guān)聯(lián)，有效提高聚類(lèi)質(zhì)量。該算法首先針對(duì)不同語(yǔ)種，構(gòu)建相應(yīng)的相關(guān)變量；其次，使用互信息度量多個(gè)語(yǔ)種特征信息之間的信息量；最后，采用基于信息論的優(yōu)化方法來(lái)優(yōu)化其目標(biāo)函數(shù)，保證收斂到局部最優(yōu)解。通過(guò)在Reuters Multilingual數(shù)據(jù)集上實(shí)驗(yàn)結(jié)果