信息瓶頸方法的特征權(quán)重研究.pdf

1、信息瓶頸(InformationBottleneck，IB)方法是起源于信息論的數(shù)據(jù)分析方法。IB方法采用聯(lián)合概率模型表示數(shù)據(jù)，以互信息為度量手段，擁有著很好的樣本和樣本屬性相關(guān)性的表達能力。該方法在文本聚類、圖像聚類、圖像語義標注、語音識別、軟件聚類和協(xié)同聚類等各種數(shù)據(jù)分析領(lǐng)域取得了豐碩的成果。但是與向量空間模型相比，聯(lián)合概率模型缺乏樣本屬性重要度的表達能力，這使得現(xiàn)有的IB方法研究中，大都忽略了屬性重要度（屬性權(quán)重）這個因素，從而影

2、響了IB方法的數(shù)據(jù)分析效果。因此，IB方法的特征權(quán)重研究的目的就是在IB方法上引入屬性權(quán)重計算方法及賦權(quán)機制，從而達到突出重要屬性、抑制冗余屬性，提高IB方法的數(shù)據(jù)分析性能的目的。
　　 本文首先提出了從向量空間模型到加權(quán)聯(lián)合概率模型的構(gòu)造過程，而后系統(tǒng)性分析并提出了三種可行的加權(quán)方法:綜合賦權(quán)IB方法、自學習權(quán)重機制和非共現(xiàn)數(shù)據(jù)加權(quán)二元化轉(zhuǎn)化方法。實驗表明，這三種方法是可行的和有效的，能夠提高IB算法性能。同時，提出了互信息增

3、益權(quán)重評價方式，在不影響聚類質(zhì)量的前提下，有效降低了IB算法的運行時間。本文成果對進一步研究IB方法，提高IB方法的性能有一定意義，同時也為構(gòu)造特征賦權(quán)的IB數(shù)據(jù)分析工具奠定了一定的基礎(chǔ)。
　　 本文的主要工作包括:
　　 1、深入分析了聯(lián)合概率模型與向量空間模型表達能力的相同性和差異性，提出了IB方法中從向量空間模型到加權(quán)聯(lián)合概率模型的構(gòu)造過程。加權(quán)聯(lián)合概率模型結(jié)合了向量空間模型和聯(lián)合概率模型的優(yōu)點，既能較好的表達出樣

4、本屬性和樣本的相關(guān)性，也能較好的表達出樣本屬性的重要度。
　　 2、為了將多屬性決策中的綜合賦權(quán)應(yīng)用到IB方法中，提出了相對熵綜合賦權(quán)IB方法。指出在綜合賦權(quán)中無需區(qū)分主觀賦權(quán)和客觀賦權(quán)，并選擇了相對熵方法以降低組合權(quán)重計算時間。同時，給出了一種基于三種代表性的客觀權(quán)重方案（熵值法、均方差法和互信息法）的組合權(quán)重集選取方法，構(gòu)建了相對熵綜合賦權(quán)CWRE-sIB算法。實驗表明，CWRE-sIB算法優(yōu)于sIB算法和一系列單一權(quán)重賦權(quán)

5、sIB算法。
　　 3、為了消除主觀因素的影響，提出了IB方法上的自學習權(quán)重機制。在IB聚類過程中調(diào)整各個屬性的權(quán)重，以得到最優(yōu)賦權(quán)數(shù)據(jù)表示。聚類迭代中，根據(jù)權(quán)重對最終聚類結(jié)果的影響確定權(quán)重調(diào)整的方向及量值。實驗表明，自學習權(quán)重是一種客觀有效的權(quán)重計算方法，F(xiàn)WA_CDsIB算法優(yōu)于CD-sIB算法。
　　 4、為了降低權(quán)重評價的時間消耗，提出了互信息增益權(quán)重評價方法。傳統(tǒng)的權(quán)重評價方法依賴于聚類的評價結(jié)果，是一個有效、

6、可行、但卻十分耗時的任務(wù)?；バ畔⒃鲆嬖u價方式可以在不影響聚類質(zhì)量的前提下，有效降低算法運行時間。本文中給出了兩種典型案例:1）線性組合綜合權(quán)重案例。對互信息增益評價出的最佳25％個加權(quán)數(shù)據(jù)聚類后，得到最優(yōu)/次優(yōu)結(jié)果的概率為100％。與此同時，節(jié)約了76.04％的運行時間;2）單一權(quán)重方案案例。對互信息增益評價出的最優(yōu)25％個加權(quán)數(shù)據(jù)聚類后，得到最優(yōu)/次優(yōu)結(jié)果的概率超過75％，而運行時間節(jié)約了76.82％。
　　 5、在指出IB方