結(jié)構(gòu)驅(qū)動的單類分類器設(shè)計及拓展研究.pdf

1、分類器設(shè)計中的一個根本問題是如何提高其泛化能力，即根據(jù)從已有樣本中獲取的知識對未知樣本進(jìn)行判別的能力。因此，盡可能從樣本中獲取足夠多的先驗知識是提高泛化能力的重要途徑之一。在單類分類中，由于異常樣本缺失使數(shù)據(jù)信息大為減少，從而使分類器設(shè)計更為困難，因此盡力挖掘僅有的一類目標(biāo)數(shù)據(jù)中的先驗知識尤為重要。本文圍繞著單類分類器設(shè)計，并針對數(shù)據(jù)局部密度信息、結(jié)構(gòu)信息、簇信息以及少量異常數(shù)據(jù)信息等先驗知識的挖掘和利用進(jìn)行了較為深入的研究，所取得的主

2、要成果如下：
　　 (1)以密度估計和支持域方法為主線綜述了單類分類器的主要研究方法，并提出了一種兩者結(jié)合的混合模型。從密度估計、支持域的角度重新梳理了單類分類器的主要算法，并針對作為研究熱點(diǎn)的支持域方法，在洞察出各算法聯(lián)系的基礎(chǔ)上深入分析了超平面和超球模型的主要改進(jìn)/變形模型；通過在支持域方法中嵌入局部密度，提出了適用于非對稱數(shù)據(jù)分布的混合模型——局部密度嵌入的單類支持向量機(jī)線性規(guī)劃算法。
　　 (2)提出了結(jié)構(gòu)驅(qū)動學(xué)

3、習(xí)策略及相應(yīng)單類模型——結(jié)構(gòu)單類支持向量機(jī)(SOCSVM)，并推導(dǎo)出對應(yīng)的錯分誤差界。針對現(xiàn)有超平面單類分類器只注重局部或全局學(xué)習(xí)之不足，提出了全局與局部學(xué)習(xí)兼?zhèn)涞慕Y(jié)構(gòu)驅(qū)動學(xué)習(xí)策略，并以單類支持向量機(jī)為原型，通過嵌入數(shù)據(jù)結(jié)構(gòu)分布信息設(shè)計出相應(yīng)模型——結(jié)構(gòu)單類支持向量機(jī)。作為本文后續(xù)工作的研究基礎(chǔ)，理論證明了其最優(yōu)解具有唯一性和魯棒性，并推導(dǎo)出相應(yīng)的錯分誤差界。人工和UCI數(shù)據(jù)上的實驗結(jié)果表明：考慮了數(shù)據(jù)分布趨勢的SOCSVM具有更強(qiáng)的數(shù)

4、據(jù)描述能力，從而驗證了結(jié)構(gòu)驅(qū)動學(xué)習(xí)策略的有效性；
　　 (3)發(fā)展出了適用于單類多簇數(shù)據(jù)分布的結(jié)構(gòu)驅(qū)動模型——結(jié)構(gòu)大間隔單類分類器(SLMOCC)?；跀?shù)據(jù)分布的結(jié)構(gòu)驅(qū)動學(xué)習(xí)使多簇目標(biāo)數(shù)據(jù)的處理不同于單簇數(shù)據(jù)，并因此衍生出相應(yīng)的分類器——結(jié)構(gòu)大間隔單類分類器(SLMOCC)。通過分別約束各簇數(shù)據(jù)到最優(yōu)超平面的馬氏距離，SLMOCC最大程度地利用了數(shù)據(jù)的結(jié)構(gòu)信息并因此具有了更精細(xì)的數(shù)據(jù)描述。為捕捉數(shù)據(jù)的多簇分布，采用了可自動確定聚

5、類數(shù)目的凝聚型層次聚類算法。人工和UCI數(shù)據(jù)上的實驗結(jié)果表明SLMOCC的性能有顯著提高。
　　 (4)構(gòu)建了單類和兩類問題以及數(shù)據(jù)不平衡問題的統(tǒng)一框架。通過在SOCSVM最小化正半空間的同時最大化正負(fù)類間隔或?qū)⒔Y(jié)構(gòu)驅(qū)動學(xué)習(xí)策略作用于v-SVM算法并引入超平面閾值，發(fā)展出了兩等價模型并統(tǒng)稱為偏結(jié)構(gòu)數(shù)據(jù)描述與判別機(jī)(BSD3M)框架，放寬了經(jīng)典SVM中兩類支持向量平衡的限制，并因此能夠根據(jù)需要控制超平面的位置。通過合理設(shè)置目標(biāo)函數(shù)

6、及判別函數(shù)中的相應(yīng)參數(shù)，BSD3M不僅可用于含極少量異常的單類問題以提高數(shù)據(jù)描述能力，同時也可推廣于正負(fù)類數(shù)據(jù)大致平衡的兩類問題及少量數(shù)據(jù)更為重要的數(shù)據(jù)不平衡問題。部分UCI數(shù)據(jù)集上含5％異常數(shù)據(jù)的實驗結(jié)果表明：充分利用負(fù)類信息的BSD3M較之單類算法和SVM算法更為準(zhǔn)確地描述了目標(biāo)數(shù)據(jù)區(qū)域。
　　 (5)推廣出了一系列與上述各模型學(xué)習(xí)能力相當(dāng)?shù)木€性規(guī)劃快速算法以提高計算效率。通過最小化目標(biāo)數(shù)據(jù)到超平面的函數(shù)距離，推廣出SOCS