在劃分數(shù)據(jù)空間的視角下基于決策邊界的分類器研究.pdf

1、分類器是機器學習的一項重要技術(shù)。分類器研究中存在映射和劃分兩種視角。在映射視角下分類模型可被看作從數(shù)據(jù)空間到標簽集的映射,分類器的訓練過程可被看作在假設空間中搜索最優(yōu)假設的過程。在劃分視角下分類模型可被看作將數(shù)據(jù)空間劃分成若干決策區(qū)域的一組決策邊界,分類器的訓練過程可被看作劃分數(shù)據(jù)空間獲得決策邊界的過程。映射視角是主流,在映射視角下研究分類器的工作很多。目前還沒有在劃分視角下對分類器進行系統(tǒng)研究的工作。本文在劃分視角下以決策邊界為工具對

2、分類器進行研究,進行構(gòu)建在劃分數(shù)據(jù)空間視角下以決策邊界研究分類器的理論框架和基于此理論框架改進分類器兩方面的研究。
　　 本文的研究工作主要有:
　　 1)提出了決策邊界、決策區(qū)域和概率梯度區(qū)域的定義。提出了獲取決策邊界的形式化方法和采樣法。提出了決策邊界點集(Decision Boundary Point Set,簡稱DBPS)算法、決策邊界2D網(wǎng)格點集(Decision Boundary Point Set usin

3、g Grid for2-D data,簡稱DBPSG-2D)算法和決策邊界神經(jīng)元集(Decision Boundary Neuron Set,簡稱DBNS)算法來獲取決策邊界附近的采樣點。提出了基于自組織映射的決策邊界可視化(Self-OrganizingMapping based Decision Boundary Visualization,簡稱SOMDBV)算法和基于自組織映射的概率梯度區(qū)域可視化(Self-Organizing

4、Mapping based Probability Gradient RegionsVisualization,簡稱SOMPGRV)算法來分別對決策邊界和概率梯度區(qū)域進行可視化。
　　 2)提出了在劃分數(shù)據(jù)空間視角下基于決策邊界的分類器三要素九因素理論框架。在此理論框架下,劃分目標、決策邊界形式和劃分方法是分類器的三要素。劃分目標需要考慮訓練準確率、錯分樣本特征和決策邊界的微位置三個因素;決策邊界形式需要考慮劃分能力、提供的領域

5、知識和可理解性三個因素;劃分方法需要考慮利用的信息、劃分方式和分類模型復雜度三個因素。
　　 3)提出了基于K近鄰(K nearest Neighbors,簡稱KN)類型的錯分樣本特征。KN類型根據(jù)樣本與其K近鄰之間的類別關系,將樣本分為S類、DS類和D類三類。C4.5算法、Naive Bayes分類器和支持向量機(Support Vector Machine,簡稱SVM)三個分類器與K近鄰(K Nearest Neighbor

6、s,簡稱KNN)算法在KN類型上的錯分樣本特征有著顯著不同。提出了組合KNN算法和C4.5算法/Naive Bayes分類器/SVM的K近鄰組合(Knearest Neighbors Combining,簡稱KNC)算法。KNC算法使用KNN算法來對S類和DS類樣本進行預測,使用其他三個分類器對D類樣本進行預測。
　　 4)研究了離散化算法對分類器決策邊界的影響。提出了離散化算法能夠提高NaiveBayes分類器泛化能力的原因在

7、于離散化算法能夠提高Naive Bayes分類器的Vapnik-Chervonenkis(VC)維。將離散化算法應用于SVM和KNN算法,并研究了離散化算法對SVM和KNN算法的VC維的影響。
　　 5)提出了在Naive Bayes分類器的決策區(qū)域內(nèi)訓練分類器的二次劃分(SecondDivision,簡稱SD)算法,并對現(xiàn)有的局部分類器訓練算法進行研究。SD算法是一種組合全局學習和局部學習的算法,因此能夠提高Naive Bay