面向醫(yī)學數據的隨機森林特征選擇及分類方法研究.pdf

1、醫(yī)學數據挖掘是數據挖掘技術的重要研究方向，多年來始終是計算機科學和醫(yī)學領域的研究熱點。近年來，醫(yī)學數據挖掘對象正逐漸由臨床診斷數據轉變到基因芯片數據。目前，許多優(yōu)秀的數據挖掘算法被應用于各種醫(yī)學研究工作中，如決策樹、支持向量機和人工神經網絡等。然而，醫(yī)學數據所固有的高維特征空間、高度特征冗余、特征高度相關、樣本類別不平衡等特點以及醫(yī)學研究對于數據挖掘結果的可理解性要求，使得傳統(tǒng)的數據挖掘算法難以直接應用于醫(yī)學數據挖掘任務中。
　　

2、隨機森林算法是一種基于決策樹的集成機器學習算法。一方面，隨機森林因為具有分類精度高、運算速度快、能夠從具有小邊際效應和復雜相互作用的特征中識別主相關特征的優(yōu)點，在醫(yī)學數據分析中得到廣泛應用;另一方面，有研究表明隨機森林在類別不平衡數據集和高維數據集上，其分類能力和穩(wěn)定性會受到削弱。針對醫(yī)學數據集的特征高維性、冗余性、相關性以及樣本類別不平衡等問題，本文以UCI標準數據集、糖尿病臨床診斷數據集和基因芯片數據集為對象，研究了基于隨機森林的特

3、征選擇和數據分類方法，主要開展了以下幾個方面的工作。
　　首先，針對醫(yī)學數據集的樣本類別不平衡問題，提出了一種基于有放回地隨機重采樣技術和集成機器學習思想的隨機森林改進算法。該算法首先從原始訓練數據集中利用有放回地隨機重采樣技術構建樣本類別平衡的數據集，然后在每一個采樣數據集上訓練隨機森林分類器，最后所有采樣數據集上生成的隨機森林分類器通過多數投票方式確定未知樣本的分類類別。在UCI數據集上的實驗結果表明，與傳統(tǒng)的基于隨機降采樣和

4、基于代價敏感的方法相比，本文提出的算法能夠有效提高分類器的分類性能尤其是少數類樣本的查全率。
　　其次，針對醫(yī)學臨床數據集的高維特征空間和特征間高度相關問題，提出了一種基于隨機森林的Filter式特征選擇算法。該算法首先基于隨機森林變量重要性分數對數據集中的特征進行排序，然后通過迭代實驗確定特征選擇的閾值，選取重要性分數最大的前若干個特征構成特征子集，最后在選出的特征子集上訓練分類器。在UCI數據集和糖尿病臨床數據集上的實驗結果表

5、明，基于隨機森林變量重要性分數的算法的分類性能明顯高于現有的基于特征子集區(qū)分度和特征相關性等度量的算法。
　　再次，針對醫(yī)學數據集特征之間高度相關和高度冗余的問題，提出了一種基于隨機森林和序列聯合搜索策略的Wrapper式特征選擇算法。該算法利用隨機森林善于從具有小邊際效應和復雜相互作用的特征中識別主相關特征的能力，以隨機森林變量重要性分數作為特征重要性度量，采用序列后向和序列前向相結合的序列聯合特征搜索策略選擇特征子集，以特征子

6、集上分類器的分類正確率評價特征子集的質量，最后選擇分類正確率最高的特征子集作為最優(yōu)特征子集。在UCI數據集、糖尿病臨床數據集和微陣列表達數據集上的仿真實驗表明，本文提出的算法的分類正確率和特征子集質量均優(yōu)于基于過濾式的方法和基于其它度量的方法。
　　最后，針對微陣列表達數據集存在大量不相關特征、噪聲特征和冗余特征的問題，提出了一種基于Filter和Wrapper相結合的隨機森林特征選擇算法。該算法首先采用Filter特征選擇算法過