數(shù)據(jù)分析如何處理數(shù)據(jù)缺失問題

1、數(shù)據(jù)分析如何處理數(shù)據(jù)缺失問題數(shù)據(jù)分析如何處理數(shù)據(jù)缺失問題造成數(shù)據(jù)缺失的原因在各種實用的數(shù)據(jù)庫中，屬性值缺失的情況經(jīng)常發(fā)全甚至是不可避免的。因此，在大多數(shù)情況下，信息系統(tǒng)是不完備的，或者說存在某種程度的不完備。造成數(shù)據(jù)缺失的原因是多方面的，主要可能有以下幾種：1）有些信息暫時無法獲取。例如在醫(yī)療數(shù)據(jù)庫中，并非所有病人的所有臨床檢驗結(jié)果都能在給定的時間內(nèi)得到，就致使一部分屬性值空缺出來。又如在申請表數(shù)據(jù)中，對某些問題的反映依賴于對其他問題的

2、回答。2）有些信息是被遺漏的?？赡苁且驗檩斎霑r認為不重要、忘記填寫了或?qū)?shù)據(jù)理解錯誤而遺漏，也可能是由于數(shù)據(jù)采集設(shè)備的故障、存儲介質(zhì)的故障、傳輸媒體的故障、一些人為因素等原因而丟失了。3）有些對象的某個或某些屬性是不可用的。也就是說，對于這個對象來說，該屬性值是不存在的，如一個未婚者的配偶姓名、一個兒童的固定收入狀況等。4）有些信息（被認為）是不重要的。如一個屬性的取值與給定語境是無關(guān)的，或訓(xùn)練數(shù)據(jù)庫的設(shè)計者并不在乎某個屬性的取值（稱為

3、dontcarevalue）。5）獲取這些信息的代價太大。6）系統(tǒng)實時性能要求較高，即要求得到這些信息前迅速做出判斷或決策。處理數(shù)據(jù)缺失的機制在對缺失數(shù)據(jù)進行處理前，了解數(shù)據(jù)缺失的機制和形式是十分必要的。將數(shù)據(jù)集中不含缺失值的變量（屬性）稱為完全變量，數(shù)據(jù)集中含有缺失值的變量稱為不完全變量，Little和Rubin定義了以下三種不同的數(shù)據(jù)缺失機制：1）完全隨機缺失（MissingCompletelyatRom，MCAR）。數(shù)據(jù)的缺失與不

4、完全變量以及完全變量都是無關(guān)的。此，空缺的數(shù)據(jù)需要通過專門的方法進行推導(dǎo)、填充等，以減少數(shù)據(jù)挖掘算法與實際應(yīng)用之間的差距?？罩堤幚矸椒ǖ姆治霰容^處理不完備數(shù)據(jù)集的方法主要有以下三大類：（一）刪除元組也就是將存在遺漏信息屬性值的對象（元組，記錄）刪除，從而得到一個完備的信息表。這種方法簡單易行，在對象有多個屬性缺失值、被刪除的含缺失值的對象與信息表中的數(shù)據(jù)量相比非常小的情況下是非常有效的，類標(biāo)號（假設(shè)是分類任務(wù)）缺少時通常使用。然而，這種

5、方法卻有很大的局限性。它是以減少歷史數(shù)據(jù)來換取信息的完備，會造成資源的大量浪費，丟棄了大量隱藏在這些對象中的信息。在信息表中本來包含的對象很少的情況下，刪除少量對象就足以嚴(yán)重影響到信息表信息的客觀性和結(jié)果的正確性；當(dāng)每個屬性空值的百分比變化很大時，它的性能非常差。因此，當(dāng)遺漏數(shù)據(jù)所占比例較大，特別當(dāng)遺漏數(shù)據(jù)非隨機分布時，這種方法可能導(dǎo)致數(shù)據(jù)發(fā)生偏離，從而引出錯誤的結(jié)論。（二）數(shù)據(jù)補齊這類方法是用一定的值去填充空值，從而使信息表完備化。通

6、?；诮y(tǒng)計學(xué)原理，根據(jù)決策表中其余對象取值的分布情況來對一個空值進行填充，譬如用其余屬性的平均值來進行補充等。數(shù)據(jù)挖掘中常用的有以下幾種補齊方法：(1)人工填寫（fillingmanually）由于最了解數(shù)據(jù)的還是用戶自己，因此這個方法產(chǎn)生數(shù)據(jù)偏離最小，可能是填充效果最好的一種。然而一般來說，該方法很費時，當(dāng)數(shù)據(jù)規(guī)模很大、空值很多的時候，該方法是不可行的。(2)特殊值填充（TreatingMissingAttributevaluesas