多維數(shù)據(jù)異常點識別方法的研究.pdf

1、統(tǒng)計數(shù)據(jù)質(zhì)量問題一直困擾著我國統(tǒng)計界,是政府和社會各界關(guān)心的問題我們需要一種能檢查和審核統(tǒng)計數(shù)據(jù)的可靠性和準(zhǔn)確性、識別異常數(shù)據(jù)的定量方法和工具。
　　在數(shù)據(jù)處理的過程中偶爾會出現(xiàn)一些異常的，不合邏輯的統(tǒng)計結(jié)果，這種結(jié)果的出現(xiàn)很可能是由于所處理的數(shù)據(jù)中包含異常數(shù)據(jù)造成的。但目前測量學(xué)中所提供的異常數(shù)據(jù)識別方法，都只針對一維數(shù)據(jù)，即只針對單一測量指標(biāo)進行數(shù)據(jù)檢查。然而，在統(tǒng)計實踐中我們經(jīng)常會感到僅僅使用單指標(biāo)進行數(shù)據(jù)檢查不能有效發(fā)現(xiàn)測

2、量數(shù)據(jù)包含的全部異常。
　　為了探索解決此類問題的方法，提高統(tǒng)計數(shù)據(jù)的準(zhǔn)確性和可靠性，本文通過文獻(xiàn)資料法、比較分析法和探究性實驗法，在對常用異常數(shù)據(jù)識別方法進行分析的基礎(chǔ)之上，嘗試尋找一種可應(yīng)用于多指標(biāo)情形下的異常數(shù)據(jù)的識別方法，為數(shù)據(jù)分析提供便利的輔助工具。
　　要建立異常點的識別方法，首先應(yīng)尋找一個可以表達(dá)多指標(biāo)情形下點與點之間關(guān)系的、簡單易用的數(shù)量指標(biāo)。距離是可以滿足這個要求的指標(biāo)之一，利用距離可以表示點與點間關(guān)系。如

3、果某點是樣本中的異常點，它必遠(yuǎn)離樣本中的其它點，即與多數(shù)點的距離較大，其平均距離也必大。反之，若某點為正常值，則它必與樣本中的某些點相鄰較近，距離較小，則其平均距離必不大?；诖朔N思想，本文嘗試?yán)命c與點之間的平均距離作為識別多維指標(biāo)下樣本異常值的方法。并分別采用歐氏距離、馬氏距離和斜交空間距離進行嘗試。
　　利用距離建立多指標(biāo)情形下的異常點識別方法，雖然只是一種嘗試，在簡單直觀的二維數(shù)據(jù)的運用效果比較好些，但在多維空間中應(yīng)用是否