健康體檢數(shù)據(jù)預(yù)處理方法研究與應(yīng)用.pdf

1、利用醫(yī)療體檢數(shù)據(jù)積累豐富且有價(jià)值的信息，可進(jìn)行疾病的風(fēng)險(xiǎn)分析及個(gè)性化健康指導(dǎo)，預(yù)測(cè)受檢者患上某種慢病的風(fēng)險(xiǎn)和概率，提醒受檢者及時(shí)發(fā)現(xiàn)潛在疾病，為其提供健康指導(dǎo)及疾病治療措施。但原始體檢數(shù)據(jù)存在信息模糊、有噪聲、不完整和冗余的問(wèn)題，無(wú)法直接用于疾病的風(fēng)險(xiǎn)評(píng)估與預(yù)測(cè)，因此對(duì)醫(yī)療體檢數(shù)據(jù)進(jìn)行預(yù)處理是很重要的。
　　為了充分完成體檢數(shù)據(jù)的預(yù)處理工作，本文在傳統(tǒng)的預(yù)處理方法的基礎(chǔ)上從多角度提出了針對(duì)體檢數(shù)據(jù)預(yù)處理的有效方法：針對(duì)信息冗余的問(wèn)

2、題，提出基于壓縮方法的體檢數(shù)據(jù)歸約，降低了體檢數(shù)據(jù)預(yù)處理的時(shí)間及空間復(fù)雜度；針對(duì)體檢項(xiàng)目不統(tǒng)一、異常值、重復(fù)值及缺失值較多的問(wèn)題，提出基于相似重復(fù)記錄和缺失值的體檢數(shù)據(jù)清洗方法，完成了體檢數(shù)據(jù)的清洗，解決了體檢數(shù)據(jù)不一致的問(wèn)題。通過(guò)刪除元組、忽略不完整數(shù)據(jù)及填充技術(shù)完成基于缺失值的數(shù)據(jù)清洗；針對(duì)唯一標(biāo)識(shí)碼缺失的問(wèn)題，提出基于線性函數(shù)的體檢數(shù)據(jù)變換，實(shí)現(xiàn)了歷年體檢數(shù)據(jù)的連續(xù)性和規(guī)范性。在實(shí)現(xiàn)體檢數(shù)據(jù)清洗時(shí)創(chuàng)新性的提出基于分詞和權(quán)值的字段匹

3、配算法完成相似重復(fù)記錄的檢測(cè)。體檢數(shù)據(jù)預(yù)處理的目的是將不規(guī)范的數(shù)據(jù)轉(zhuǎn)換為標(biāo)準(zhǔn)數(shù)據(jù)，實(shí)現(xiàn)醫(yī)生術(shù)語(yǔ)、體檢結(jié)論的標(biāo)準(zhǔn)化，糾正錯(cuò)誤信息、填補(bǔ)空缺值。
　　實(shí)驗(yàn)結(jié)果證明：基于壓縮方法的體檢數(shù)據(jù)歸約可大大減少體檢數(shù)據(jù)的不相關(guān)及冗余信息；基于分詞和權(quán)值的字段匹配算法在召回率、正確率和F-測(cè)度值上分別高于傳統(tǒng)算法6.23％、5.44%和5.84%，說(shuō)明改進(jìn)算法在檢測(cè)相似重復(fù)記錄上的準(zhǔn)確性高于傳統(tǒng)的算法；驗(yàn)證了經(jīng)過(guò)基于線性函數(shù)的體檢數(shù)據(jù)變換成功的給