病理文本數(shù)據(jù)的結(jié)構(gòu)化處理系統(tǒng)研究與實(shí)現(xiàn).pdf

1、各大醫(yī)院在提供臨床醫(yī)療服務(wù)的過(guò)程中，均會(huì)產(chǎn)生大量的非結(jié)構(gòu)化臨床文檔數(shù)據(jù)。病理報(bào)告作為一類重要的非結(jié)構(gòu)化臨床文檔，其內(nèi)容主要是病理科醫(yī)生采用自然語(yǔ)言書(shū)寫的文本格式數(shù)據(jù)，記錄了病人的基本信息、標(biāo)本肉眼所見(jiàn)、標(biāo)本鏡下所見(jiàn)和診斷結(jié)果等信息。病理報(bào)告中的文本內(nèi)容對(duì)于醫(yī)生進(jìn)行疾病診斷至關(guān)重要，是臨床診療的重要依據(jù)之一。
　　傳統(tǒng)對(duì)病理報(bào)告的處理方法，大都依賴于主治醫(yī)生憑借經(jīng)驗(yàn)對(duì)病理報(bào)告的文本內(nèi)容進(jìn)行人工處理，其過(guò)程實(shí)質(zhì)上是依靠主治醫(yī)生的臨床思

2、維對(duì)病理文本內(nèi)容進(jìn)行結(jié)構(gòu)化處理，以人工的方式提取出包含在病理文本數(shù)據(jù)中的標(biāo)本及其各指標(biāo)的值。但是，這種人工處理的方式不僅耗時(shí)耗力，而且正確率難以得到保證。為此，本文借助規(guī)則提取、文本主題分析、統(tǒng)計(jì)分析等手段，設(shè)計(jì)并實(shí)現(xiàn)一種病理文本數(shù)據(jù)結(jié)構(gòu)化處理系統(tǒng)，以支持病理報(bào)告中標(biāo)本及其指標(biāo)值的自動(dòng)提取。
　　本文首先對(duì)病理報(bào)告的文本數(shù)據(jù)結(jié)構(gòu)進(jìn)行了分析，給出了病理文本中的概念層次結(jié)構(gòu)，并闡述了病理報(bào)告的結(jié)構(gòu)化處理流程。在此基礎(chǔ)上，本文設(shè)計(jì)了病理

3、文本結(jié)構(gòu)化處理系統(tǒng)的總體架構(gòu)，分別介紹了系統(tǒng)中三個(gè)主要的模塊：病理數(shù)據(jù)預(yù)處理模塊、病理標(biāo)本模板提取模塊和病理文本即時(shí)結(jié)構(gòu)化模塊的主要功能與任務(wù)。
　　然后，本文為了解決病理標(biāo)本描述模板的提取問(wèn)題，提出了一種基于 LDA 模型 (隱含狄利克雷主題模型)的標(biāo)本描述模板提取算法。該算法對(duì)同種標(biāo)本的數(shù)據(jù)集合進(jìn)行隱含狄利克雷主題模型（LDA 模型）的建模，并通過(guò)快速Gibbs抽取的方式獲取集合中詞的概率分布情況。在此基礎(chǔ)上，結(jié)合IDF權(quán)重值

4、進(jìn)行文本價(jià)值計(jì)算，得到該文本集合中“文本價(jià)值”最高的Top-N個(gè)詞，將其視為當(dāng)前標(biāo)本的候選關(guān)鍵字。這些關(guān)鍵詞即是標(biāo)本描述模板的核心描述詞。同時(shí)，考慮到病理報(bào)告經(jīng)過(guò)長(zhǎng)期的積累，形成了規(guī)模龐大的病理數(shù)據(jù)，本文利用MapReduce并行計(jì)算框架實(shí)現(xiàn)了病理標(biāo)本描述模板的提取過(guò)程，并將其部署到開(kāi)源分布式平臺(tái)Hadoop上。
　　最后，為了驗(yàn)證本文提出算法的有效性，通過(guò)真實(shí)數(shù)據(jù)集的測(cè)試，結(jié)果表明本系統(tǒng)可正確提取其中超過(guò)87.5％的指標(biāo)名稱和指