基于機器學習的生物多樣性中文文檔的信息抽取研究.pdf

1、信息抽取(Information Extraction)的核心在于識別和提取文檔中用戶感興趣的數據，并以更為結構化、語義更為清晰的形式表示，為用戶查詢數據、應用程序利用數據提供便利。近年來國內外已有多位研究者面向各個領域開展信息抽取研究并獲得一定成效。
　　 介于日益嚴峻的環(huán)境問題對生態(tài)和生物研究提出了更高、更緊迫的要求。本文選用生物多樣性作為研究領域。物種描述是生物學和生態(tài)學的起點，相關文檔應為首要進行信息組織和利用的對象。然

2、而分類學描述通常采用自然語言，內容缺乏一致性，難以得到有效地利用。為完善生物學和生態(tài)學研究的支持基礎，已有多個機構及研究者試圖傳統(tǒng)格式的分類描述文本轉化成新的數字格式(XML或RDF)，試圖為基于語義的信息組織和利用奠定基礎。其中cui等設計開發(fā)的MARTT系統(tǒng)實現(xiàn)了良好的標注效果，其自行構建的先導詞算法，在標注準確率和召回率上都優(yōu)于其它兩種常用機器學習方法，即支持向量機和樸素貝葉斯。
　　 本文通過深入研究MARTT的系統(tǒng)原理

3、，和自建的機器學習算法，選用中國植物志中的物種分類學描述為數據集，設計實現(xiàn)了針對生物多樣性中文文檔的語義標注系統(tǒng)。文章主要包含了五個部分的內容：
　　 (1)數據集的獲取與XML標引，本文設計了植物分類學描述的XML標引結構，并將收集的PDF格式的描述文檔進行格式轉換和XML標引。
　　 (2)中文分詞軟件的選用，本文通過對比不同中文分詞軟件的分詞效果，選用最合適研究中語詞切分的相關軟件。
　　 (3)標注算法的

4、構建。本文設計實現(xiàn)了適用于中文植物分類學文檔的機器學習算法，用于實現(xiàn)語義標注。
　　 (4)對比研究平臺的搭建。本文采用LIBSVM軟件包，運用支持向量機算法對文檔進行了分類測試。
　　 (5)標注效果的評估。本文將數據集合區(qū)分為訓練集合和測試集合，運用從訓練集合獲知的標注規(guī)則對測試集合進行標注。通過標注準確率對標注結果進行評估。評估結果顯示，系統(tǒng)基本完成了對描述文檔主要結構的標注，對個別元素的標注結果還有待改善，且總體

5、優(yōu)于SVM文本分類系統(tǒng)所產生的標注結果。
　　 本文將基于機器學習的語義標注應用于植物分類學文檔是十分有意義的。首先選用《中國植物志》作為數據集來源具有較強的現(xiàn)實意義和潛在的應用價值，其次語義標注為基于語義的信息組織與利用研究的基礎和核心內容，語義標注工作完成后，能夠在此基礎上開展XML結構化檢索、聯(lián)合搜索等信息創(chuàng)新用法。最后，該項工作對生物學和生態(tài)學研究起到一定的支持作用，對于其他領域相關研究的開展也具有極其現(xiàn)實的借鑒價值。<