基于上古文獻(xiàn)的詞匯級(jí)語義知識(shí)挖掘研究.pdf

1、“人文計(jì)算”是一個(gè)將現(xiàn)代信息技術(shù)融入到傳統(tǒng)人文社會(huì)科學(xué)研究中的交叉研究領(lǐng)域。隨著“互聯(lián)網(wǎng)+”概念的興起，數(shù)字化浪潮持續(xù)推進(jìn)，“人文計(jì)算”已成為情報(bào)學(xué)、語言學(xué)和中文信息處理領(lǐng)域的重要研究課題。近幾年來，情報(bào)語言學(xué)界更是涌現(xiàn)了一批古籍?dāng)?shù)字化、古漢語文獻(xiàn)語料庫資源建設(shè)等人文計(jì)算領(lǐng)域的新項(xiàng)目。當(dāng)前，現(xiàn)代漢語相關(guān)的信息處理研究已經(jīng)深入到篇章層面，但古代漢語相關(guān)的信息處理大多仍停留在字處理的階段，因而，對(duì)古代漢語詞匯級(jí)層面的相關(guān)知識(shí)進(jìn)行探索，對(duì)于我

2、們完善現(xiàn)有的古漢語信息處理研究體系具有十分重要的現(xiàn)實(shí)意義。本文中的上古文獻(xiàn)指的是先秦時(shí)期的古漢語文獻(xiàn)，在研究過程中，運(yùn)用了語料庫、人文計(jì)算、機(jī)器統(tǒng)計(jì)模型、復(fù)雜網(wǎng)絡(luò)等領(lǐng)域的相關(guān)知識(shí)，開展了古漢語文獻(xiàn)詞匯級(jí)層面的知識(shí)挖掘工作。
　　本文的總體研究目標(biāo)就是融合數(shù)字人文的思想開展先秦古漢語詞匯級(jí)層面的知識(shí)挖掘研究，運(yùn)用情報(bào)語言學(xué)領(lǐng)域內(nèi)的多種研究方法，探尋上古文獻(xiàn)語料庫中蘊(yùn)含的有用知識(shí)，研究結(jié)果一方面可以幫助人們探索漢語言的發(fā)展歷史和規(guī)律，

3、另一方面為古漢語信息處理以及情報(bào)知識(shí)發(fā)現(xiàn)服務(wù)。
　　本文的研究都是基于由25部具有代表性的先秦古文獻(xiàn)所構(gòu)建的上古漢語語料庫開展的，主要研究內(nèi)容包括如下三個(gè)部分:一是進(jìn)行上古文獻(xiàn)的古漢語語料庫構(gòu)建標(biāo)注研究，這部分首先介紹了這25部先秦古文獻(xiàn)的基本情況，接著分別介紹了古漢語語料庫、古漢語分詞、古漢語詞性標(biāo)注以及命名實(shí)體識(shí)別的相關(guān)知識(shí)，最后選取語料庫中的部分上古文獻(xiàn)進(jìn)行了簡(jiǎn)單的字詞分布統(tǒng)計(jì)，并對(duì)其中的內(nèi)部規(guī)律作了分析;二是基于條件隨機(jī)場(chǎng)

4、模型與古漢語語言規(guī)則相結(jié)合的方法進(jìn)行古漢語的分詞及詞性訓(xùn)練模型研究，這部分首先詳細(xì)介紹了條件隨機(jī)場(chǎng)模型的相關(guān)知識(shí)以及如何對(duì)古漢語語料進(jìn)行預(yù)處理、如何選取特征模板，然后針對(duì)上古漢語語料庫設(shè)計(jì)了基于條件隨機(jī)場(chǎng)模型的封閉性測(cè)試及開放性測(cè)試兩組對(duì)比實(shí)驗(yàn)，在這兩組對(duì)比實(shí)驗(yàn)的基礎(chǔ)上又開展了子實(shí)驗(yàn)，最終顯示，封閉性測(cè)試得到的調(diào)和平均數(shù)(F)的數(shù)值在99％左右，開放性測(cè)試得到的調(diào)和平均數(shù)(F)的數(shù)值在90％左右，兩組實(shí)驗(yàn)都取得了比較理想的效果;三是運(yùn)用