領(lǐng)域知識(shí)的獲取.pdf

1、知識(shí)庫是自然語言處理系統(tǒng)的基礎(chǔ)，為系統(tǒng)“理解”自然語言并順利完成任務(wù)提供有力的知識(shí)保障。本文針對(duì)領(lǐng)域知識(shí)的獲取進(jìn)行了研究和探索，提出了一些新的處理技術(shù)和模型。主要?jiǎng)?chuàng)新點(diǎn)包括： 1．針對(duì)領(lǐng)域知識(shí)源獲取過程中的網(wǎng)絡(luò)冗余信息問題，提出了一種基于關(guān)鍵詞序列的網(wǎng)絡(luò)文本信息去重算法——KSM。以全信息理論為依據(jù)，使用文檔的關(guān)鍵詞序列來描述其結(jié)構(gòu)特征和內(nèi)涵特征，通過比較主題相似文檔的關(guān)鍵詞序列的重疊度，判斷是否存在信息冗余現(xiàn)象。在各類隱式重復(fù)

2、檢測實(shí)驗(yàn)中，KSM算法的總體準(zhǔn)確率和召回率分別達(dá)到了99.2％和97.7％，顯示了較好的性能。 2．針對(duì)低頻術(shù)語抽取召回率較低的問題，提出了一種基于語言認(rèn)知理論的中文術(shù)語自動(dòng)抽取算法，借助科技論文的話語標(biāo)記，在C-value測度和SCP_f測度中引入候選術(shù)語的加權(quán)詞頻因子，提出了一種MC-SCP測度，用于候選術(shù)語的單元性和術(shù)語性的綜合評(píng)價(jià)。在車牌識(shí)別領(lǐng)域的術(shù)語抽取實(shí)驗(yàn)中，基于MC-SCP測度的算法召回率和準(zhǔn)確率分別是96.5％和

3、77.8％，低頻術(shù)語的召回率和準(zhǔn)確率則分別是96.2％和79.3％；在保證術(shù)語抽取整體性能的同時(shí)，顯著改善了低頻術(shù)語的抽取效果。 3．針對(duì)術(shù)語關(guān)系類型的多樣化問題，提出了一種基于多策略的術(shù)語關(guān)系自動(dòng)獲取模型。根據(jù)科技論文的語言學(xué)特點(diǎn)，綜合術(shù)語的內(nèi)部特征和外部特征，從多個(gè)層面發(fā)現(xiàn)和獲取術(shù)語間的各種關(guān)系，包括：基于規(guī)則的術(shù)語同義關(guān)系獲取、基于結(jié)構(gòu)相似性的術(shù)語層級(jí)關(guān)系獲取、基于完全加權(quán)關(guān)聯(lián)規(guī)則的術(shù)語非層級(jí)關(guān)系獲取、基于粒子群的術(shù)語聚類

4、等。在術(shù)語非層級(jí)關(guān)系獲取中，提出了一種基于非頻繁項(xiàng)集多重剪枝檢測的完全加權(quán)關(guān)聯(lián)規(guī)則挖掘算法——AWARM-MPIS，用于完全加權(quán)關(guān)聯(lián)規(guī)則的頻繁項(xiàng)集生成和剪枝，取得了良好的效果；在術(shù)語分組關(guān)系獲取中，提出了一種基于粒子群的術(shù)語聚類算法，使用術(shù)語的結(jié)構(gòu)相似性(內(nèi)部特征)和關(guān)聯(lián)度(外部特征)來評(píng)價(jià)術(shù)語的語義相似性。實(shí)驗(yàn)結(jié)果表明，其平均運(yùn)行時(shí)間與迭代次數(shù)比K-Means提高了2個(gè)級(jí)別。 4．針對(duì)多領(lǐng)域科技論文的大量出現(xiàn)與編輯人員專業(yè)知識(shí)