NLP中語義的計算和分析.pdf

1、內(nèi)容提要本 文在 基于語 義的 可分解性、 網(wǎng) 絡(luò)性和 層次 性的 三 個根本 特點的 基礎(chǔ)上， 討 論了自 然語言處理中語義的計算和分析問 題。首 先 討 論了 知 識 工 程 不可回 避的 本 體 論問 題， 并 具 體 結(jié) 合W o r d N e t 、 知網(wǎng) 和C y c 等工 程， 對于本 體論的 形成、 在工 程中的 樞紐地 位及其 在自 然語言處理中的 應(yīng)用作了 討論。 最后指出， 相對于 關(guān)于 外部世界的 本體論， 關(guān)

2、于 語言 本身的 本 體論 研究 還沒 有受到 足夠的重 視， 對語言 本體的 認識 牽涉到自 然語言處 理的 根本算法問 題。 這也是本 項研究的出 發(fā)點 之一。接著， 分別結(jié)合知網(wǎng)和 W o r d N e t 討論了知識工程中 最常用的義素和語義場的 語義分析方法， 并 且比 較了 知網(wǎng) 和 W o r d N e t 的 基于 構(gòu) 造性和 基于區(qū)分 性的不同 特點，并 進一 步總 結(jié) 了 對知網(wǎng) 進 行擴充的 一個實踐。 目 前

3、的 知識資 源一 般都注 重對詞 語概念意義的考 察。 本 項研 究 則針 對詞 語的 表達色 彩， 根據(jù)知網(wǎng)的 詞條， 對漢 語的 詞 語的 風格色彩和感情色彩進行 標注。我們希 望建設(shè) 一個知識資源， 將其 應(yīng)用在文 本分 類和信息 過溥中 場合中.接 著 討 論了 在自 動 句 法 分析 中 引 進 語 義因 素 的 情 況. 主 要 結(jié) 合M i n i p a r 討 論了 生 成 語 法 在短語 結(jié)構(gòu) 規(guī)則的 荃礎(chǔ)上添加的一

4、 些語 義限 制 而形 成的 原則。 接著討論了自 動 句法分析中的 “ 格” 和“ 價” 的問 題， 指出 將語義的 東西 引 進形式分 析中， 增強了 解釋力， 但也使問 題變 得更 加復(fù)雜: 而對于 漢語， 句子的 語義重心不 一定 就在 動詞上， 還需要另 辟蹊徑， 在如何 進 行 語義分 析 方面作出 探索。在 這個 荃礎(chǔ)上， 文章 就如何進行 語義的 分 析 和解 釋作了 進一步的討論。 首先， 討論了 基于 弗雷 格 (

5、F r e g e ) 原理的 句法和 語義同 構(gòu)的 菠 塔 古 語 法的 方 法 及其在漢 語 信息處理中 的 初步 實 驗; 接 著以 知網(wǎng)的 短語信息結(jié)構(gòu)庫和 黃曾 陽 的H N C 的 句類理論為例， 說明了 獨立地建 立語義語法的規(guī)則的可能性。在對目 前的詞匯和句子層面的語義的 計算分析的概況進行過初步的討論后， 文章進一步 對 語篇 層面的 語義計算分 析進行一個 初步的 探討。 目 前的 統(tǒng)計 語言模型 把一篇文章看作是一

6、 堆詞的 集合 ( 詞袋) ， 這無疑一 筆抹殺了 語言 的 結(jié) 構(gòu)性、 層次 性等重要特點。 但根據(jù)目 前的 自 然語言 處 理的實際 情況， 要對語篇 進行結(jié) 構(gòu) 化的 表示 還 存在 著巨 大的 技術(shù)障礙。 這促使我 們探索 基于 語言學方法的的文 檔表示 方法， 對向 盤空間 模型做局部的改 進。關(guān)鍵詞:自 然語言處理 計算語言學 語義 意義緒論世界的知識6 0 年 代中 期 至7 0 年代初期， 以 機器翻譯 為代表 的 人工

7、智能 ( A I ) 技 術(shù)的 發(fā) 展遇到了 嚴重的困 難。 在這個時期， A I 研究先驅(qū) 者們認真總結(jié) 經(jīng)驗教 訓(xùn)，以 斯坦福大學的費根鮑姆 ( F e i g e n b a u m ) 為 代 表 的 一 批 學 者 認 識 到 機 器 缺 乏 的 就 是 人 類 在 幾 千 年的 文明 史 上 積 累 起 來 的知識。 A I 的 主要技術(shù)是 狀態(tài)空間 搜索， 但這 種技術(shù) 在處 理自 然語言時所遇到的 ‘ 組合爆炸問 題”

8、還幾 乎無 法解決。 要擺脫困 境， 只 有大t使 用理性的 知識。在 這個 波 折蕭條期， 很多國 家的A I 研 究人員 并沒 有灰 心， 而是 扎扎實實的 做了 很多 工 作， 在 知 識 表 示 方 面 做出了 很多 探索. 如 1 9 6 8 年 奎 連 ( Q u i l i a n ) 提出 了 語 義網(wǎng) 絡(luò)的 知 識 表 示 法， 后 來 西 蒙 ( R . F . S i m o n 1 9 7 3 ) 等 人 在用

9、語義 網(wǎng) 絡(luò) 表 達自 然 語 言 理 解方 面取 得了 很 大的 成 效; 1 9 7 3 年R . C , S c h a n k 提出 了 概 念 從 屬 理 論 ; 1 9 7 4 年 明 斯 基 似i n s 切提出 了 表 示 知 識 的 另 一 種 方 法 框 架 ( F r a m e ) 理 論， 框 架理論能 較好 地 描 述 范圍 較 廣 泛的 一 類問 題， 所以 一 經(jīng)提出 就 得 到了 廣泛的 應(yīng)用。但時至

10、今日 ， 由于 人 類知識的規(guī) 模和 現(xiàn)有的 知識 表示 方法的局限性， 一些 成熟的機器翻譯的 產(chǎn)品， 其主 要技 術(shù)仍然不是基于理解的 。 統(tǒng) 計方 法普 遍有效 但是眼下達到的 水平還不 盡如人憊， 要 進一 步提高正 確率， 哪怕是 幾個百 分點， 也是 不容易的。 因 此，自 然語言理 解要想取 得更 大的 進步和突 破。 還寄希望于 在如何 運用 知識， 進行基于 理解的方 法上作 些探索， 取 得 新的 突 破 ( 靳 光

11、 瑾 1 9 9 9 ) ,語義學魯川2 0 0 1 在對語 言定 義的 探討中 談到了 語言和 知識的 密切關(guān) 系。 他認為， 語言是知識 的 載 體 : 人 們 用 語 言 進 行 知 識的 表 示 、 存 儲 、 傳 播 、 交 流、 繼 承 和 創(chuàng) 新 ( 6 ) 。 可 見， 在 如 何 用 知 識 武 裝 電 腦 的 過 程中 ， 語言 學 的 研 究 責 無 旁 貸 ‘ 根 據(jù) 莫 里 斯 ( C h a r l i e

12、 M o r r i s ) 在《 符 號 理 論 基 礎(chǔ)》 ( 1 9 3 8 ) 一 書中 對符號 學 ( s e m i o t i c s ) 的 分 類， 現(xiàn) 代 語 言學 研究 相 應(yīng)分 成 三 個部分: 句 法學、 語 義學 和語用學。 句法學研究 “ 符號 之間的 形 式關(guān) 系” : 語義學研究 “ 符號與 符號所指 對象的 關(guān) 系‘ ， : 語 用學定義為 研究“ 符號與 符號 解 釋者的 關(guān)系’ ， ， 可以 看出，

13、 和知識的 表示、運用 關(guān)系 最為 密切的 分支學 科是語義學。 符 號 所指 對象就是外部的 現(xiàn)實現(xiàn)象. 但符 號和 現(xiàn)實 現(xiàn) 象 之 間 的 關(guān) 系 并 不 是 直 接 的 ， 它 們 之 間 存 在 一 個 中 介 ， 即 概 念。 這 種 關(guān) 系L y o n s 1 9 7 7 用 了 一個三角形來表示 ( 9 6 ) :B : c o n c e p t ( 概念)A : s i g n ( 符號，即詞) C s i g n

14、i f i c a t u m( 所指。 現(xiàn)實 現(xiàn)象〕頂 點人 、 C 之間的 線 段 用 虛線， 表示 其間的 聯(lián)系 是 間 接的 .由 于 人類的 語言存在巨 大差異， 所以 ， 可以 利用語 吉 和現(xiàn)實的中 介即 概念來彌補語言的 差異 所帶 來的 影響。 因為， 概念是人認識外部 世界 的 成果， 是可以 加以 規(guī)定、 規(guī)范， 使 其一致的 。 現(xiàn) 在一 般的 語義研究注重 對概念的 研究， 就是因 為 概念可以 是超語言的;