基于數(shù)字電視節(jié)目的相關(guān)語義庫的實(shí)現(xiàn)與應(yīng)用.pdf

1、在人們對語言的感官認(rèn)知中，判斷詞語間的語義相關(guān)程度一直扮演著一個重要的角色，同時，這種語義相關(guān)關(guān)系在很多領(lǐng)域中都有實(shí)際的應(yīng)用，例如信息檢索，文本分類，機(jī)器翻譯等等。 構(gòu)造相關(guān)語義庫通常有基于知網(wǎng)和語料訓(xùn)練兩種方法。知網(wǎng)采用人工方法，主觀性太強(qiáng)，且不能動態(tài)更新；通常的語料訓(xùn)練對時空復(fù)雜度的要求都比較高，受語料稀疏和語料噪聲的影響也比較大，不宜直接應(yīng)用于嵌入式環(huán)境。為了解決以上問題，本文提出了一種以向量空間模型為基礎(chǔ)的相關(guān)語義庫的構(gòu)

2、造方法。本文將所要介紹的相關(guān)語義庫稱為Corpus庫。 本文首先提出了Corpus的邏輯模型，Corpus庫綜合考慮了多種與詞語間語義關(guān)系有關(guān)的因素，創(chuàng)新性地將詞語之間的共同出現(xiàn)次數(shù)、平均距離、窗口大小、信息熵、單字匹配等概念引入模型。接下來，我們給出了訓(xùn)練詞語相關(guān)度的裁剪公式，在構(gòu)建相關(guān)語義庫過程中，依此公式對大量語料進(jìn)行了多次迭代式學(xué)習(xí)以盡量控制空間大小。其中，我們對模型中相關(guān)詞空間各個因素進(jìn)行統(tǒng)計(jì)，針對每一個詞語，根據(jù)與其

3、相關(guān)的詞語的統(tǒng)計(jì)信息，為這些相關(guān)詞語分配權(quán)值，最后按照權(quán)值大小進(jìn)行排序，排位靠前的相關(guān)詞語會被最終留下存入主詞語的相關(guān)空間。 本文針對Corpus自身模型和Corpus應(yīng)用做了兩大實(shí)驗(yàn)。實(shí)驗(yàn)一證明了用這樣的構(gòu)建方法得到的相關(guān)語義庫能夠較好的反映現(xiàn)實(shí)世界中詞語之間的相關(guān)程度。實(shí)驗(yàn)二提出了一種基于Corpus庫的模糊信息匹配模型，它基于一個四維的向量空間，在模糊匹配的過程中該模型會用擴(kuò)展后的檢索信息與待查全部文本資源進(jìn)行匹配，并得出