詞與短語區(qū)分的頻率因素——基于超大規(guī)模語料庫2-gram串的考察.pdf

1、如何區(qū)分詞和短語一直是語言學(xué)中的難題。漢語中約70％以上的詞是二字詞，所以二字復(fù)合詞和二字短語的區(qū)分更是難點。隨著統(tǒng)計方法在語言學(xué)中的廣泛運用，從頻率的角度來研究詞和短語的文章大大增加。但目前相關(guān)研究主要集中在詞語、高頻字串的提取方面，從本體角度探討頻率是否適合作為區(qū)分詞和短語的標(biāo)準(zhǔn)的文章較少。本文旨在對這一問題進(jìn)行探討。
　　如何驗證頻率是否適合作為區(qū)分詞和短語的標(biāo)準(zhǔn)？本文提出基于超大規(guī)模語料庫2-gram串統(tǒng)計的方法，并采取以

2、下兩種驗證思路:第一，考察漢語中高頻二字串是否都是由詞構(gòu)成，即是否頻率越高二字串成詞性越高;第二，考察已有比較成熟的二字串成詞性層級分類結(jié)果是否與本文頻率統(tǒng)計結(jié)果相一致，即是否二字串成詞性層級越高，頻率也越高。
　　基于以上兩種思路的驗證，本文得出的結(jié)果是:漢語二字串的成詞性和頻率不必然存在“頻率越高成詞性越高”或“成詞性層級越高頻率越高”的共變關(guān)系。那么頻率對二字串的成詞性是否一點影響都沒有呢，以及該如何進(jìn)行解釋？
　　為

3、了進(jìn)一步考察頻率對二字串成詞性的影響，本文對二字串進(jìn)行更細(xì)致的分類頻率考察，包括同構(gòu)槽字串“大X”頻率考察、動結(jié)式“V到”和動趨式“V向”頻率考察，以及同語義場——親屬義場、動物、身體義場——同構(gòu)槽字串頻率考察?？疾斓贸鲱l率對詞界定的影響表現(xiàn)在:對于同結(jié)構(gòu)、同構(gòu)造槽、同語義場的二字結(jié)構(gòu)短語，頻率能夠很好地將其作“連續(xù)統(tǒng)”的劃分。
　　最后，本文得出結(jié)論:“頻率”不是“詞”定義的應(yīng)有之義，也不可直接作為界定詞的標(biāo)準(zhǔn);它在解決詞和短語