高搭配力度多詞序列識別的遞歸算法.pdf

1、多詞序列(又稱為詞語序列、詞項或ngram)是指n個連續(xù)的單詞組成的序列，在語言學(xué)許多分支中被越來越多的學(xué)者所研究。這些研究的重點之一是lexicalbundles(通常翻譯為詞束)，通常被認(rèn)為是對搭配研究的擴展(Cortes，2004：397)。按Biber(2007：264)的定義，詞束以頻數(shù)為準(zhǔn)則，既詞束是出現(xiàn)頻數(shù)最多的多詞序列。Biber(2007：283)在該文中同時承認(rèn)，頻數(shù)并非研究格式化多詞序列的唯一標(biāo)準(zhǔn)--出現(xiàn)次數(shù)多和預(yù)

2、制化并非完全一致。Altenberg(1998：102)認(rèn)為，詞束作為研究口語習(xí)語的原材料是有用的，但是詞束中的許多組合在習(xí)語研究中意義不大，因為它們是簡單的重復(fù)或者是更大結(jié)構(gòu)的組成部分。 本文是建立在以下假設(shè)上的：高搭配力度是多詞序列預(yù)制性的標(biāo)志。本文研究的多詞序列是搭配按照另一個準(zhǔn)則--搭配力度準(zhǔn)則進行延伸而形成的多詞序列，它在結(jié)構(gòu)上體現(xiàn)了一種比詞束更預(yù)制化的傾向。 這種新的結(jié)構(gòu)化的多詞序列的遞歸定義如下：

3、1.研究者指定的某個(某些)單詞作為這些多詞序列的根節(jié)點。 2.如果字符串X是m-word高搭配力度多詞序列或者高搭配力度多詞序列的根節(jié)點，且collocability(WL，X，-1)>=CLT-OFF，那么字符串WLX是(m+1)-word高搭配力度多詞序列。 3.如果字符串x是m-word高搭配力度多詞序列或者高搭配力度多詞序列的根節(jié)點，且collocability(WR，X，+1)>=-CUT-OFF，那么字符串

4、XWR是(m+1)-word高搭配力度多詞序列。 解釋： 1.collocability(WL，X，-1)表示節(jié)點詞為X，跨距為-1/-1時，搭配詞WL(節(jié)點詞左一位置搭配詞)相對與節(jié)點詞的搭配力度，可以用T值，Mi值或者Z值來衡量。 2.collocability(WR，X，+1)表示節(jié)點詞為X，跨距為+1/+1時，搭配詞WR(節(jié)點詞右一位置搭配詞)相對與節(jié)點詞的搭配力度，可以用T值，Mi值或者Z值來衡量。

5、 3.CUT-OFF為研究者指定的臨界搭配力度。當(dāng)搭配詞相對與節(jié)點詞的搭配力度大于該值時，節(jié)點詞可以與搭配詞排列而形成更長的高搭力度多詞序列。 實驗發(fā)現(xiàn)高搭配力度多詞序列的特點：高頻；非對稱：有界。 搭配理論是語法和詞語的交匯點(衛(wèi)乃興，2002：120)。衛(wèi)乃興(2002：107)指出，搭配不僅是單詞間的聯(lián)系紐帶，而且是文本中意義的載體。當(dāng)前語言研究證實，形式和意義密不可分，詞匯和語法密切相關(guān)，兩者存在共選關(guān)系(濮

6、建忠，2003：220)。選擇詞匯的同時也意味著同時對含義做出了選擇，反之亦然。本文的實驗結(jié)果也與這種觀點一致：如果我們選擇語法詞(the，of，and，it)作為根節(jié)點，生成的高搭配力度多詞序列中，有相當(dāng)大的比例是典型的詞項或者詞項的組合。在這個過程中，我們以grammaicalwords為根詞，得到了lexicalitems(或者是lexicalitems的組合)，這一過程也體現(xiàn)了語法與詞語的密切關(guān)系：Lexisisgrammmic

7、al，grammarislexical。 同時，在高搭配力度多詞序列的生成過程中，如果臨界搭配力度較小，這個算法會生成比較長的語言單位(例如句子)；如果臨界搭配力度比較大時，會生成短的語言單位(例如詞項或者詞項的組合)。從這個角度講，這也驗證了語法和詞語的區(qū)別不是絕對不可逾越的。 當(dāng)節(jié)點詞頻率不是太高，且節(jié)點詞的搭配詞分布相對均勻時，一系列搭配詞與節(jié)點詞相搭配，這些模式(例如putit+in/on)其實是類連接(即put

8、it+prep(in/on))。 實驗發(fā)現(xiàn)：如果選取一些高頻詞(例如the，and，of)作為根詞，按照搭配力度為準(zhǔn)則延伸后可以得到結(jié)構(gòu)比較規(guī)范，并且和文本的內(nèi)容高度相關(guān)的lexicalitems(或者是lexicalitems的組合)，可以作為文章的候選關(guān)鍵詞組。 我的論文由五章組成。第一章介紹了多詞序列的重要性和搭配理論。第二章綜述了研究所涉及的語言模型。第三章給出了高搭配力度多詞序列的遞歸定義，并且給出了一個以單詞