短文本與詞語的相關度計算與評測方法.pdf

1、在自然語言處理(NLP)中,當前詞語相關性研究對象主要局限于詞對相關性,且計算方法和評測手段皆獨立于待分析文本。詞對相關性是目前已明確提出并得到廣泛研究的一種相關性。但由于相關度的特性,要找尋一種接近人類的的直覺的計算方法仍然是困難的,“詞對相關性度量”這一項基礎技術就在信息檢索等任務上都有著廣泛的應用前景。因此詞對相關性研究仍是計算語言學深入研究的內容,是NLP眾多任務中的一個基礎性研究課題。如果能解決詞與各種語義單元的相關性度量問題

2、,可以使NLP各項任務有所突破。
　　不同于詞對相關度(一對詞語之間的相關度)的研究,本文提出了短文本與詞語的相關度序列的概念。用于度量相關性的兩方分別是:短文本及短文本中的語義單元(無論該語義單元是否語言學上嚴格的詞);相關度序列主要指短文本中一系列詞語與該短文本之間的語義相關性按照某種方式排序所得的有序序列。對相關度序列的獲取,本文以語義單元間多種形式的NOIR和語義單元與短文本相關度建立相對應的關系,提出了升權值排序、最優(yōu)路

3、徑排序、最和諧排序、關系和降權排序4種相關度序列的計算方法,并由計算方法按一定的途徑獲取相應的相關度序列。
　　由相關度計算方法所獲取的相關度序列,如何評價其優(yōu)劣,即對計算方法的評測,這便涉及到評測數(shù)據(jù)的構建和參數(shù)的選取。本文通過尋找參與者對語義單元與短文本的相關性強弱進行評價,對評價數(shù)據(jù)按照一定的計算方法,獲取基于人類直覺的相關度序列,完成任務所需要的評測數(shù)據(jù)的構建。對計算方法的評測,本文選取了四種參數(shù)來評測計算方法獲取的相關度