社區(qū)問(wèn)答搜索中排序方法的研究.pdf

1、近年來(lái)，社區(qū)問(wèn)答(Community Question Answering，CQA)網(wǎng)站聚集了大量真實(shí)用戶產(chǎn)生的問(wèn)題和回答，在CQA中進(jìn)行搜索已成為信息檢索領(lǐng)域一個(gè)重要熱點(diǎn)研究分支。其研究方向主要包含基于查詢關(guān)鍵詞的問(wèn)題搜索排序，和對(duì)問(wèn)題數(shù)據(jù)（包含問(wèn)題、回答和用戶）本身進(jìn)行質(zhì)量排序兩個(gè)方面。前者稱之為動(dòng)態(tài)排序，與輸入的關(guān)鍵詞有關(guān);后者稱之為靜態(tài)排序，與關(guān)鍵詞無(wú)關(guān)，僅與問(wèn)題數(shù)據(jù)本身的質(zhì)量有關(guān)。
　　動(dòng)態(tài)和靜態(tài)排序的研究都面臨著重要的

2、挑戰(zhàn)。動(dòng)態(tài)排序研究面臨的主要挑戰(zhàn)是用戶的關(guān)鍵詞時(shí)而簡(jiǎn)短，難以理解用戶搜索意圖;時(shí)而冗長(zhǎng)，難以抓住關(guān)鍵詞匹配的重點(diǎn)。而靜態(tài)排序研究面臨的主要挑戰(zhàn)是大部分與靜態(tài)排序相關(guān)的研究都聚集在挖掘高質(zhì)量的回答和找到權(quán)威的用戶，而忽視了低質(zhì)量的回答對(duì)于CQA網(wǎng)站的損害，以及回答質(zhì)量和用戶權(quán)威性之間的內(nèi)在聯(lián)系。因此，本文分別從以下四個(gè)方面來(lái)解決上述相應(yīng)問(wèn)題，從而整體上提高CQA搜索的性能。
　　首先，提出一種通過(guò)挖掘用戶搜索意圖的方法來(lái)處理短關(guān)鍵詞

3、的動(dòng)態(tài)排序問(wèn)題。CQA中傳統(tǒng)的問(wèn)題搜索研究主要集中在長(zhǎng)關(guān)鍵詞和問(wèn)句類型關(guān)鍵詞的匹配問(wèn)題。然而，當(dāng)關(guān)鍵詞很短時(shí)，由于缺乏對(duì)用戶搜索意圖的理解，該問(wèn)題就變得很有挑戰(zhàn)性。為解決這個(gè)問(wèn)題，本文從多個(gè)不同的數(shù)據(jù)源挖掘短關(guān)鍵詞的搜索意圖，并提出一個(gè)新的基于搜索意圖的語(yǔ)言模型。該語(yǔ)言模型不僅利用了目前最先進(jìn)的問(wèn)題搜索算法，還結(jié)合了從不同數(shù)據(jù)源中挖掘出的用戶搜索意圖。實(shí)驗(yàn)表明，該方法可以顯著地提升短關(guān)鍵詞上問(wèn)題搜索的性能。
　　其次，提出一種基于

4、關(guān)鍵詞切分的方法來(lái)處理長(zhǎng)關(guān)鍵詞的動(dòng)態(tài)排序問(wèn)題。本文回答了如何利用關(guān)鍵詞切分的技術(shù)來(lái)改進(jìn)問(wèn)題搜索的性能。這里的關(guān)鍵詞切分是指把輸入的關(guān)鍵詞分割成自然語(yǔ)言短語(yǔ)片段。首先，提出一種基于重排序方法的關(guān)鍵詞切分技術(shù)。重排序的方法目前被廣泛應(yīng)用于自然語(yǔ)言處理領(lǐng)域，但就目前所知，該方法還沒(méi)有被用在關(guān)鍵詞切分的研究中。其次，提出一種將關(guān)鍵詞切分應(yīng)用到相關(guān)性排序的新的方法。該方法是將原關(guān)鍵詞的單詞和切分后的片段都應(yīng)用到相關(guān)性匹配中。實(shí)驗(yàn)結(jié)果表明，該方法可

5、以顯著提升在長(zhǎng)關(guān)鍵詞上問(wèn)題搜索的性能。
　　再次，提出一種無(wú)監(jiān)督的低質(zhì)量回答檢測(cè)方法，來(lái)處理回答質(zhì)量評(píng)估的靜態(tài)排序問(wèn)題。CQA中的問(wèn)題回答質(zhì)量參差不齊，有精確的有用回答，也有不相關(guān)的無(wú)用回答。所以，自動(dòng)檢測(cè)低質(zhì)量的回答有助于CQA網(wǎng)站的信息管理，為用戶提供高質(zhì)量?jī)?nèi)容。為此，提出了三個(gè)假設(shè):大部分回答都是正常的;低質(zhì)量的回答與同一問(wèn)題中其它的回答有顯著不同;不同的問(wèn)題有不同的回答質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)?；谶@三個(gè)假設(shè)，本文提出了一個(gè)無(wú)監(jiān)督的最

6、優(yōu)化模型，模型中每一個(gè)回答都被賦予一個(gè)軟標(biāo)簽，以此來(lái)表示回答質(zhì)量。實(shí)驗(yàn)結(jié)果表明，該模型可以顯著提升低質(zhì)量回答檢測(cè)的性能。
　　最后，提出一種基于相互強(qiáng)化的三元模型來(lái)處理用戶權(quán)威性評(píng)估的靜態(tài)排序問(wèn)題。直觀上，用戶的權(quán)威性與回答的質(zhì)量有正相關(guān)關(guān)系。所以，用戶權(quán)威性評(píng)估離不開回答質(zhì)量評(píng)估。與此同時(shí)，提問(wèn)者通常選擇質(zhì)量最高的回答作為最佳回答，這樣就使得最佳回答者與提問(wèn)者和其他回答者之間形成競(jìng)賽關(guān)系。我們建立了一個(gè)迭代式相互強(qiáng)化的三元模型，