基于交叉詞項(xiàng)的中文信息檢索方法研究.pdf

1、近十年來(lái)，伴隨著萬(wàn)維網(wǎng)的繁榮發(fā)展，信息數(shù)據(jù)以爆炸式的增長(zhǎng)，如何有效和高效的從如此龐大的信息中獲取所需，正是信息檢索方法研究中亙久不變的重要主題，旨在更好的解決用戶日益激增的信息需求。
　　在大部分傳統(tǒng)的中文信息檢索模型中，通常假定每個(gè)查詢?cè)~項(xiàng)都是彼此獨(dú)立的。雖然將這些檢索模型應(yīng)用到信息檢索中也獲取了不錯(cuò)的效果，但是對(duì)應(yīng)的也存在詞項(xiàng)獨(dú)立性假設(shè)的局限性，同時(shí)理論上詞項(xiàng)關(guān)聯(lián)性在概率檢索框架下仍然大有可為。通過將查詢?cè)~項(xiàng)之間的關(guān)聯(lián)性納入考

2、慮，我們可能可以進(jìn)一步提高檢索性能。因此，本文就基于交叉詞項(xiàng)的中文信息檢索方法進(jìn)行了相關(guān)研究。主要工作包括以下兩個(gè)方面:
　　第一，將交叉詞項(xiàng)模型引入到中文信息檢索中對(duì)詞項(xiàng)近鄰性進(jìn)行建模，提高概率檢索模型的性能。通過交叉詞項(xiàng)，多個(gè)查詢?cè)~項(xiàng)之間的關(guān)聯(lián)性可以用同樣的方式以簡(jiǎn)單的一元偽詞項(xiàng)來(lái)表示，當(dāng)相應(yīng)的查詢?cè)~項(xiàng)彼此很接近時(shí)就會(huì)產(chǎn)生二元交叉詞項(xiàng)，我們采用核函數(shù)對(duì)其影響建模。本文中，首先對(duì)中文語(yǔ)料集進(jìn)行預(yù)處理，通過包括一元分詞，CJK中文

3、分析器（二元分詞），JCSEG中文分詞器等多種途徑，然后對(duì)其建立中文索引，最后對(duì)查詢?cè)~項(xiàng)在文檔中的位置信息進(jìn)行建模，由于我們只考慮二元交叉詞項(xiàng)的情況，故在建模時(shí)以兩兩成對(duì)的查詢?cè)~項(xiàng)來(lái)進(jìn)行標(biāo)識(shí)，該方法不僅利用了查詢?cè)~項(xiàng)之間的位置近鄰性，還結(jié)合了概率模型的優(yōu)勢(shì)，進(jìn)一步提高概率檢索模型的性能。我們?cè)谥形恼Z(yǔ)料集NTCIR5和6上均進(jìn)行了大量實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明，基于交叉詞項(xiàng)模型的中文信息檢索建模方法相對(duì)于傳統(tǒng)的檢索方法來(lái)說(shuō)擁有更好的檢索性能。

4、r>　　第二，通過在偽相關(guān)反饋方法中融合查詢?cè)~項(xiàng)之間關(guān)聯(lián)性信息，可以由此對(duì)原始查詢進(jìn)行進(jìn)一步的擴(kuò)展。本文中通過在相關(guān)性模型基礎(chǔ)上，引入交叉詞項(xiàng)模型，充分考慮到了查詢?cè)~項(xiàng)在反饋文檔中的關(guān)聯(lián)性，在新的反饋文檔中通過交叉詞項(xiàng)將查詢?cè)~項(xiàng)兩兩關(guān)聯(lián)起來(lái)，提高了彼此更為接近的查詢?cè)~項(xiàng)的權(quán)重，進(jìn)而獲得了關(guān)聯(lián)性更強(qiáng)，同時(shí)在交叉詞項(xiàng)模型下與主題更相關(guān)的擴(kuò)展詞項(xiàng)。我們使用了兩種偽相關(guān)反饋估計(jì)方法，包括獨(dú)立同分布抽樣方法和條件抽樣方法。在語(yǔ)料集NTCIR5中，