排序?qū)W習(xí)中的批量主動學(xué)習(xí)問題研究.pdf

1、隨著Internet技術(shù)的突飛猛進(jìn)，Web信息量爆炸性增長，人們越來越習(xí)慣使用搜索引擎查找所關(guān)心的信息。但浩瀚的信息資源卻給搜索引擎的發(fā)展提出了新的挑戰(zhàn)。如何有效、快捷、準(zhǔn)確地將查詢結(jié)果返回給用戶，提高Web信息檢索效果，已變成一項迫切而有意義的研究課題。
　　 在現(xiàn)階段信息檢索領(lǐng)域的研究中，基于監(jiān)督學(xué)習(xí)的排序?qū)W習(xí)逐漸成為排序研究的熱點?；诒O(jiān)督學(xué)習(xí)的排序?qū)W習(xí)需要大量的人工標(biāo)注的樣本，為了減少人工標(biāo)注樣本的標(biāo)注量，產(chǎn)生了一些基于

2、“選擇最值得標(biāo)注的樣本進(jìn)行標(biāo)注”思想的所謂主動排序?qū)W習(xí)算法。通過主動排序?qū)W習(xí)算法，用戶不需要一開始標(biāo)注所有的樣本，而是開始只標(biāo)注一部分樣本，先學(xué)習(xí)得到一個排序模型；然后每次從剩下的未標(biāo)注樣本中選擇一個最值得標(biāo)注的樣本進(jìn)行標(biāo)注，把這個新標(biāo)注的樣本放入訓(xùn)練集中，重新訓(xùn)練得到新的排序模型；然后在剩下的未標(biāo)注樣本中再重新選擇一個樣本進(jìn)行標(biāo)注，加入訓(xùn)練集，如此類推直到得到最終的排序模型。主動學(xué)習(xí)減少了排序?qū)W習(xí)的樣本標(biāo)注量，但此方法有一個問題是每次

3、只選擇一個樣本標(biāo)注，之后又要重新訓(xùn)練，訓(xùn)練需要很多時間，同時標(biāo)注人員標(biāo)注下一個樣本需要等待很長時間。如果每次可以選擇多個樣本，則可以減少整個主動排序?qū)W習(xí)的時間，降低標(biāo)注人員的工作量，即標(biāo)注代價，同時，如果有多個標(biāo)注人員的話，還可以實現(xiàn)并行標(biāo)注，提高主動排序的效率。
　　 針對上述問題，本文提出批量主動排序?qū)W習(xí)的思想，主動排序?qū)W習(xí)的時候，一次能夠找到多個值得標(biāo)注的樣本給用戶標(biāo)注，這多個標(biāo)注的樣本對排序模型性能的提升有很大的價值。<

4、br>　　 本文提出了兩種批量主動排序?qū)W習(xí)算法，一種是基于夾角差異的批量主動排序?qū)W習(xí)算法，該算法通過加入批量選擇的樣本之間的夾角差異度量，來減少批量選擇的樣本之間的相似度，提高批量主動排序的性能。另一種是基于損失函數(shù)的批量主動排序?qū)W習(xí)算法，該算法直接從提高排序模型性能的損失函數(shù)入手，批量選擇能夠使損失函數(shù)達(dá)到最小值的那些樣本進(jìn)行標(biāo)注。
　　 本文在不同數(shù)據(jù)集上進(jìn)行實驗評價以上兩種批量主動排序?qū)W習(xí)算法，同時與單樣本主動排序?qū)W習(xí)算