基于深度學(xué)習(xí)的文檔哈希.pdf

1、對(duì)文檔進(jìn)行語義哈希是一種比較常見的加速相似性查找的方法。所謂語義哈希就是將文檔進(jìn)行哈希編碼，并且使得在語義上相似的文檔能夠被映射到相近的哈希編碼，即具有較短的海明距離。目前現(xiàn)存的大部分文本哈希算法，都是依賴于從顯式的特征空間進(jìn)行哈希編碼，比如詞計(jì)數(shù)向量和TF-IDF向量，沒有很好的利用單詞的順序和文本的句法和語義信息，而文本中單詞的順序和句法對(duì)其語義理解是極其重要的。因此，本文提出了兩種利用深度學(xué)習(xí)自動(dòng)從底層詞匯序列抽取隱含語義特征的優(yōu)

2、勢(shì)來對(duì)文檔學(xué)習(xí)有效的具備語義信息的哈希編碼的算法框架:基于Doc2Vec模型的無監(jiān)督文檔哈希算法，以及基于深度神經(jīng)網(wǎng)絡(luò)的有監(jiān)督文檔哈希算法。
　　在基于Doc2Vec模型的無監(jiān)督文檔哈希算法框架中，首先借助于Doc2Vec模型對(duì)每一篇文檔生成一個(gè)緊湊的向量表示。然后選擇二進(jìn)制化的拉普拉斯特征映射算法為所有文檔尋找最佳的哈希編碼;無監(jiān)督的哈希算法邏輯簡單、易于實(shí)現(xiàn)而且訓(xùn)練時(shí)間短，然而由于缺乏語義標(biāo)簽其哈希效果有限。于是本文又提出了另

3、一種基于深度神經(jīng)網(wǎng)絡(luò)的有監(jiān)督文檔哈希算法。
　　在基于深度神經(jīng)網(wǎng)絡(luò)的有監(jiān)督文檔哈希算法框架的設(shè)計(jì)中，借助于深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)，將文檔映射成具有豐富語義信息的特征向量，在此基礎(chǔ)上新添加一層隱含層作為哈希層來保存文檔的潛在含義，進(jìn)而生成了包含潛在語義特征的哈希編碼。有監(jiān)督的文檔哈希算法將文檔檢索和分類任務(wù)結(jié)合起來，通過訓(xùn)練同一個(gè)模型，能夠同時(shí)學(xué)習(xí)包含文檔潛在語義的向量表示和哈希編碼、以及文檔分類器;
　　實(shí)驗(yàn)