基于遞歸神經(jīng)網(wǎng)絡(luò)的廣告點(diǎn)擊率預(yù)估.pdf

1、伴隨著互聯(lián)網(wǎng)而生的在線廣告，在過(guò)去幾十年里，得到飛速發(fā)展。廣告點(diǎn)擊率作為計(jì)算廣告的重要研究?jī)?nèi)容，越來(lái)越受到人們的關(guān)注。借助機(jī)器學(xué)習(xí)，根據(jù)歷史數(shù)據(jù)預(yù)估廣告點(diǎn)擊率是目前的主要方法，憑借準(zhǔn)確的廣告點(diǎn)擊率預(yù)估可以使廣告投放得更加精準(zhǔn)，提高真實(shí)的點(diǎn)擊率，增加收益。雖然使用線性模型可以簡(jiǎn)單地預(yù)估廣告點(diǎn)擊率，但是線性模型的學(xué)習(xí)能力有限，對(duì)于越來(lái)越多的數(shù)據(jù)特征，無(wú)法更有效得學(xué)習(xí)，而且在學(xué)習(xí)的過(guò)程中容易出現(xiàn)過(guò)度擬合的情況，影響模型對(duì)特征的學(xué)習(xí)?；谏窠?jīng)網(wǎng)

2、絡(luò)算法的模型采用非線性激勵(lì)函數(shù)以及多層節(jié)點(diǎn)結(jié)構(gòu)可以更好得學(xué)習(xí)大量非線性特征之間復(fù)雜的關(guān)系，從而提高模型的預(yù)估能力。其中，遞歸神經(jīng)網(wǎng)絡(luò)是一種網(wǎng)絡(luò)中存在環(huán)結(jié)構(gòu)、能存儲(chǔ)神經(jīng)元前一時(shí)刻的輸出并且具有較強(qiáng)的優(yōu)化計(jì)算能力的神經(jīng)網(wǎng)絡(luò)。本文主要工作包括以下三個(gè)方面：
　　(1)本文針對(duì)不同的模型進(jìn)行相應(yīng)的特征處理，邏輯回歸模型采用拼接顯性特征組合提取隱藏用戶(hù)屬性，再通過(guò)哈希映射，將原來(lái)不同類(lèi)型的特征值轉(zhuǎn)換成相同類(lèi)型的特征值。隨機(jī)森林模型采用建立特

3、征字典，過(guò)濾頻次過(guò)低的樣本數(shù)，然后進(jìn)行one-hot編碼去處理特征。基于神經(jīng)網(wǎng)絡(luò)的模型，本文采用首先計(jì)算特征的頻次，并建立特征頻次字典，將字符型特征轉(zhuǎn)變成整型特征，然后將轉(zhuǎn)化后的特征進(jìn)行離差標(biāo)準(zhǔn)化，使每個(gè)特征的特征值范圍在[0,1]之間。
　　(2)遞歸神經(jīng)網(wǎng)絡(luò)雖然已經(jīng)應(yīng)用于廣告點(diǎn)擊率的預(yù)估，但是遞歸神經(jīng)網(wǎng)絡(luò)模型采用梯度下降，在趨近最小值時(shí)，可能會(huì)出現(xiàn)梯度爆發(fā)或消失，從而影響預(yù)估效果。本文采用基于LSTM(long short t

4、erm memory)改進(jìn)的遞歸神經(jīng)網(wǎng)絡(luò)預(yù)估廣告點(diǎn)擊率，利用LSTM去修正RNN，來(lái)防止梯度的爆發(fā)或消失。實(shí)驗(yàn)結(jié)果表明基于LSTM改進(jìn)的遞歸神經(jīng)網(wǎng)絡(luò)模型在預(yù)估廣告點(diǎn)擊率方面取得了較好的效果。
　　(3)本文采用python語(yǔ)言編寫(xiě)邏輯回歸模型，隨機(jī)森林模型、BP(Back Propagation)神經(jīng)網(wǎng)絡(luò)模型、遞歸神經(jīng)網(wǎng)絡(luò)模型和基于LSTM(Area Under roc Curve)改進(jìn)的遞歸神經(jīng)網(wǎng)絡(luò)模型。并分別采用sigmoid