基于張量分解的實(shí)時(shí)競(jìng)價(jià)廣告響應(yīng)預(yù)測(cè)方法.pdf

1、迅速崛起的實(shí)時(shí)競(jìng)價(jià)廣告實(shí)現(xiàn)了需求方由“媒體”購買轉(zhuǎn)向“受眾”購買，實(shí)現(xiàn)了更精準(zhǔn)的廣告投放，成為數(shù)字廣告未來發(fā)展的大趨勢(shì)。需求方平臺(tái)是實(shí)時(shí)競(jìng)價(jià)交易系統(tǒng)的核心，為了實(shí)現(xiàn)精準(zhǔn)廣告投放，需求方平臺(tái)必須具有極高的流量評(píng)價(jià)、流量選擇和自主控制能力，因此需求方平臺(tái)的技術(shù)和算法的難度最大。需求方平臺(tái)最主要的差別是出價(jià)策略，出價(jià)直接決定著需求方平臺(tái)的流量基本單位成本，決定著利潤(rùn)。點(diǎn)擊率和轉(zhuǎn)化率預(yù)測(cè)是直接影響出價(jià)質(zhì)量的重要方面，如何準(zhǔn)確地估計(jì)點(diǎn)擊率和轉(zhuǎn)化率

2、成為實(shí)時(shí)競(jìng)價(jià)廣告中需要解決的核心問題。本文重點(diǎn)研究實(shí)時(shí)競(jìng)價(jià)系統(tǒng)中，面向需求方平臺(tái)如何提升廣告點(diǎn)擊率和轉(zhuǎn)化率的預(yù)測(cè)性能，以提升需求方的投資回報(bào)率。需求方進(jìn)行廣告響應(yīng)預(yù)測(cè)主要面臨著四個(gè)方面的嚴(yán)酷挑戰(zhàn)。第一，數(shù)據(jù)的稀疏性太高導(dǎo)致預(yù)測(cè)結(jié)果不可靠；第二，實(shí)時(shí)競(jìng)價(jià)過程對(duì)點(diǎn)擊率和轉(zhuǎn)化率預(yù)測(cè)算法的時(shí)間效率要求高；第三，用戶、上下文和廣告三者之間的交互作用特別復(fù)雜導(dǎo)致預(yù)測(cè)難度大；第四，訓(xùn)練數(shù)據(jù)集類別嚴(yán)重不平衡導(dǎo)致預(yù)測(cè)準(zhǔn)確率低。本文基于張量分解模型研究各種

3、挑戰(zhàn)的解決策略并尋求有效地綜合解決方案。具體來說，本文的主要工作包括以下四個(gè)方面：
　　第一，為了解決實(shí)時(shí)競(jìng)價(jià)廣告響應(yīng)預(yù)測(cè)面臨的嚴(yán)峻的數(shù)據(jù)稀疏問題，進(jìn)行了基于異構(gòu)信息融合的廣告響應(yīng)預(yù)測(cè)方法研究。首先嘗試從用戶生成標(biāo)簽中挖掘新特征來擴(kuò)展用戶特征，然后分析了基于特征的矩陣分解模型集成附加信息的常用策略，面向張量分解模型進(jìn)行借鑒和改進(jìn)，針對(duì)實(shí)時(shí)競(jìng)價(jià)中不同類型異構(gòu)信息的性質(zhì)和特點(diǎn)研究了不同的融合策略，提出了基于張量分解模型的異構(gòu)信息融合綜

4、合解決方案和具體實(shí)現(xiàn)方法。最后，本文在三個(gè)不同的數(shù)據(jù)集上通過實(shí)驗(yàn)對(duì)比了在不同級(jí)別的特征融合情況下，結(jié)果顯示我們的融合策略能夠較好地提升矩陣分解模型和傳統(tǒng)張量分解模型進(jìn)行廣告響應(yīng)預(yù)測(cè)的性能。
　　第二，傳統(tǒng)的基于Tucker分解和CP分解的模型很難在預(yù)測(cè)性能和預(yù)測(cè)時(shí)間效率上同時(shí)滿足實(shí)時(shí)競(jìng)價(jià)廣告響應(yīng)預(yù)測(cè)的需要，為了改進(jìn)傳統(tǒng)張量分解模型的預(yù)測(cè)時(shí)間效率，進(jìn)行了基于隱語義立方分解模型的廣告點(diǎn)擊率預(yù)測(cè)方法的研究。首先深入剖析了隱語義矩陣分解模

5、型與矩陣奇異值分解的內(nèi)在關(guān)系，然后基于高階奇異值分解是矩陣奇異值分解向高階張量的擴(kuò)展的思想，借鑒隱語義矩陣分解模型的建模原理，使用截?cái)嗟母唠A奇異值分解，采用直接在觀測(cè)數(shù)據(jù)上建模的方法，提出了隱語義立方分解模型。隱語義立方分解模型具有較少的模型參數(shù)，實(shí)現(xiàn)簡(jiǎn)單，訓(xùn)練速度快。本文通過實(shí)驗(yàn)分析了隱語義立方分解模型的訓(xùn)練和預(yù)測(cè)時(shí)間效率，并和常用的張量分解模型進(jìn)行了預(yù)測(cè)性能對(duì)比，實(shí)驗(yàn)結(jié)果表明隱語義立方分解模型既保證了較低的預(yù)測(cè)時(shí)間復(fù)雜度又保證了較好

6、的預(yù)測(cè)性能。
　　第三，針對(duì)用戶、上下文和廣告之間復(fù)雜的交互關(guān)系，為了同時(shí)獲得三者之間全交互作用下的最佳特征表示，進(jìn)行了基于全交互張量分解模型的點(diǎn)擊率預(yù)測(cè)方法研究。首先分析了兩對(duì)交互張量分解模型的基本思想，深入剖析了它與傳統(tǒng)張量分解模型之間的關(guān)系，并分析了它解決廣告響應(yīng)預(yù)測(cè)問題的局限性。然后，提出了能夠克服這種局限性的全交互張量分解模型，這種模型具有全交互關(guān)系表示能力，充分挖掘了用戶、上下文和廣告三者之間復(fù)雜的兩兩全交互關(guān)系。最后

7、，通過實(shí)驗(yàn)對(duì)比了基于異構(gòu)信息融合的傳統(tǒng)張量分解模型、隱語義立方分解模型和全交互張量分解模型的預(yù)測(cè)性能，實(shí)驗(yàn)結(jié)果表明本文提出的新模型在保證較低的時(shí)間代價(jià)情況下取得了最優(yōu)越的預(yù)測(cè)性能。
　　第四，為了解決訓(xùn)練樣本類別不平衡問題，同時(shí)利用點(diǎn)擊和轉(zhuǎn)化反饋信息進(jìn)行了基于三元組排序優(yōu)化學(xué)習(xí)的廣告響應(yīng)預(yù)測(cè)方法的研究。首先將廣告響應(yīng)預(yù)測(cè)問題形式化為排序問題，將廣告展示按照響應(yīng)類別的正確排序作為優(yōu)化目標(biāo)，提出了基于轉(zhuǎn)化、僅點(diǎn)擊和未點(diǎn)擊的三元組排序優(yōu)

8、化學(xué)習(xí)策略。然后分析了三元組排序優(yōu)化和成對(duì)比較排序優(yōu)化的關(guān)系。接著，給出了基于隨機(jī)梯度下降的三元組排序優(yōu)化學(xué)習(xí)算法以及使用該算法實(shí)現(xiàn)邏輯回歸、矩陣分解和全交互張量分解模型訓(xùn)練的方法。最后通過實(shí)驗(yàn)對(duì)比和分析了三元組排序優(yōu)化學(xué)習(xí)、成對(duì)比較優(yōu)化學(xué)習(xí)和逐點(diǎn)回歸優(yōu)化學(xué)習(xí)策略的預(yù)測(cè)性能。實(shí)驗(yàn)結(jié)果表明本文提出的基于三元組排序優(yōu)化學(xué)習(xí)策略不僅同時(shí)提升了點(diǎn)擊和轉(zhuǎn)化預(yù)測(cè)的性能，而且能夠有效地解決轉(zhuǎn)化、僅點(diǎn)擊和未點(diǎn)擊廣告展示的三分類排序問題。
　　總之