深度學(xué)習(xí)在音樂自動標(biāo)注中的應(yīng)用.pdf

1、在音樂標(biāo)注領(lǐng)域，傳統(tǒng)標(biāo)注模型總是遵循一種固定的方式:從一組注釋的歌曲出發(fā)，這組歌曲由音頻的特征向量來表示，由此學(xué)習(xí)一系列對應(yīng)不同標(biāo)注的模型來進(jìn)行預(yù)測。這種方式存在很大冗余;另一方面，大規(guī)模數(shù)據(jù)集的出現(xiàn)為模型設(shè)計帶來了新的思路。因此，本文從近年興起的深度學(xué)習(xí)入手，結(jié)合大規(guī)模的訓(xùn)練數(shù)據(jù)，探索更加簡潔和準(zhǔn)確的標(biāo)注手段。
　　具體來說，本文首先基于自動音樂標(biāo)記研究的典型數(shù)據(jù)集:Magnatagatune數(shù)據(jù)集，對應(yīng)不同的特征輸入（梅爾頻譜

2、圖、頻譜圖、梅爾頻譜系數(shù)、原始音頻）設(shè)計了3種不同結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)模型，對比了它們在同一數(shù)據(jù)集(Magnatagatune數(shù)據(jù)集)上的效果，發(fā)現(xiàn)梅爾頻譜圖、原始音頻比頻譜圖以及梅爾頻譜系數(shù)等特征在音頻自動標(biāo)記上有明顯優(yōu)勢。然后我們設(shè)計了可視化模型來觀察訓(xùn)練好的模型參數(shù)中不同層的卷積核對怎樣的輸入有最強(qiáng)的響應(yīng)，并且可視化了這些響應(yīng)。同時我們設(shè)計了不同深度的深度學(xué)習(xí)網(wǎng)絡(luò)，在更大的數(shù)據(jù)集MSD(Million Song Dataset)的帶

3、標(biāo)記的子數(shù)據(jù)集(last.fm)上進(jìn)行了試驗，發(fā)現(xiàn)在更大的數(shù)據(jù)集上，層數(shù)更深的模型明顯優(yōu)于淺的模型，該結(jié)果與計算機(jī)視覺領(lǐng)域的最新研究成果相吻合。同時，通過對比相同模型在不同數(shù)據(jù)集上的表現(xiàn)，我們能清晰地看到數(shù)據(jù)集大小的提升對于不同深度模型效果的重要影響。
　　本文的貢獻(xiàn)主要包括:
　　(1)設(shè)計了多種結(jié)構(gòu)的音樂自動標(biāo)記的深度學(xué)習(xí)模型，在Magnatagatune數(shù)據(jù)集上對比了不同音頻的中低層特征作為模型輸入的效果，發(fā)現(xiàn)梅爾頻譜

4、圖模型、原始音頻模型的效果明顯優(yōu)于頻譜圖模型、梅爾頻譜系數(shù)模型。同時，我們設(shè)計的原始音頻模型在該數(shù)據(jù)集上取得了優(yōu)于先前工作的AUC(Area Under Curve)。
　　(2)在更大的數(shù)據(jù)集MSD上對比了不同深度的模型的效果，發(fā)現(xiàn)深度更深的模型在更大的數(shù)據(jù)集上明顯表現(xiàn)出優(yōu)勢，同時也啟發(fā)我們數(shù)據(jù)集的大小對于發(fā)掘深度學(xué)習(xí)模型實際效果和潛力的重要影響。
　　(3)可視化已訓(xùn)練好的模型，發(fā)現(xiàn)在梅爾頻譜圖模型中更高的卷積層中的卷積