基于時(shí)頻分析的音樂識(shí)別和歌聲分離算法研究.pdf

1、隨著互聯(lián)網(wǎng)的普及和多媒體技術(shù)的飛速發(fā)展，網(wǎng)絡(luò)上的音樂數(shù)量呈現(xiàn)了爆炸式的增長(zhǎng)。與此同時(shí)越來越多的用戶開始使用網(wǎng)絡(luò)音樂應(yīng)用，帶來了多樣化的音樂信息需求。因此，如何自動(dòng)地對(duì)海量音樂數(shù)據(jù)進(jìn)行有效的組織和管理，以及如何從音樂中提取各種不同的信息成為了亟待解決的問題。
　　音樂信息檢索就是在這種背景下誕生和發(fā)展起來的研究領(lǐng)域。在本文中，我們關(guān)注音樂信息檢索中的兩個(gè)重要任務(wù)，即音樂識(shí)別和單聲道歌聲分離。我們?yōu)檫@兩個(gè)任務(wù)分別提出了一種和兩種新算法

2、。這共計(jì)三種算法均采用了時(shí)頻分析的方法，它們都包括了首先將音樂信號(hào)變換為一種時(shí)頻表示，然后基于這種時(shí)頻表示對(duì)音樂進(jìn)行時(shí)域和頻域的同步分析。
　　為解決音樂識(shí)別對(duì)時(shí)間伸縮和音高平移的魯棒性問題，我們提出了一種基于時(shí)頻譜圖尺度不變特征變換(Scale Invariant Feature Transform，SIFT)的音樂識(shí)別算法。在研究中我們發(fā)現(xiàn)，音樂的時(shí)間伸縮和音高平移可以被分別描述為相應(yīng)的對(duì)數(shù)頻率尺度時(shí)頻譜圖圖像的時(shí)間軸伸縮和頻

3、率軸平移，而SIFT正是一種對(duì)圖像伸縮和平移具有較強(qiáng)不變性的圖像特征。因此，從時(shí)頻譜圖圖像中提取的SIFT特征也表現(xiàn)出了對(duì)音樂時(shí)間伸縮和音高平移的魯棒性。
　　為解決單聲道歌聲分離問題，我們首先提出了一種基于兩層時(shí)頻譜圖分解的新算法。在算法的兩層中，我們分別為輸入歌曲構(gòu)建長(zhǎng)窗口和短窗口的時(shí)頻譜圖并對(duì)時(shí)頻譜圖進(jìn)行非負(fù)矩陣分解(Non-Negative Matrix Factorization，NMF)。我們?cè)O(shè)計(jì)了一種頻譜不連續(xù)性的閾

4、值判定方法來從長(zhǎng)窗口NMF中選出諧和樂器分量，以及一種時(shí)間不連續(xù)性的閾值判定方法來從短窗口NMF中選出打擊樂器分量。通過將選出的分量刪除，歌曲中的諧和和打擊樂器伴奏被分別消減，而歌聲不受影響。
　　除上面的方法外，我們還提出了一種對(duì)傳統(tǒng)的基于音高的歌聲分離算法的改進(jìn)。改進(jìn)后的方法增加了使用NMF將歌曲的時(shí)頻表示分解為一組互不相交的時(shí)頻塊，每個(gè)時(shí)頻塊來自于唯一一個(gè)聲源。與歌聲音高所帶來的諧波結(jié)構(gòu)信息相配合，這些時(shí)頻塊能夠顯著提高歌聲