基于內(nèi)容的音樂信息檢索技術研究.pdf

1、隨著計算機多媒體技術和Interect的迅速普及，多媒體信息的應用日益廣泛，數(shù)字化的音樂作為多媒體信息中的重要成員，其應用的范圍也不斷擴大。近年來所為人關注的網(wǎng)絡音樂的傳播、共享和知識產(chǎn)權的問題可以使我們深信，隨著數(shù)字技術以及互聯(lián)網(wǎng)絡這種特殊媒體的發(fā)展，音樂工業(yè)的傳統(tǒng)模式以及傳統(tǒng)的人和音樂的關系都將發(fā)生巨大的變革。數(shù)字化音樂以及互聯(lián)網(wǎng)的發(fā)展導致對基于特定特征及需要的新的信息檢索方法的需求越來越強烈。 本文的主要內(nèi)容就是關于利用信

2、息技術和計算機科學的方法，對數(shù)字化音樂信息實現(xiàn)基于內(nèi)容的方便有效的組織和檢索的理論及實踐性問題，同時研究了旋律感知的相關問題。通過對音樂的內(nèi)容，也就是旋律這一音樂的最本質(zhì)屬性的研究，探討了基于內(nèi)容的音樂信息檢索系統(tǒng)的相關技術。工作的成果體現(xiàn)在所設計實現(xiàn)的完整系統(tǒng)結構中，所有技術手段均圍繞音樂的內(nèi)容本身即旋律特征來進行實現(xiàn)，著重研究了音樂哼唱檢索的相關技術以及基于旋律特征的音樂檢索方法。進行理論研究的同時開發(fā)了一套完整的工具和系統(tǒng)軟件，并

3、通過實驗評估了系統(tǒng)性能。 本論文主要研究和討論的內(nèi)容及成果如下所述： 1.提出了一個全面完整的音樂信息檢索系統(tǒng)的體系結構設計，并實現(xiàn)了原型系統(tǒng)。系統(tǒng)結構的設計以音樂信息數(shù)據(jù)流作為功能分割的依據(jù)，劃分各部分模塊，以標準化的接口設計實現(xiàn)系統(tǒng)結構和內(nèi)容的分離，在開放的系統(tǒng)結構上支持不同的具體技術和方法實現(xiàn)各部分的功能，并可以合理有效地實現(xiàn)各種功能和性能的評估，系統(tǒng)的體系結構設計在系統(tǒng)數(shù)據(jù)庫設計和查詢構造及匹配檢索環(huán)節(jié)均實現(xiàn)了對

4、MPEG-7標準的支持，提供了基于MPEG-7的描述子，描述模式的信息處理和檢索接口。 2.通過對音樂旋律特征以及數(shù)字化音樂信息的分析研究，提出一種新的音樂旋律特征的表達方式。多形態(tài)旋律特征表達針對系統(tǒng)的開放式設計結構以及對多種技術手段的支持，提出了同時考慮音高特征(以音高差表達)和節(jié)奏特征(以音長比表達)的旋律表達方式。對于不同的輸入方式和不同應用目的的特征信息分別進行規(guī)格化處理，實現(xiàn)了對同一旋律進行的多形態(tài)旋律特征表達，支持

5、包括MPEG-7標準在內(nèi)的多種格式，有效地實現(xiàn)了對不同輸入方式，不同匹配技術和不同數(shù)據(jù)組織結構的支持。 3.針對音樂信息查詢的特殊性，設計實現(xiàn)了多模態(tài)用戶接口，從考察和建立用戶模型出發(fā)進行了用戶接口設計。針對數(shù)字化的音樂信息表達方式，提出了全面、有效、靈活、直觀易用和統(tǒng)一訪問的設計原則，實現(xiàn)了對于使用等價于音符描述方式的支持和音頻波形數(shù)據(jù)的支持，合理地定義了各種用戶查詢輸入方式的表達，實現(xiàn)了完備的表達效果。不同的輸入方式均為用戶

6、提供方便易用的圖形化操作界面。并提供用戶對查詢輸入進行調(diào)整和反饋的機制，提商了查詢構造的有效性。協(xié)同的多模態(tài)和多媒體的用戶接口組建成集成的功能系統(tǒng)，依靠統(tǒng)一訪問和近于同構的方式實現(xiàn)系統(tǒng)的開放和有原則的集成，允許多模態(tài)和多媒體的多個顆粒度級別上的集成，通過多級分析和對話實現(xiàn)了對于不同模態(tài)或不同媒體的輸入數(shù)據(jù)空間的所有數(shù)據(jù)元素進行統(tǒng)一的訪問。 4.提出了一種新穎有效的音樂哼唱查詢信息處理技術。這種哼唱信息處理方法結合了哼唱語音信號增

7、強技術以及時域與頻域處理技術相結合的哼唱轉(zhuǎn)譜方法。包括分級音符分割方法，基于規(guī)則的基音檢測、音高跟蹤方法，并提出一種合理的旋律特征表達的中間格式用于哼唱查詢構造。實驗結果證明了這種哼唱信息處理方法的有效性。通過這種方法有效地降低了哼唱轉(zhuǎn)譜過程中引入的誤差，提高了旋律查詢構造的準確性，進而可以有效地增強整個音樂檢索系統(tǒng)的檢索效果。 5.針對音樂哼唱查詢的非精確性及哼唱方式的特點，提出一種新的模糊旋律匹配方法。將模糊集合及其方法引入

8、到旋律特征近似匹配的過程中，對用戶查詢與數(shù)據(jù)庫目標數(shù)據(jù)之間構造模糊隸屬函數(shù)，根據(jù)隸屬度來判斷音高特征的相似度，同時對音長比信息進行相似度計算，兩者加權得分作為動態(tài)規(guī)劃匹配過程中的轉(zhuǎn)換代價，最終得到兩個匹配序列的編輯距離作為相關性判定標準，得到查詢結果。實驗結果顯示模糊方法的引入提高了檢索命中率，同時考慮音長特征的策略也提高了檢索準確度。 6.討論了將隱馬爾可夫模型應用于音樂自動分類技術。由于隱馬爾可夫模型能夠很好地刻畫音樂信息的