二胡音樂的分析合成以及夢想的延伸

幾年前, 我的學生AL的碩士論文做的是二胡音樂的分析與轉換合成, 其工作是將一般的二胡路因經過分析, 取出其瞬時的音高與音量的資訊, 再用合成的方式照原樣合成出來. 合成的時候, 可以選用其他樂器的音色, 也就像是同一個人換了一把樂器一般, 當然, 也可以將錄音中的樂器的音色做成音色庫, 而用元音色再合成, 不過會跟原錄音有一點差異. 我做了簡單的投影片如下:

二胡分析與合成

請下載再解壓縮即可.

AL是拉胡琴的, 所以可以知道這樂器眾要的地方在哪裡, 加上他的程式功力一流, 對我的啟發是很大的, 所以一值以來, 我們希望將此一技術再進一步發揚光大, 希望可以Apply在其他樂器上面.

以下是他在Youtube上的一些影片介紹.

AL除了論文本體之外, 也開發了一些人機介面, 提供使用者"玩"音樂, 師大的趙菁文老師也用過這的工具做了一首曲子, 據說非常受到歡迎, 這是我們做工程研究的人的莫大榮幸, 也就是可以受到音樂家的喜愛.

目前我們較不滿意的是合成的音色還不盡理想, 而主要是頭音部分, 目前我的另一位學生showmin還在努力當中.

未來, 我們還希望擴充道可以處理整個管弦樂團, 也就是用虛擬合成的方式來合成整首交響樂, 其中每一把樂器都付與其一個個別的合成器, 讓每一把樂器都有其特別的音色與表情變化, 而且可以讓使用者即席指揮, 不過這牽涉到龐大的計算量的問題, 所幸除了現在的cuda外, 成大電機系與資工系正在合作開發多核心(Multi-core)的CPU與GPU, 希望在不久的將來, 我們可以從演算法到計算用的引擎都用自己開發的東西來完成.

相關的研究或資訊可以在以下看到:

Pitch/Partial Tracking

Musical Information Retrieval

cuda

Multi-core