Star Variations
1. Song1
2. Song2
3. Song3
4. Song4
5. Song5
6. Song6
7. Song7
8. Song8
9. Song9
10.Song10
-------- 2011 . 2. 18之2---------
對於F0基頻設定，trace code結果後發現：
1. 445Hz要設定LOWERF0=200，UPPERF0=600，基頻的值才會正確被找到。(正確)
2. 如果設定LOWERF0=100，UPPERF0=500，基頻值會找到2百多Hz。(錯誤)
-------- 2011 . 2. 18 ------------
目前在training音檔時發現幾個問題：
1. 如果我們設定每個state要分成N個HMM model的話，那麼這個state的長度就要大於等於N*0.01(秒)，最小的duration要設為N。
在HTS中每個state並不是只有一個HMM model去training，而是拆成N個HMM model，而N的大小可以設定。
之前training設的N值是5，也就是每個state長度至少要大於0.05(秒)。
我們可以設定N為3，所以在跑matlab程式時，設定state的最小長度至少要0.03(s)，最好的長度是多少還要再實驗。
2. 在分state的演算法中，之前我有加入一個條件，就是找出頻率轉折點；實際跑時遇到一個例子，頻率是[ 444.75, 444.79, 444.81, 444.80, 444.78, 444.77]，這段頻率人耳聽起來是沒有差異，但是依照演算法會被分成[ 444.75, 444.79, 444.81 ] , [ 444.81, 444.80, 444.78, 444.77 ]兩段，在training時應歸為同一類。此部分已修改完。
3. 再取F0部分用HTS範例的取F0程式會有問題，例如基頻是445Hz，在取F0時設定最低400Hz，最高500Hz的話會找不到基頻，猜想因為是語音所以設定的頻率較低，目前在trace code看他取基頻的程式是如何。
附上有做好的進度，紅色為未完成。
基頻目前是直接用讀程式的值，以後應該要人工修一下；還有產生state sequence的程式還沒寫好。
-------- 2010 . 12. 28 ----------
Speech Parameter Generation Algorithm
Considering Global Variance for
HMM-Based Speech Synthesis
-------- 2010 . 12. 9 ----------
我在網路上有找到已經有人用matlab來讀
htk的參數的例子,並且他也用自己的方法算出
MFCCs與htk的MFCCs作比較,如圖:
input是htk的MFCCs檔案跟原音的wave檔.
網址:http://labrosa.ee.columbia.edu/matlab/rastamat/mfccs.html
-------- 2010 . 12. 8 ----------
AN ALGORITHM FOR SPEECH PARAMETER
GENERATION FROM CONTINUOUS MIXTURE
HMMS WITH DYNAMIC FEATURES
-------- 2010 . 12. 2 ----------
上次音檔vibrato不像的原因是因為model分類沒分好,
也就是decision tree未建好.
正常來講,依前後state不同,同一state的model也應該要分類.
例如attack + vibrato_rise 跟 vibrato_fall + vibrato_rise,
兩個vibrato_rise應該要有不同的model,之前合成是只有一個model.
改進之後將上述情形分成不同的model,最後合成結果:
gen1
gen2,延長vibrato
gen3,用不同的vibrato state去合成
目前進度:用matlab將mfcc參數取出,之後要做clustering.
-------- 2010 . 11. 21 ----------
延續11月19日,新增合成音檔,
vitrato的rise和fall的state重複多遍, sample rate 44100Hz :
Synthesis D4 Vibrato2 44.1KHz
-------- 2010 . 11. 19 ----------
修改了sample rate為44100Hz,
training完後8000Hz以上頻率有找到,聽起來又更像了.
但比較有趣的是,同樣都用hts_engine但產生的音檔聽起來不一樣,應該是少打參數.
因為我得到合成的音檔有兩種方式:
1. 依照script,training完會自動執行hts_engine幫我產生音檔.
2. training完我手動將產生的model參數移到另一個資料夾,自己下指令用hts_engine合成音檔.
可能是我手動下指令少了什麼參數,所以跟自動產生的音檔不像,這點有待查明.
原音D4
1.Synthesis D4 sample rate 44.1KHz
2.可能少打參數 D4 sample rate 44.1KHz
-------- 2010 . 11. 11 ----------
問了奕欽學長關於training model時基頻有沒有限制範圍,
有!!他說有而且可以修改範圍,
找到data/Makefile內有兩行:
LOWERF0 = 110 # lower limit for f0 extraction (Hz)
UPPERF0 = 280 # upper limit for f0 extraction (Hz)
就是萃取f0時設的範圍.
所以之前音檔會有低頻雜音可能是因為
原本的聲音的基頻是300Hz,
造成程式在training時硬要是找110~280內的頻率當基頻,
所以才會有低頻的雜音.
先來實驗看看改範圍能不能解決這個問題!
//////////////////////////////////////
將範圍改成 200~500 Hz
LOWERF0 = 200 # lower limit for f0 extraction (Hz)
UPPERF0 = 500 # upper limit for f0 extraction (Hz)
雜音的問題就解決了.
//////////////////////////////////////
接著實驗vibrato :
原音D4 295Hz Vibrato
將同一音檔copy 10份去training, 並且合成 :
Synthesis D4 295Hz Vibrato1
又將vitrato的rise和fall的state重複多遍 :
Synthesis D4 295Hz Vibrato2
以上為目前結果.
-------- 2010 . 11. 08 ----------
這禮拜利用小聽給的java讀cue的程式,
寫了個GUI介面,並修改成HTK label檔的格式如下圖:
只要用程式開啟標完cue的wave檔,就可顯示cue內容,
按下save to label就可存成label檔.
此外程式也提供一般的txt格式,輸出單位為秒如下圖:
一樣只要按下save to txt就可存成txt檔.
這禮拜即利用此程式去標出上次合成出來有雜音問題的D4
(上次報告是說G1,去看頻譜才發現說錯了是D4才對),
合成出來仍有低頻的雜音參雜其中.
目前解決的辦法就是先去拆解hts_engine程式看它產生音檔的部分,
順便拆解流程.
-------- 2010 . 11. 02 ----------
Cepstral Analysis Synthesis on the Mel Frequency Scale
-------- 2010 . 10 . 25 ----------
經過修改與測試之後原來是question set的問題.
目前已有合出聲音,聽得出來像是小提琴的聲音.
下一步是用cool editor邊看頻譜邊標音,這樣可以標得比較準確,
並把其他不同的state也加入training.
-------- 2010 . 10 . 13 ----------
目前有成功產生音檔,但聽起來不像violin的聲音.
可能有問題的點是:
1. 在標音的時候就沒有標好.
2. question沒建好,問題太少.
3. state間的關係描述太少,例如語音中有分片語,短語,音節,重音等，會用這些關係建HMM model.但我在實驗中只用到音節的關係.
目前先嘗試:
用同一個音檔重複10次,然後去training,再合成出來,看出來的音是不是跟原來的一樣.
-------- 2010 . 10 . 3 -----------
6.
對HMM model作初始化用HInit和HRest,
trace code發現是指令下錯的關係.
先用HInit對要處理的phone的HMM model作uniformly segmented,
再來用HRest對同一個HMM model作Baum-Welch re-estimated.
如此反覆將所有的phone都執行上述兩個指令後,
HMM model的初始化完成.
7.
依HTK格式將所有初始化好的HMM model集合成同一個檔案:
inic.mac
8.
開始HMM training:
用HERest這個指令也是會跑Baum-Welch re-estimated,與HRest不同之處是HRest只對單一個utterence做處理,HERest在training過程則是處理全部的utterence,並統計每個utterence的means,variances等,用於完善HMM參數.
處理完得到每個phone訓練好的HMM model.
9.
有了HMM model接下來是合成部份,用的是另一個系統：HTS.
合成需要的參數要有decision tree, question set,這部份如何產生我還要再去研究and問學長,目前進度到此.
-------- 2010 . 9 . 30 ----------
1.
從小提琴的音檔分出C1,G1,D2,A2四個音,每個音準備的音檔數目如下:
C1 : 7個音檔 - 1-1.wav ~ 1-7.wav
G1 : 7個音檔 - 2-1.wav ~ 2-7.wav
D2 : 7個音檔 - 3-1.wav ~ 3-7.wav
A2 : 6個音檔 - 4-1.wav ~ 4-6.wav
2.
接下來取spectrum參數,先用語音預設的39維Mel-frequency cepstral coefficients.
由於HTK只吃16bit或8bit的wave format,因此先用cool editor將wave檔降碼.
取完可得*.fea檔案.
3.
接著是人工標音,使用HTK提供的工具,指令打"HSLab -F WAVE"才能讀入wave檔,
標音的畫面如下:
目前HMM state暫定為"音階_ADSR_status",
example: "c1_A"代表音色為c1,狀態是attack,其他命名以此類推.
將所有的音檔標示完會有相對應的*.lab檔.
4.
依HTK格式將所有lab檔案集合成1個*.mlf檔.
5.
產生HMM model的template,
指令"outMacro Plainhs DiagC 3 "1 1 1" MFCC_E_D_A "13 13 13" > template.hmm",
意思是每個model有三個state，每個state有三個stream，分別用1個、1個、1個mixture，每個stream各佔13維度。
6.
接著對HMM model作初始化用HInit和HRest,
目前這邊有錯誤,下HInit指令時會有
"ERROR [+2121] HInit: Too Few Observation Sequences [0]",
錯誤可能發生的原因有幾種:
1.樣本數太少.
2.HMM model template設的不對,無法跟*.fea檔相符.
3.取segment時人工切的frame間隔太小,導致取不到參數.
解決辦法:
問學長and直接trace code找error.
-------- 2010 . 8 . 12 ----------
執行HTS的demo檔案,網頁上有分兩種 :
Speaker dependent training demo : training 單獨一人的HMM model.
Speaker adaptation/adaptive training demo : training 不同人的HMM model; 例如要讓speaker A發出的語調要像speaker B, 或是speaker A發出的語調像speaker B+C+D.
每種語言又分兩種demo :
Normal demo : HTS 內建的方法取 spectral parameter.
STRAIGHT demo : 由另外一位學者自行改進的演算法取 spectral parameter.由於STRAIGHT demo的方法並沒有公開程式碼,需要的話要自行跟那位教授聯絡取得,因此一般都是執行Normal demo.
我跑的是Speaker dependent training demo : English : Normal,如圖紅框所示 :
跑完成約需要6~7個小時,會有HMM model的統計資料,包含f0,spectral等,之後就可以直接用這些資料透過hts_engine直接合成聲音.
目前已跑完取得統計資料,正在研究hts_engine如何使用.
參考網頁 : http://hts.sp.nitech.ac.jp/?Download
-------- 2010 . 8 . 3 ----------
HMM-based speech synthesis system(HTS)
介紹如何從音檔轉成參數再來合成語音.
-------- 2010 . 8 . 1 ----------
About HTS and HTK system.
HTK - Hidden Markov Model Toolkit
HTS - HMM-Based Speech Synthesis System
語音合成分為兩部份：training part 和 synthesis part
其中HTK就是負責training參數,HTS則是負責synthesis.
HTS內沒有加入text analyzer,如果要使用要另外下載,
Festival Speech Synthesis System就是個text analyzer.
HTS有內建hts_engine可以在不需要HTK library的情形下單獨執行,
可配合Festival或其他應用程式使用.
HTS是以patch檔的形式存在,安裝後會對HTK及HDecode作更新.
因此除了HTK外還需先裝好HDecode.
-------- 2010 . 7 . 8 ----------
viterbi algorithm
介紹如何將最小單位發音,切成我們指定的HMM state數目.
-------- 2010 . 7 . 7 ----------
接下來要做的就是去看合成的部分,
並將裡面取特徵參數的方法MFCC改為簡單的LPC,
再去合成看看看有沒有什麼問題。
下圖為HTK內建取特徵參數的方法，共有7種類型：
-------- ------------- ----------
