SCREAM Lab.

ISMIR 2011 paper released

2011-10-17T17:11:00.001+08:00

http://ismir2011.ismir.net/program.html#OS1

FYI, the accepted papers have been released. Guys who are interested in it could take a look. GL HF.

Interconnection Network

2011-08-19T15:56:00.009+08:00

這篇文章講解interconnection network。interconnection 一直是多核心處理器設計的重要議題。如Figure 1，軟體層面，process是經由IPC溝通，而在底層的硬體，cores間得透過interconnect做溝通。

Figure 1

最primitive的interconnection network可以想做圖二，n個processors經過一個 interconnection network與m個memory做連接。

Figure 2

Interconnect Network 的設計考量有幾個
1. Operation mode : synchronous or not
2. Control strategy : switch elements是 centralized control or distributed control
3. Switching methodology : 包括 circuit switching and packet switching
3.1. Circuit switching 是指有一條實體線路從 src 接到 dst，適合bulk transfer。
3.2. Packet switching 沒有實體線路，傳輸時才決定如何 route，適合小量資料傳輸。
3.3. 當然也有結合Circuit switching和Packet Switching兩個的模式。
4. Network Topology : 就是nodes間的連接圖，又可分為 static 或 dynamic。
4.1. Static的代表link not reconfigurable
4.2. Dynamic則與 Static相反

Static 的可以用 1D、2D、3D、hypercube的方式連接，
1D : Linear

Figure 3

2D : Ring, Star, Near-Neighbor Mesh and More

Figure 4~6

3D 像是 Completely Connected, Chordal Ring等等

Dynamic 的topologies有幾類，包括single-stage、multi-stage、crossbar。Single-stage和multi-stage差別是在switch element有幾層，multi-stage的種類又有很多種，有興趣可以在 google scholar撈到很多。

-------------- 待續 --------------

References
[1] A Survey of Interconnect Networks
[2] Interconnection Networks -A Survey and Assessment

Workshop Advances in Speech Technologies (2011)

2011-07-11T16:52:00.003+08:00

http://anasynth.ircam.fr/home/blogs/nicolas-obin/workshop-advances-speech-technologies

Axel邀請了其他三名教授來分享研究成果，剛好這場我有去聽。雖然我們lab不做speech，不過一樣都是1-D signal processing，更何況speech processing研究已行之有年，讓我們來看看現在大家在做些什麼題目。

第一場演講者是Axel，演講的內容與去年他來成大時所說大同小異，忘記的人可以複習一下。我印象深刻的是第三場，他們探討的不再是訊號本的的特性，而是人與人之間談話時其實會有幾個固定的模式，因此他們希望設計一種機器人語言，不再像傳統機器人的對話那麼死板，而是用更多的「累詞贅字」來模擬人們的對話。

第四場光看投影片第二頁那一堆贊助廠商就可以知道這是個非常大的project，其中包含的個人化的語音表情(跟本實驗室想做的樂器表情一樣)以及針對不便說話的病人設計的介面等。他們是走訊號層面來解決「讓語音合成變得更聰明」這個問題，因此最後Simon說他們沒做的就是第三位教授所研究的語義表情部份。XDD

很棒的演講，分享給大家。

[matlab] Cue Reader

2011-06-13T00:46:00.003+08:00

話說，我來法國後親眼看宗鑫學長操作IRCAM的AudioSculpt真的是出神入化，再加上他們實驗的東西多半有整合進這套工具裡，包含Onset (Transient) Detection, Partial Tracking, Sinusoidal Analysis / Synthesis 等，所以學長把視窗打開後設一設參數，就跑完 tracking 的結果，然後再用滑鼠把某些 tracking 點開來標記 partial group。不過他們一樣有個問題：AudioSculpt分析的結果通常是以sdif的格式存檔的，他們必須先透過matlab程式去parse sdif檔才能將資訊匯進matlab使用。

Cooledit有標Cue的功能，吳宗憲老師實驗室早先用MFC寫了一個讀Cue的版本，我們也改了一個Java版本，但還是無法與matlab直接溝通。因此小弟便動手改了一版了。

免付費下載連結 : Here ! (不要怕，沒病毒!)

裡面有ReadMe，看不懂英文的請看下列指示:

安裝 J2RE (通常有裝matlab的話不用裝了)
編輯run.bat，指定好你要的輸入/輸出檔。(如果要一次轉換多個檔就多複製幾行)
執行run.bat
沒意外的話，輸出檔會跑出來。
打開matlab，使用cue_reader.m這個function來讀cue的資料吧！

注意: 呼叫完cue_reader後會回傳一個oData結構，裡面有個成員是cell array而非一般array (因為每個cueinfo字串長度不一)，請小心服用，不會用cell array的請查help。
GL , HF .

[Meeting]2011年下學期Meeting Paper報告順序

2011-05-25T23:23:00.004+08:00

5月30日 (一) 君宇嚕嚕龍哥仕偉

6月6日 (一) 屈原...

6月13日 (一) 易聰小聽雙魚胤霖

6月20日 (一) 威佐嚕嚕龍哥仕偉

6月27日 (一) 毅臺小聽雙魚胤霖

7月4日 (一) 君宇嚕嚕龍哥仕偉

7月11日 (一) 易聰小聽雙魚胤霖

7月18日 (一) 威佐嚕嚕龍哥仕偉

7月25日 (一) 毅臺小聽雙魚胤霖

8月1日 (一) 君宇威佐毅臺易聰

博士班學長姐們看心情!

[課程]訊號與系統

2011-05-25T10:41:00.011+08:00

2011/03/08
==========================================
課程老師: 蘇文鈺
Email: alvinsu@mail.ncku.edu.tw

課程助教: 林易聰
Email: albert29450@gmail.com

課程助教: 吳翊臺
Email: yzwind@gmail.com

課程資訊：

期中考 4/13

最後一次小考 6/22

作業一：

Matlab & HW1
音檔

FTP : 140.116.82.196:21

username : signals2011

password : systems2011

作業繳交格式:學號_姓名_version.rar (ex:P76952XXX_林XX_v1.rar)
作業繳交內容:一個.m檔，一個.doc，一個錄音檔
作要繳交期限:2011/4/12 23:00
ps:作業第四題修改成讀入自己錄製的音檔，將這段音訊前後反轉後再播放，謝謝。

第二次作業說明：請點此下載說明文件。

範例程式會在下禮拜上課前放到部落格。

作業繳交期限為6/29 23:00。

FTP將於6/26開啟供大家上傳作業。

FTP : 140.116.82.196:21

username : signals2011

password : systems2011

作業繳交格式:學號_姓名_version.rar (ex:P76952XXX_林XX_v1.rar)
作要繳交期限:2011/6/29 23:00

作業一可以補交，期限也是到6/29 23：00，逾期不候。

補交的分數打八折計。

由於多人反應作業來不及完成，將開放FTP到7/1 23:00，請大家努力完成。

作業二範例檔

Bonus範例這幾天會放上來。

6/12

bonus

7/10

成績

（所有成績皆已補上。最後成績仍有可能調整，近期公布。）

課程綱要

ch1

ch2(2011/3/16 updated)

Chapter3

Chapter4

Chapter5

Code Snaps

2011-04-22T16:40:00.004+08:00

(請不要刪! 這是論文要用的reference!)

Click to see the original resolution.

Jserv: from Source to Binary -- How GNU Toolchain Works

2011-04-08T22:30:00.001+08:00

大神的最新力作, 有用到的人自己去研究研究吧.... :)
from Source to Binary -- How GNU Toolchain Works

引用一下簡介

一開始的切入點是簡單的 "Hello World" 程式，觀察其編譯的方式，探討 GCC 這個 compiler driver 的行為，進而擴展到 binutils 與 libc。不同於教科書的理論呈現方式，我們探討實務上面對的議題，比方說，GCC 設計初期就考慮到多個前端與後端，以及繁複的優化機制，光是 IR (中間表示式) 就歷經多次變革。在 gcc4 之後，再次大幅強化，而議程中則適時給予簡要的案例探討。另外，組譯器也並非我們預想一般單純，實務上還得充分考慮到 relocation 與位址處理的機制，最後才是連結器 / 動態連結器的引入，我們實地觀察了 x86 架構上，GNU/Linux 的執行時期行為。

Stages of Sleep

2011-03-23T14:47:00.003+08:00

Dear all,
有關於這星期一的meeting,
我上網找了 stages of sleep相關的文章

ref:
http://www.sleepdex.org/stages.htm
http://www.sleepdisorderchannel.com/stages/index.shtml

NREM: stage 1-4
REM: stage 5 (deep sleep)

REM是屬於 stage5,
Normal sleep cycle: waking, stage 1, 2, 3, 4, 3, 2, REM.
所以針對showmin學長以及偉翔的問題 (REM之後的stage?)
應該只有REM stage(deep sleep stage沒有再細分下去)

這是我目前所找到的資料
或許有其他文獻有更詳細的說明
如果大家有看到也可以更新我的資訊! ^^

Qin Synthesis and SW tools - 仕偉

2011-03-20T10:12:00.000+08:00

---------------2011.03.20---------------------

將圖片顯示部分改好，並修改排版。

主要功能：

將輸入的字串轉換成中序排序法，並顯示出輸入的文字減字。

---------------2009.12.23---------------------
實驗可變長度的digital waveguide.

結構圖如下:

input為white noise共44100個samples.
取樣頻率:44100Hz
設z的delay:N=44

gain值a,b變化如下:

意思是從N=44(頻率1000Hz) 變成 N=45(頻率980Hz)再變回N=44(頻率1000Hz)
從音檔可聽出音高有改變.

1000Hz到980Hz音檔

---------------2009.12.7----------------------

因為用論文方法的friction model效果不彰,
因此著手於建立古琴滑音的physical model.
大致流程如下圖：
1.錄製只有指甲刮弦的Noise並紀錄Waveguide長度與滑動速率.
2.調整Noise pitch.
3.餵入可變長度的digital waveguide.
4.得到古琴滑音.

投影片內另有不同的摩擦音可聽,按此下載.

---------------2009.11.26---------------------

更新friction model內部參數,實作後圖片如下.
更新音檔及提供matlab原始檔.

音檔下載:
R1, R2, R3, Lowpass, R1+R2+R3+Lowpass.
matlab原始檔:
friction2.m
friction model原論文:
Model-based sound synthesis of the guqin

---------------2009.11.25---------------------

friction model implement

friction model structure :

主要是由Rnd產生的noise經過三個resonator與一個lowpass filter之後輸出.

Resonator 1的頻譜圖:

Resonator 2的頻譜圖:

Resonator 3的頻譜圖:

Lowpass filter的頻譜圖:

將R1,R2,R3和Lowpass filter相加後的頻譜圖:

---------------2009.10.28---------------------

如果將"大九勾三","[大]*[九]+[勾]*[三]",圖片,分別在視窗顯示的話,複製時還要三個視窗分別複製,有些麻煩.因此想說把視窗合併,就跟以前的排版一樣，這樣會比較整齊。

---------------2009.10.8----------------------

論文報告

投影片

---------------2009.9.23----------------------

將ParserDialog中的括號拿掉,並新增英文介面.

---------------2009.9.20----------------------

現在終於把古琴的減字譜Parser改寫完成,剩下圖形部分.

---------------2009.8.22----------------------

現在進行程式改寫，由於同時還有另一個project：

Polyphonic Computer Music Authoring Tool 進行，

是用Java寫的；鑒於之後程式碼移植方便，

所以就用Java來改寫古琴程式，目前已做好介面，

code改寫約完成5分之1，會繼續來寫。

↑ 上圖是程式介面圖，中間三個的視窗可以放大縮小或隱藏，如下圖所示：

↑ 此圖為顯示ParserTree放大，隱藏另兩個視窗。

↑ 這張是以後完成的示意圖。

現在左邊的輸入介面已完成，中間ParserTree尚未實作，

圖中是直接輸入進去的，減字圖形要再修改大小，

另外會有新功能：

cut, copy, paste ; 英文介面 ; 英文輸入 ;

修改字型 ; 還有老師提議的功能-輸入字後出現可選項目，

也會加入，不過現在還在摸索中，繼續改寫程式！

---------------2009.8.10----------------------
論文報告
Model-based sound synthesis of the guqin

投影片

---------------2009.7.28----------------------

根據學長的連結來解釋一下連結內容

第一個連結是來自Google 所舉辦的計畫 Summer of Code

主要是讓世界的學生參與撰寫開放原始碼軟體的project,從2005年開始舉辦.
目的是讓參予者能從中接觸到業界軟體的開發方法與就業機會相關領域的學術活動,並且寫越多的免費原始碼,就能越造福全人類.

此篇的project是'Qin' notation web generator:古琴減字線上產生器

作者致力於此研究原因有兩點
1.中國字較複雜需2bytes組成,不像英文只是26字母的排列組合簡易,中國字需花較多的時間創建font set.

2.在網路上瀏覽網頁,如果其字元並不符合用戶端電腦的font set,那就無法顯示.

因此作者想要做一個能在線上組合的古琴編碼網頁,讓人輸入所需的圖樣代碼後,
能在網頁上顯示相對應的減字譜.

主要使用的文法如下:

顯示全圖

並依每個指法自行畫出減字,又分為左右手兩類,左手有87個,右手有47個減字.

程式輸入範例:
san_c gou_a yi_a @ =;
er_b;
san_a;
ti_a_b san_a @;
ming_b shi_b_b | tiao_a liu_d @ =;
da_d jiu_c | si_d = liu_d =;
po_a da_d qi_a liu_d = | qi_a = san_c liu_d = | =;
jiu_d lun_b = qi_a =;
tao_a_qi_c;
tao_a_qi_c;
shi_b_a qi_a | tiao_a si_d @ =;
cuo_d da_d qi_a | tuo_a_b liu_d @ = @ zhong_a qi_a | gou_a yi_a @ = @;
shao_c_xi_b;

由於每個san_c,gou_a等等都是圖的檔名,所以要使用一定要配合圖片跟代碼一起看.

例:

san_c

gou_a

程式方面:

網頁上的Demo連結已無效,但有提供檔案下載,
好像只能在Linux環境下執行,但我執行時還是有出錯,可能是因為沒有下載圖檔的關係.
執行環境需求:Metapost, Perl, Convert

Metapost是個語言可讓人用數學描述畫圖,語法來自Metafont.
Metapost-wiki : http://zh.wikipedia.org/wiki/MetaPost

網路上還有附上解說的網頁投影片:http://web.pdx.edu/~candy/qin/tug05/open.html

** ** ** ** ** ** **

第二個連結內容是中國音樂學(季刊) 2008年第2期,應該是大陸那邊的雜誌.

標題是:古琴減字譜的編碼與編輯方法

內容前段介紹古琴歷史,中間主要介紹老師所研究的減字譜編碼方式,

後面提到他們所希望建構出軟體所具有的功能:

包含

1. 文件操作:新建,打開,保存,列印,關閉等
2. 文件編輯:剪下,複製,貼上,查找,取代,全選,調整字體或字型等.
3. 減字分類:將減字按照"散音","按音","泛音","其他減字"分成四大類,
每一大類下又將它們按照不同的彈奏方法分成各個小類.
4. 選擇減字:通過選擇某類減字,能顯示該類所有的減字,並按照需求再次進行選擇,
並可對選擇的減字實現文件編輯功能,即複製貼上等.

----------------2009.7.23----------------------

我把我的那一串的內容貼過來, 原來的就讓它沉下去吧! 我順便把維城學長的回應記錄在這裡:

無事google了一下，發現兩個有趣的相關的連結：
1. Project Title: Chinese music instrument: 'Qin' notation web generator, http://web.pdx.edu/~candy/qin/index.html
使用Metapost系統設計。
2. mac.xmu.edu.cn/Chinese/document/attachment.asp?id=39
這個比較無言一點，算是另類介紹我們實驗室的成果吧...

請你參考一下, 再跟我說這是什麼, 尤其是第一個link.

你目前的這個程式畫面跟我以前看到瑋倫所完成的不太一樣, 我記得左邊是打中文輸入後的結果, 右邊是減字譜. 我們當時似乎是有幫忙標一下簡譜的.

很好! 謝謝你這麼快的就有回應.

----------------2009.7.22----------------------

首先就先來簡介一下古琴減字譜軟體的功能。

１。軟體主要介面

顯示全圖

２。輸入介面，目前只支援中文輸入

顯示全圖

３。輸入後，預設輸出Parser Tree為Infix

顯示全圖

４。另外還有Posfix顯示

顯示全圖

５。英文顯示，不過目前好像有錯誤

顯示全圖

６。輸入法目前只支援中文，英文功能未定

顯示全圖

７。關於

顯示全圖

----------------------------------------------------------

2009,7/14

這是一個未完成的研究, 我們在未來一到兩年要把它完成. 最早是瑋倫學姊的古琴減字譜軟體的完成, 這是一個國科會數位典藏計劃的成果, 事實上受到許多人的重視, 不過跟多數的國科會計劃以及因為學生畢業的關係, 這個成果那時沒能延續下去. 多年來一直有人問, 連中研院院士都來問.

當時未能延續下去的一大原因是雖然古琴減字譜的輸入法很好, 可是聲音的合成一直沒能突破, 直到最近, 小明學長對起頭音的分析, 文森學長的pitch/Partial Tracking有了一些成果, 看來應該是東山再起的時候了. 在此我向眾多關心的朋友說聲道歉.

以下是相關的link:

古琴減字譜數位化

Centcent's Pitch and Partial Tracking

等小明過幾天把減字譜軟體頁面的圖準備好, 我再來更新.

由於古琴聲音與演奏的特性, 文森學長的pitch/Partial Tracking事實上需要一定程度的修改, 或者正確一點的說是Customization, 也就是量身訂做.

同樣的, 我來起這一串, 接著就由仕偉來接續. 第一個工作當然是把減字譜軟體回復, 這一部分比較簡單. 但是聲音的部分就困難一點. 整個軟體要怎麼做, 我會跟相關的人討論. 而要做的事情如下:

1. 琴音的分析, 也就是pitch/Partial Tracking, 這一部分會比較簡單, 因為我可以把音一個個分開來彈.

2. 分析結果的修正, 這一部分恐怕暫時需要人工來做, 不過SW工具還是需要的, 這部分可以跟authoring tools那邊合在一起, 所以這部分建議做成一個外掛. 我們再來討論要怎麼分工.

3. 根據輸入的減字將每個音合成出來, 這部分要動用additive synthesis以及起頭音合成, 我還不知道小明對提琴的起頭音那部份的成果是否可以直接用過來, 不過值覺是可以的.

4. 根據使用者對演奏articulation上的需求(多半指的是滑音, 少數是其他技法), 重新在合成.

5. 將每一個合成的音照使用者指定的時間排好.

至於其他的事就等這些做好再說!好吧! Let's go!

對了, 請以後將這串同時update到: 古琴減字譜數位化. 感謝!

[課程] 高速運算應用與多核心系統

2011-03-01T16:55:00.014+08:00

2011/05/19
==========================================
Server 已經好了，請大家連線寫程式。
之前提供的 library 有 Bug，已經修改好，麻煩同學重新下載。

有同學說他在 console 下不能執行 spcishell，那應該是權限問題，
請開啟 console，移動到 spcishell 所在資料夾，輸入 "chmod 755 spcishell"，即可。

2011/04/11
==========================================http://www.blogger.com/img/blank.gif
請同學下載這份文件，並且根據內容練習一下用
SCREAM Processor-Cluster Simulator 寫程式吧，
如果有任何問題，請聯絡陳威佐。

http://ludwig.csie.ncku.edu.tw/members/Longest/SPCIshell_new.rar

2011/03/29
==========================================
上次老師講課的投影片(MIT Course)
http://ludwig.csie.ncku.edu.tw/members/Longest/MIT_courses.rar

2011/03/08
==========================================
請於下周一 3/14，11:59:59 PM 前繳交 CUDA 作業。

下周易聰、翊臺將會講解他們要開發的 Application，

威佐也會講解 SCREAM Processor Cluster Platform。

2011/03/01
==========================================
課程老師: 蘇文鈺
Email: alvinsu@mail.ncku.edu.tw

課程助教: 陳孇瑀 (Cuda)
Email: bbh4747@hotmail.com

課程助教: 陳威佐 (Scream Multicore)
Email: prodigyjerry@gmail.com

本次上課內容: 講解 CUDA，以及各位同學報告想作的應用。

今天上課上的 CUDA 教學可以到此下載:
http://0rz.com/hj3aC1

FTP為:
140.116.82.184:21
course/course

新一學期group meeting報告順序

2011-03-01T11:22:00.001+08:00

教室我一路借到8月了，不過碩二口試時間通常在七月底，因此我只排到七月初。碩二同學請每週報告進度。

2011年group meeting 報告成員

日期	報告成員
3/7	翊臺、易聰
3/14	威佐、玉琳
3/21	大鈞、依諴
3/28	君宇、偉翔
4/4	兒童節
4/11	翊臺、易聰
4/18	威佐、玉琳
4/25	大鈞、依諴
5/2	君宇、偉翔
5/9	翊臺、易聰
5/16	威佐、玉琳
5/23	大鈞、依諴
5/30	君宇、偉翔
6/6	端午節
6/13	翊臺、易聰
6/20	威佐、玉琳
6/27	大鈞、依諴
7/4	君宇、偉翔

Multi Arm - 哲榮

2011-02-28T18:54:00.001+08:00

-------------------------------------

2011.02.28

-------------------------------------

原本DPSRAM在CPU端與FPGA端的Memory map空間是同一塊,但是有byte addressing與word addressing的差異

但是依照上述方式測試時有錯,後來發現在Driver中已經先行把輸入的address*2

使的FPGA端與CPU端的都是以word addressing的方式存取DPSRAM

測試並確定

FPGA的4 bit address (0x0~0xF) 對應到CPU的address為(0x180~0x18F)

DPSRAM Interface電路完成但尚未測試完全

-------------------------------------

2011.02.19

-------------------------------------

MVC100透過IDE HDD與FPGA進行溝通

溝通方式是在MVC100版子有塊Dual Port SRAM(DPSRAM)

CPU跟FPGA皆可以存取此塊DPSRAM再加上介面提供的Interrupt機制

CPU與FPGA便可以透過DPSRAM交換資料

但是交換資料的協定必須要自己設計

目前的規劃是以CPU主動下命令給FPGA

CPU把read / write command、address、size寫入到DPSRAM上,並且發出interrupt給FPGA

FPGA收到interrupt後,便讀取DPSRAM上的命令,依據讀取到的命令做動作:

1. CPU發出Read指令 :

FPGA將CPU要讀取的資料寫入到DPSRAM上,並且發出Interrupt給CPU來讀取

2. CPU發出Write指令:

FPGA等待第二次CPU發出的interrupt通知 (第一次interrupt是Read/Write命令)

收到Interrupt,便讀取DPSRAM上的data,並寫入到FPGA的SRAM

目前正在以上述的協定改電路以及Driver

-------------------------------------

2011.01.23

-------------------------------------

因為目前MVC100的板子還在測試

因此士敦學長希望可以試著在friendly arm上跑MPI測試

但由於需要額外安裝MPI所需的物件如:python、ssh

再加上士敦學長使用的arm-linux-gcc版本不同

因此需要重編他修改過的MPI

後來直接借他一顆friendly arm移植MPI

MVC100目前已經可以跑一輝學長的sram與fpga溝通範例

OS: linux2.6.28 (沒有android)

因為排線目前只接出部分sram的address與data腳位

只能使用4個bit address[3:0]、data[3:0]

範例執行結果:

接下來會試著修改driver以及範例電路為我的InterConnect架構

-------------------------------------

2011.01.17

-------------------------------------

Friendly arm已經把傳輸的protocol寫入到driver

並且也已經改成士敦學長的架構（每個connection對應一個file descriptor）

剩下system call poll()還沒有實做

MVC100用廠商附的linux 2.6.28加上driver編譯完成

但是廠商附得file system是read-only的,所以在開機完後drvier掛不上去

這部份文森學長還要花點時間幫忙

所以就先換跑android版本的範例,但是一輝學長給的kernel image在開機的時候會有kernel panic的問題,我會再去問一下或者我目前有也有重編的android版本的linux kernel（2.6.27）再測看看

-------------------------------------

2011.01.10

-------------------------------------

friendly arm更改linux char driver的kernel function

原先使用memcpy()去存取fpga對應的virtual address

改成宗胤學長建議的ioread() , iowrite()

發現read指令的CS , OE訊號會有兩個low trigger的情況沒有了

把呼叫driver的file descriptor函式換成linux system call

int open(const char *pathname, int flags)

ssize_t read(int fd, void *buf, size_t count);
ssize_t write(int fd, const void *buf, size_t count);

不使用c lib提供的fopen fread fwrite

就會解決driver command延遲的問題

mvc100目前正試著執行一輝學長的範例

目前順利編譯好linux kernel 2.6.28

但是開機後掛載driver的步驟還有問題要再請教一下學長

-------------------------------------

2010.12.29

-------------------------------------

搞定第三顆ARM了 (把sdcard的資料刪一刪後就又可以使用了)

另外還有跟士敦學長討論MPICH2 Multi-Arm driver的部分

因為學長目前的架構是每個connection各有一個file descriptor負責處理傳輸

如下圖

因此使用者呼叫Driver時不需要給driver 目的ARM對應的memory map addr

driver自行根據fd的minor number判斷目的ARM的memory map addr

呼叫driver的方式使用linux system call :

ssize_t write(int fd, const void *buf, size_t count);

ssize_t read(int fd, void *buf, size_t count);

http://linux.die.net/man/2/write

http://linux.die.net/man/2/read

而我目前的架構是一個file descriptor負責所有的connection傳輸

如下圖

因此使用者呼叫Driver時要給driver 目的ARM對應的memory map addr

呼叫driver的方式使用C Lib的:

size_t fwrite ( const void * ptr, size_t size, size_t count, FILE * stream );

size_t fread ( void * ptr, size_t size, size_t count, FILE * stream );

http://www.cplusplus.com/reference/clibrary/cstdio/fwrite/

http://www.cplusplus.com/reference/clibrary/cstdio/fread/

目前會再做一版driver配合MPICH2的修改

還有跟文森學長借MVC100測一下InterConnect Circuit、Driver、EBI...

-------------------------------------

2010.12.20

-------------------------------------

Driver裡的read , write函式

write(struct file *filp, const char *buff, size_t count, loff_t *offp)

read(struct file *filp, char *buff, size_t count, loff_t *offp)

其中count可以拿到使用者API要存取的總size大小 bytes

例:

fwrite(DataBuf , size , cnt , fd);

則driver裡收到的count大小為 size * cnt (單位bytes)

並且測試後發現說fwrite(DataBuf , size , cnt , fd);

cnt並不能決定write(struct file *filp, const char *buff, size_t count, loff_t *offp)被呼叫的次數

是write()的return值決定呼叫次數

例:

fwrite(DataBuf , size=1 , cnt=10 , fd); //總共10 bytes資料要寫入

write(struct file *filp, const char *buff, size_t count, loff_t *offp)

{

...

return 5; //假設每次呼叫都只寫入5 bytes

}

則OS會去呼叫write()兩次來符合總大小10 bytes

因此做過一個測試就是故意讓write()只return 0;

發現write()函式會一直被呼叫

但是read(struct file *filp, char *buff, size_t count, loff_t *offp)

不論fread(DataBuf , size , cnt , fd); 的 size * cnt 值為多少

count的值始終是4096

在無法得知總bytes的情況下,我改成從FPGA上的PacketSize取得要讀取的總bytes

歸納一下目前做的

1. write(struct file *filp, const char *buff, size_t count, loff_t *offp)

a . OS會一直呼叫write()直到return value總合等於API要求的大小

b . 測試發現不能寫成只呼叫一次write()就把所有資料(比如10bytes)寫到FPGA電路上

假設呼叫write()一次,寫8 bytes,則只有前2 bytes被寫出去

所以後來寫成每次呼叫只寫2 bytes

c . blocking , 直到寫完API要求的大小才停止

2. read(struct file *filp, const char *buff, size_t count, loff_t *offp)

a . OS同樣會一直呼叫read()直到return value總合等於API要求的大小

但是在return value總和還沒達到API要求的大小時 , 出現return 0

則OS不會再繼續呼叫read()並且fread()的return size為目前的總bytes(不一定等於API要求的大

小)

但是write()並不會因為有return 0出現,OS就停止呼叫write()

而是會繼續呼叫write()直到return值符合為止

b . read()可以一次呼叫就把所有的資料讀進來

假設呼叫read()一次,讀10 bytes,可以正常讀取

因此read()我實作成呼叫一次就讀完8 bytes(看API層要求的大小決定)資料

c . blocking , 直到讀完API要求的大小才停止

但是寫完上述的driver function

發現在每次讀寫memory前,必須先去檢查PacketSize的值的動作會有錯誤

(PacketSize就是記錄目前這塊memory裡面有多少bytes的資料)

原因是因為driver command延遲的問題

driver呼叫write()後memory bus應該要馬上有訊號發出

但是mini2440的卻會延遲直到read()被呼叫後memory bus才發出write()的訊號

但是write()的實作動作為 , 寫memory前要先檢查PacketSize是否為0

否則就要block , 等待PacketSize = 0時才可以做寫入的動作

但是延遲的關係 , 當下抓到的PacketSize值並不是memory bus有動作所抓到的值

例:

fwrite(); //block在迴圈裡一直檢察PacketSize

fread(); //memory bus的訊號發出write()的訊號

如上 PacketSize的值並不是實際電路上的PacketSize值

而且也無法抓到因為block住的關係 fread()無法被呼叫

同樣read()也有此問題

-------------------------------------

2010.12.13

-------------------------------------

跟楊老師實驗室借了兩條USB轉RS232,目前可以看到同時執行的過程
所以直接開始改driver,把傳輸的protocal寫在driver裡面
以及實做Send()和Receive()兩個API函式作為之後SPCI使用的傳輸函式

目前driver的write function可以正常執行
但是read function從OS收到的傳輸byte數的值還有問題還在找是什麼原因

另外還有發現先前memory bus的address 0不能用的問題
並不是不能用是因為bus沒有byte enable的控制
因此一次傳輸一定是2 bytes的data （16 bit)
因此要寫奇數的address時,bus會從address-1 寫16 bits

然而那時後的誤認,把address先往左shift 1位 (乘2)
然後在電路裡面再取addr[6:1]來使用
讓原本是byte addressing的mini2440變成是word addressing
如下所示

原先：
11111111 0x00
11111111 0x01
11111111 0x02
11111111 0x03

*2後,並且只取addr[6:1]作為address：
11111111 11111111 0x00
11111111 11111111 0x01

目前就先不修改這部份

-------------------------------------

2010.12.02

-------------------------------------

測試過後發現是V4 FPGA的 GPIO有問題 (J2.8 botton )

J2.8 botton剛好接到friendly arm2的CS pin

目前把ARM2移到J1 botton的位置

目前三顆可以正常存取FPGA上的memory

接下來會開始測大量資料的傳輸

-------------------------------------

2010.11.28

-------------------------------------

兩顆friendly arm接上fpga的GPIO了

兩顆分別測試存取InterConnect的ram可以正常存取

但是還沒有測同時跑的狀況 , 因為只PC有一條com port...

我會再寫個java層的ap去call linux driver

直接在LCD上操作來測試兩顆ARM同時跑的情況

沒問題就繼續接第三顆

-------------------------------------

2010.11.25

-------------------------------------

因為在連續讀取多筆資料時產生錯誤

後來實際去看邏輯分析儀發現讀取多筆資料時

每次的讀取訊號之間會夾雜一個單一的CS和OE的low trigger

如圖所示 : 這是連續讀兩筆的訊號

紅色框圈出來的就是夾雜的訊號

紅色框的部分系統總線給的address並不是driver所下的address

並且在這段時間任意給系統總線data值也不會影響driver實際讀到的值

實際在測時發現紅色框的訊號有時不會出現= ="

原因不明...

因此我的fifo的架構抓不準何時該讀出資料

若要解決需要改很滿多地方...

後來就還是換回用ram當儲存空間的InterConnect circuit

arm與arm之間交換資料的ram的大小為 16bit data , 0~4 address

-------------------------------------

2010.11.09

-------------------------------------

測試我的InterConnect circuit正確性

InterConnect circuit的memory用的是Xilinx ip gen產生的fifo (16bit data , 0~1024 address)

目前可以正常執行單筆資料(16bit data)的讀和寫

(friendly arm以word address來看,單一address有16bit的資料)

memory map的部分又有再更動 , 因為Friendly arm的系統總線提供的address pin

LADDR24 – not continue

LADDR0 - specific capability 要使用的話必須再去更改driver的設定詳細我沒有去探究

總之就只剩LADDR1~LADDR6 可以用因此調整packet size從2個word改成1個word

(1 word = 16 bit)

說明一下系統總線的存取memory的時脈波形圖

以SMIMS USB在使用的APP_CLK (48Hz)為InterConnect circuit的clk

Write :

當CS和WE為low trigger時

大約在第四個clock 系統總線Data和Address Pin的值才會開始是正確的

因此我的做法是在第四個clock去抓正確的address和data

第五個clock才把我電路fifo的write enable拉起來寫入值

Read :

當CS和OE為low trigger時

大約在第五個clock 必須把正確的data值給系統總線讀取

因此我的做法是在第三個clock去抓要讀取的address 並且把fifo的read enable拉起來

讓fifo能夠在第四個clock讀出值並在第五個clock把值給系統總線

要注意的是系統總線發出的單筆16bit的read訊號會有兩個low trigger

原先北翰的範例使用ram當儲存空間時,這兩個low trigger的讀取並不會改變ram裡面的值

但是我的InterConnect是使用fifo,因此再遇到這兩個low trigger時會讀出連續兩個address的值

並且由於是fifo,讀出的資料便會從fifo消失因此會有問題

我的解決辦法是只再第一個low trigger時才去讀取fifo的值

並且把讀出來的值存再flip flop中維持兩個low trigger的時間

(因為兩個low trigger都要提供系統總線一樣的值,否則friendly arm讀到的值會不完整)

電路圖因為放上來有點模糊

參考投影片的82,83頁

https://docs.google.com/viewer?a=v&pid=explorer&chrome=true&srcid=0B9JROslUOqrjNjVjMGY3NDEtZTkzZi00YmE4LTg0OGUtNTk5NDUwNzViYjRh&hl=en

-------------------------------------

2010.10.27

-------------------------------------

成功把北翰公司提供的範例跑起來了

範例是Friendly ARM透過系統總線(com)以排線與Xilinx V4 FPGA版的GPIO相接

fpga上的電路組成是一個state machine與一塊的 ram(16bit data , 10 bit address)

不過因為系統總線的address pin只能夠使用6 bit,因此fpga上的memory只有使用address;0~63

Friendly ARM上boot android並且在linux kernel新增driver來存取fpga上的ram

此外還有bcb實作的ui可以透過usb顯示fpga上ram的每個address的值

但是此ui在執行open實會將範例電路的bit檔燒進fpga,我又懶的再去裝bcb去改code後來就直接在friednly arm上呼叫driver去驗證ram上的值是否正確

範例發現三個問題:

1. 讀取memory的值時一些address會讀到不是我剛剛寫入的值

已解決--->因為read的時脈沒有對準,以APP_CLK為基準大約在第四個clock,friendly arm才會讀取ram的值

2. CS、OE、WE會有雜訊出現

減少雜訊--->用一個clock generator產生一個較快的時脈去過濾訊號,讓雜訊持續的時間不到一個clock

3. 對driver下的read和write指令會延遲到下一個指令系統總線才會發出訊號

比如說下兩個指令

fwrite(Buffer , 1 , DataSize , fp);

fread(...);

則在fwrite當下系統總線並不會發出寫入ram的訊號

此訊號會在fread當下才發出

而fread的訊號只會在fwrite之後才會發出

像這個例子就是會在fread時系統總線連續發出兩個指令 : 寫入讀取

而當連續下fread指令時只有第一個接在fwrite後的fread系統總現有讀取訊號發出

如: fwrite fread fread fread... 只有第一個fread的訊號有效

找不到原因因此在使用driver時必須讓read write交錯呼叫才能正常運作

-------------------------------------

2010.06.18

-------------------------------------

完成SystemC model與四個Qemu相接的模擬器

其架構圖如下

使用宗胤學長修改的android QEMU

其QEMU能透過driver去存取PC上的Posix Shared Memory

利用此功能,我再寫了四個wrapper SystemC model負責把Shared Memory的資料傳給InterConndet Module以及把InterConndet Module要丟給QEMU的資料寫入到Shared Memory

實作兩個傳輸使用的C++ API :

Void Multi_ARM_Send(int CoreID , char* Buf , int DataSize);

CoreID : 目的地ARM的ID

Buf : Data buffer

DataSize : 欲傳輸的資料大小( bytes )

Int Multi_ARM_Receive(int SourceID , int Total_Size);

SourceID : 來源ARM的ID

Total_Size : 欲接收的資料大小( bytes ) ,必須收滿Total_Size此函式才會return

Return int : 實際接收的資料大小 ( bytes )

上述兩個API會去呼叫底層的driver完成傳輸的動作

若fpga上的傳輸空間尚有資料無法寫入或者沒有資料可以讀取------------(a)

此兩個api便會以blocking的方式等待,直到空間空出來

不過後來跟張老師LAB討論過之後這兩個API會拿掉,把傳輸的動作移到driver裡

並且若發生(a)的狀況,直接return 不等待回傳實際寫入、讀取的資料大小

以(a)的狀況而言回傳的值為 0

-------------------------------------

2010.06.02

-------------------------------------

因為考慮到每顆ARM只有接Addr、Data、control signal到傳輸會用到的Sram上

整個memory map的大小是16KB,但是實際可以存取的只有7KB

我想把空下來沒用到的memory map拿掉

比如說

Arm0所能看到的memory map 為0x4000~0x7FFF

但是Arm0實際硬體有接線的addr為

0x4000~0x4FFF : 4KB

0x5000~0x53FF : 1KB

0x6000~0x63FF : 1KB

0x7000~0x73FF : 1KB

其它硬體沒有接線的addr且Driver必須限制不能存取的addr共有9KB

我的想法是既然只有接線到部分的sram

那沒接線的sram就不要配入Memory map裡面

所以讓每個Arm看到的Memory map都一樣而且只有8KB

比如說

Arm0所能看到的memory map 為0x1000~0x2FFF,共有8KB

[只能Write的部分]

0x1000~0x13FF :　要傳給Arm0的資料 (1KB)

0x1400~0x17FF :　要傳給Arm1的資料 (1KB)

0x1800~0x1BFF :　要傳給Arm2的資料 (1KB)

0x1C00~0x1FFF :　要傳給Arm3的資料 (1KB)

[只能Read的部分]

0x2000~0x23FF :　收來自Arm0的資料 (1KB)

0x2400~0x27FF :　收來自Arm1的資料 (1KB)

0x2800~0x2BFF :　收來自Arm2的資料 (1KB)

0x2C00~0x2FFF :　收來自Arm3的資料 (1KB)

其中0x1000~0x13FF、0x2000~0x23FF對Arm0的實際硬體來說是同一塊Sram

如下圖所示

這張圖是Arm0的memory map所對應的實際硬體

每個長方型都是一個實體的sram

裡面的兩個數字是起始Addr 與結束Addr

有數字的部分就是Arm0實際有接線的sram

其中左上角那塊有重複的Addr (0x1000~0x13FF 和 0x2000~0x2FF)

因為這塊是屬於Arm0丟資料給Arm0的區塊

這部分我希望直接在Driver中做判斷,假如是要丟資料給本身

即不經過硬體做資料交換,直接丟給Arm0的local memory

然後發個Interrupt告訴自己有資料進入

下面這張圖則是Arm1的memory map實際對應的硬體

Arm1同樣的也是看到8KB的Memory Map且Memory Map跟其他Arm都一樣

只是接到不同的實體Sram

[只能Write的部分]

0x1000~0x13FF :　要傳給Arm0的資料 (1KB)

0x1400~0x17FF :　要傳給Arm1的資料 (1KB)

0x1800~0x1BFF :　要傳給Arm2的資料 (1KB)

0x1C00~0x1FFF :　要傳給Arm3的資料 (1KB)

[只能Read的部分]

0x2000~0x23FF :　收來自Arm0的資料 (1KB)

0x2400~0x27FF :　收來自Arm1的資料 (1KB)

0x2800~0x2BFF :　收來自Arm2的資料 (1KB)

0x2C00~0x2FFF :　收來自Arm3的資料 (1KB)

同樣的也是會有一塊Sram是屬於丟資料給自身的部分

也就是0x1400~0x17FF、0x2400~0x27FF

下圖是Arm2的Memory對應到的實際Sram

同樣的也是會有一塊Sram是屬於丟資料給自身的部分

也就是0x1800~0x1BFF、0x2800~0x2BFF

下圖是Arm3的Memory對應到的實際Sram

同樣的也是會有一塊Sram是屬於丟資料給自身的部分

也就是0x1C00~0x1FFF 、0x2C00~0x2FFF

而上面四張圖合起來就是整個實際16塊Sram的架構

也就是說每顆Arm所能看到的Memory Map都一樣

但不一定接線到相同的實際Sram上

這樣一來Memory Map就只有8KB的大小

不會有Access到不屬於傳輸所允許的Addr

只需要判斷Addr是否在這8KB的範圍內

目前正在進行的工作:

1.SystemC model與四個Qemu相接(給張老師LAB測試修改的MPI)

2.Friendly Arm(mini2440)與FPGA(v4)相接

3.如果確定架構沒問題就開始寫Verilog

------------------------------------

2010.05.19

-------------------------------------

由於後來發現S5PC100的SRAM Controller最多只能控制6塊SRAM

所以後來把FPGA上的16塊SRAM改成四塊

第1塊SRAM (最上方) 是儲存Arm0要Send給其他Arm的資料

第2塊SRAM (下一塊) 是儲存Arm1要Send給其他Arm的資料

....以此類推

每一塊SRAM的第0KB~(1KB-1bit)的資料是儲存Arm0要Receive來自其他Arm的資料

每一塊SRAM的第1KB~(2KB-1bit)的資料是儲存Arm1要Receive來自其他Arm的資料

...以此類推

即是比照之前的Memory Map,只把之前16塊SRAM的每一個橫排併起來成一塊

但是這樣的架構會在多個Arm同時Read同一塊Memory時出問題

之前會切成16塊SRAM就是為了解決同時Read Write的問題

後來品皓有個點子,如果讓Arm以為只有4塊SRAM

但是實際電路上是有16塊SRAM這樣或許可以維持原來的16塊的架構

而且原本是預計每顆Arm都可以Access到這16塊SRAM

但是這樣每個Arm就都必須拉線到16個SRAM上這樣之後Layou可能面積會很大

所以打算每個Arm都只拉線到傳輸會用到的SRAM上

但是Arm本身的Memory Map還是會保留沒有用到的Address

所以就改成以下架構:

1. Tag的更動

由於Xillinx V4的Block Memory支援Dual port(Write的同時也可Read)

所以原本用來仲裁"Write的同時是否可Read"的Tag就不需要了(原本有定memory map且用register實做)

原本Tag還有紀錄SRAM中的Data Size的功能和做為判斷SRAM是否有資料,來控制Read/Write是否允許

所以改成每個SRAM的起始4Byte作為儲存Data Size的空間,取代原本的Tag

然後Tag也作為是否該發出Interrupt通知Arm來讀取資料的依據

現在改為用Adddr以及Data值來判斷(假如Addr為Data Size的位址且Data不為0則發出Interrupt)

2. 只接線到傳輸相關的SRAM

如上圖所示

Arm0只接線到第一欄和第一列

然後透過Addr某幾個bit和CSn作為SRAM Enable的依據

這樣即使Arm0的程式寫資料到不正確的Addr

在實際電路上依然會寫在第一欄和第一列的範圍內

3. 實際有16塊SRAM,但每顆Arm以為只有1塊

Arm的SRAM controller會接出CS[0:5]做為每塊SRAM的Enable

以Arm0的觀點來看只有一顆SRAM

所以CS只會用到CS0

透過判斷Addr線、Write Enable、Output Enable , 連到不同的SRAM上

4. Initial Tag

因為本來儲存Size的Tag換成在SRAM中(原本是Register),因此需要初始化

所以我希望在每顆Arm boot好OS之後必須去把Size初始化為0

每顆Arm各自去把儲存Send資料的SRAM的Size部分歸零,然後才把Initial Tag設為1

再確認每個Initial Tag皆為1後才開始進行資料傳輸

[這邊有個問題]

就是每次Send資料時都需要去確認Initial Tag嗎?

如果確認Initial Tag是為了要確定目的Arm是否存活

但是一顆無法執行的Arm,無法去修改對應的Initial Tag,就無法判斷目的Arm是否仍然存活

------------------------------------

2010.04.07

-------------------------------------

之前定的memory map

因為要把儲存資料大小的單位換成byte比較直覺

所以重訂了一下Tag的部分(Packet Size)

Initial : 每個欄位1byte

Packet Size : 每個欄位4byte

Memory Space(Receive data from Arm) : 每個欄位 1 K byte

-------------------------------------

2010.03.29

-------------------------------------

原本為了方便替EBI BUS加Driver

就把MVC100重新PO上linux

後來板子先借給文森學長

要先測山寨機的Android AP能不能在MVC100上跑

所以我又重PO了Android上去

可是新PO的Android螢幕左下角還是一樣會顯示Safe mode

不知道是廠商提供的Android kernel本來就是safe mode,要自己另外抓

還是其它問題,目前還在找

-------------------------------------

2010.03.11

-------------------------------------

Memory Map的部分暫定如下

Initial有四個byte 0x00~0x03分別用來儲存四個Arm是否initial完成

Tag To ArmX為就是架構圖裡面的16個Tag紅色區塊

ArmX Receive為架構圖中 , 每個Arm底下的四塊Memory

-------------------------------------

2010.03.09

-------------------------------------

目的在於把四顆Arm透過FPGA上的Memory來進行溝通

1 . 架構

[架構圖]

如架構圖所示,每個Arm透過Memory Bus連接FPGA上的16塊memory

透過這16塊memory進行Arm之間的資料溝通

每個Arm下方的四塊memory是用來接收來自其它Arm的資料

比如Arm0下方的四塊memory , From Arm2這塊memory即是用來儲存來自Arm2的資料

每個Arm都可以看到這16塊Memory以及其Tag

每塊memory的總大小為1k byte , 且各自有一塊專屬的Tag , 用來紀錄儲存在此memory中的資料大小 , 而當memory中沒有資料時 , Tag儲存的資料大小為0

Initial Tag為一個大小為1 byte的register , 共有四塊 , 用來記錄四個Arm的initial是否完成

而當四塊Initial Tag的直接為initial完成時 , 才能進行Arm之間的資料傳輸

每個Arm都可以存取到這四塊Initial Tag

2 . 傳輸方式

假如Arm0希望丟一筆資料到Arm1

Arm0必須先將資料丟到FPGA上Arm1底下的From Arm0的那塊memory

然後將From Arm0的Tag設為資料的大小

此時FPGA送出Interrupt訊號給Arm1 , 告知有資料進入memory中

Arm1再主動去FPGA中抓取來自Arm0的資料

3 . boot

單顆Arm的boot動作為:

Arm裡面有個Rom , 儲存一小支程式 , 這個小程式會去抓Flash的前幾個byte看看是否Flash中有合法的可執行程式 , 如果有的話就會把Flash中的資料抓進SDRAM中 , 然後Arm在去執行SDRAM中的程式 , 如果Flash中沒有程式 , Rom中的小程式變會換成等待USB傳送PC端的資料過來 , 然後將接收到的程式分入SDRAM中讓Arm去執行

但是這樣會有個疑問就是說 , 如果四個Arm只有第一顆Arm有Flash , 那其它三顆Arm的SDRAM該如何拿到boot所需的程式?

4 . initial

當四個Arm確定都boot完成後 , 便要開始去initial FPGA上每塊Memory的Tag , 每個Arm各自去initial對應的memory的Tag , initial完成後便將對應的Initial Tag值設為1 , 直到四塊Initial Tag全部的值皆為1時 , 才能開始進行資料傳輸

5 . Memory Bus

Memory Bus有三種訊號要輸入Address , Data , Control Signal

6. Arm資料傳輸Function

Receive(int SrcCoreID , int* Buf) : 用來接收來自SrcCoreID 的資料 , 用sc_event來等待interrupt

Send(int DesCoreID , int* Buf) : 傳送資料給DesCoreID

7. 目前工作

a. 定出每塊Arm的memory map

b. 完成SystemC model

HMM with HTK, HTS system - 仕偉

2011-02-18T14:33:00.007+08:00

--------Synthesis Results-------

Star Variations

1. Song1
2. Song2
3. Song3
4. Song4
5. Song5
6. Song6
7. Song7
8. Song8
9. Song9
10.Song10

-------- 2011 . 2. 18之2---------

對於F0基頻設定，trace code結果後發現：

1. 445Hz要設定LOWERF0=200，UPPERF0=600，基頻的值才會正確被找到。(正確)

2. 如果設定LOWERF0=100，UPPERF0=500，基頻值會找到2百多Hz。(錯誤)

-------- 2011 . 2. 18 ------------

目前在training音檔時發現幾個問題：

1. 如果我們設定每個state要分成N個HMM model的話，那麼這個state的長度就要大於等於N*0.01(秒)，最小的duration要設為N。

在HTS中每個state並不是只有一個HMM model去training，而是拆成N個HMM model，而N的大小可以設定。

之前training設的N值是5，也就是每個state長度至少要大於0.05(秒)。

我們可以設定N為3，所以在跑matlab程式時，設定state的最小長度至少要0.03(s)，最好的長度是多少還要再實驗。

2. 在分state的演算法中，之前我有加入一個條件，就是找出頻率轉折點；實際跑時遇到一個例子，頻率是[ 444.75, 444.79, 444.81, 444.80, 444.78, 444.77]，這段頻率人耳聽起來是沒有差異，但是依照演算法會被分成[ 444.75, 444.79, 444.81 ] , [ 444.81, 444.80, 444.78, 444.77 ]兩段，在training時應歸為同一類。此部分已修改完。

3. 再取F0部分用HTS範例的取F0程式會有問題，例如基頻是445Hz，在取F0時設定最低400Hz，最高500Hz的話會找不到基頻，猜想因為是語音所以設定的頻率較低，目前在trace code看他取基頻的程式是如何。

附上有做好的進度，紅色為未完成。
基頻目前是直接用讀程式的值，以後應該要人工修一下；還有產生state sequence的程式還沒寫好。

-------- 2010 . 12. 28 ----------

Speech Parameter Generation Algorithm
Considering Global Variance for
HMM-Based Speech Synthesis

-------- 2010 . 12. 9 ----------

我在網路上有找到已經有人用matlab來讀
htk的參數的例子,並且他也用自己的方法算出
MFCCs與htk的MFCCs作比較,如圖:

input是htk的MFCCs檔案跟原音的wave檔.

網址:http://labrosa.ee.columbia.edu/matlab/rastamat/mfccs.html

-------- 2010 . 12. 8 ----------

AN ALGORITHM FOR SPEECH PARAMETER
GENERATION FROM CONTINUOUS MIXTURE
HMMS WITH DYNAMIC FEATURES

-------- 2010 . 12. 2 ----------

上次音檔vibrato不像的原因是因為model分類沒分好,
也就是decision tree未建好.

正常來講,依前後state不同,同一state的model也應該要分類.
例如attack + vibrato_rise 跟 vibrato_fall + vibrato_rise,
兩個vibrato_rise應該要有不同的model,之前合成是只有一個model.

改進之後將上述情形分成不同的model,最後合成結果:

gen1
gen2,延長vibrato
gen3,用不同的vibrato state去合成

目前進度:用matlab將mfcc參數取出,之後要做clustering.

-------- 2010 . 11. 21 ----------

延續11月19日,新增合成音檔,
vitrato的rise和fall的state重複多遍, sample rate 44100Hz :

Synthesis D4 Vibrato2 44.1KHz

-------- 2010 . 11. 19 ----------

修改了sample rate為44100Hz,
training完後8000Hz以上頻率有找到,聽起來又更像了.

但比較有趣的是,同樣都用hts_engine但產生的音檔聽起來不一樣,應該是少打參數.

因為我得到合成的音檔有兩種方式:

1. 依照script,training完會自動執行hts_engine幫我產生音檔.

2. training完我手動將產生的model參數移到另一個資料夾,自己下指令用hts_engine合成音檔.
可能是我手動下指令少了什麼參數,所以跟自動產生的音檔不像,這點有待查明.

原音D4

1.Synthesis D4 sample rate 44.1KHz

2.可能少打參數 D4 sample rate 44.1KHz

-------- 2010 . 11. 11 ----------

問了奕欽學長關於training model時基頻有沒有限制範圍,
有!!他說有而且可以修改範圍,
找到data/Makefile內有兩行:
LOWERF0 = 110 # lower limit for f0 extraction (Hz)
UPPERF0 = 280 # upper limit for f0 extraction (Hz)
就是萃取f0時設的範圍.

所以之前音檔會有低頻雜音可能是因為
原本的聲音的基頻是300Hz,
造成程式在training時硬要是找110~280內的頻率當基頻,
所以才會有低頻的雜音.

先來實驗看看改範圍能不能解決這個問題!

//////////////////////////////////////

將範圍改成 200~500 Hz
LOWERF0 = 200 # lower limit for f0 extraction (Hz)
UPPERF0 = 500 # upper limit for f0 extraction (Hz)
雜音的問題就解決了.

//////////////////////////////////////

接著實驗vibrato :

原音D4 295Hz Vibrato

將同一音檔copy 10份去training, 並且合成 :

Synthesis D4 295Hz Vibrato1

又將vitrato的rise和fall的state重複多遍 :

Synthesis D4 295Hz Vibrato2

以上為目前結果.

-------- 2010 . 11. 08 ----------

這禮拜利用小聽給的java讀cue的程式,
寫了個GUI介面,並修改成HTK label檔的格式如下圖:

只要用程式開啟標完cue的wave檔,就可顯示cue內容,
按下save to label就可存成label檔.

此外程式也提供一般的txt格式,輸出單位為秒如下圖:

一樣只要按下save to txt就可存成txt檔.

這禮拜即利用此程式去標出上次合成出來有雜音問題的D4
(上次報告是說G1,去看頻譜才發現說錯了是D4才對),
合成出來仍有低頻的雜音參雜其中.

目前解決的辦法就是先去拆解hts_engine程式看它產生音檔的部分,
順便拆解流程.

-------- 2010 . 11. 02 ----------

Cepstral Analysis Synthesis on the Mel Frequency Scale

-------- 2010 . 10 . 25 ----------

經過修改與測試之後原來是question set的問題.
目前已有合出聲音,聽得出來像是小提琴的聲音.

下一步是用cool editor邊看頻譜邊標音,這樣可以標得比較準確,
並把其他不同的state也加入training.

-------- 2010 . 10 . 13 ----------

目前有成功產生音檔,但聽起來不像violin的聲音.

可能有問題的點是:
1. 在標音的時候就沒有標好.
2. question沒建好,問題太少.
3. state間的關係描述太少,例如語音中有分片語,短語,音節,重音等，會用這些關係建HMM model.但我在實驗中只用到音節的關係.

目前先嘗試:
用同一個音檔重複10次,然後去training,再合成出來,看出來的音是不是跟原來的一樣.

-------- 2010 . 10 . 3 -----------

6.
對HMM model作初始化用HInit和HRest,
trace code發現是指令下錯的關係.
先用HInit對要處理的phone的HMM model作uniformly segmented,
再來用HRest對同一個HMM model作Baum-Welch re-estimated.
如此反覆將所有的phone都執行上述兩個指令後,
HMM model的初始化完成.

7.
依HTK格式將所有初始化好的HMM model集合成同一個檔案:
inic.mac

8.
開始HMM training:
用HERest這個指令也是會跑Baum-Welch re-estimated,與HRest不同之處是HRest只對單一個utterence做處理,HERest在training過程則是處理全部的utterence,並統計每個utterence的means,variances等,用於完善HMM參數.
處理完得到每個phone訓練好的HMM model.

9.
有了HMM model接下來是合成部份,用的是另一個系統：HTS.
合成需要的參數要有decision tree, question set,這部份如何產生我還要再去研究and問學長,目前進度到此.

-------- 2010 . 9 . 30 ----------

1.
從小提琴的音檔分出C1,G1,D2,A2四個音,每個音準備的音檔數目如下:
C1 : 7個音檔 - 1-1.wav ~ 1-7.wav
G1 : 7個音檔 - 2-1.wav ~ 2-7.wav
D2 : 7個音檔 - 3-1.wav ~ 3-7.wav
A2 : 6個音檔 - 4-1.wav ~ 4-6.wav

2.
接下來取spectrum參數,先用語音預設的39維Mel-frequency cepstral coefficients.
由於HTK只吃16bit或8bit的wave format,因此先用cool editor將wave檔降碼.
取完可得*.fea檔案.

3.
接著是人工標音,使用HTK提供的工具,指令打"HSLab -F WAVE"才能讀入wave檔,
標音的畫面如下:

目前HMM state暫定為"音階_ADSR_status",
example: "c1_A"代表音色為c1,狀態是attack,其他命名以此類推.
將所有的音檔標示完會有相對應的*.lab檔.

4.
依HTK格式將所有lab檔案集合成1個*.mlf檔.

5.
產生HMM model的template,
指令"outMacro Plainhs DiagC 3 "1 1 1" MFCC_E_D_A "13 13 13" > template.hmm",
意思是每個model有三個state，每個state有三個stream，分別用1個、1個、1個mixture，每個stream各佔13維度。

6.
接著對HMM model作初始化用HInit和HRest,
目前這邊有錯誤,下HInit指令時會有
"ERROR [+2121] HInit: Too Few Observation Sequences [0]",
錯誤可能發生的原因有幾種:
1.樣本數太少.
2.HMM model template設的不對,無法跟*.fea檔相符.
3.取segment時人工切的frame間隔太小,導致取不到參數.

解決辦法:
問學長and直接trace code找error.

-------- 2010 . 8 . 12 ----------

執行HTS的demo檔案,網頁上有分兩種 :
Speaker dependent training demo : training 單獨一人的HMM model.
Speaker adaptation/adaptive training demo : training 不同人的HMM model; 例如要讓speaker A發出的語調要像speaker B, 或是speaker A發出的語調像speaker B+C+D.

每種語言又分兩種demo :
Normal demo : HTS 內建的方法取 spectral parameter.
STRAIGHT demo : 由另外一位學者自行改進的演算法取 spectral parameter.由於STRAIGHT demo的方法並沒有公開程式碼,需要的話要自行跟那位教授聯絡取得,因此一般都是執行Normal demo.

我跑的是Speaker dependent training demo : English : Normal,如圖紅框所示 :

跑完成約需要6~7個小時,會有HMM model的統計資料,包含f0,spectral等,之後就可以直接用這些資料透過hts_engine直接合成聲音.

目前已跑完取得統計資料,正在研究hts_engine如何使用.

參考網頁 : http://hts.sp.nitech.ac.jp/?Download

-------- 2010 . 8 . 3 ----------

HMM-based speech synthesis system(HTS)

介紹如何從音檔轉成參數再來合成語音.

-------- 2010 . 8 . 1 ----------
About HTS and HTK system.

HTK - Hidden Markov Model Toolkit
HTS - HMM-Based Speech Synthesis System

語音合成分為兩部份：training part 和 synthesis part
其中HTK就是負責training參數,HTS則是負責synthesis.

HTS內沒有加入text analyzer,如果要使用要另外下載,
Festival Speech Synthesis System就是個text analyzer.

HTS有內建hts_engine可以在不需要HTK library的情形下單獨執行,
可配合Festival或其他應用程式使用.

HTS是以patch檔的形式存在,安裝後會對HTK及HDecode作更新.
因此除了HTK外還需先裝好HDecode.

-------- 2010 . 7 . 8 ----------

viterbi algorithm

介紹如何將最小單位發音,切成我們指定的HMM state數目.

-------- 2010 . 7 . 7 ----------

接下來要做的就是去看合成的部分,

並將裡面取特徵參數的方法MFCC改為簡單的LPC,

再去合成看看看有沒有什麼問題。

下圖為HTK內建取特徵參數的方法，共有7種類型：

-------- ------------- ----------

沒有你們，生命就不精采：我的懺悔文

2011-01-13T23:37:00.001+08:00

從1994年回國開始在交大兼任開始算起，我在研究與教學的位置上已經17年了。一剛開始還只是玩票性質，但是當隔年決定到中華大學任教時，對於如何當一個好老師這件事成了我第一件與最重要的思考要件，多年來沒有改變過。

但是以做一個研究人員來說，我不覺得自己是成功的。以目前學術界的氣氛，發表足夠多的質量的論文是評斷一個研究者最直接與簡單的方法。就這一點來說，我不算是個好的研究人員，因為我的被訓練過程裡，寫論文從來不是最重要的，也看多不太有用的論文，大概也因為這樣子，我不太愛寫論文，而喜歡做一些自己覺得有趣與有用的論文。在美國，我接收到的觀念是：能拿到Funding的研究才算是有用的研究，尤其像是史丹福這種學校。問題是並非所有研究都可以拿到Funding，所以出論文也是一個不算太差的評斷標準，只不過我的偏見讓我覺得要是寫些自己都不確定會不會有用的論文，那還不如做一些有趣的應用還好些。

也因為如此，我的論文很少。而就我自己的標準來說，質也不好。因為每當一篇論文寫好，或甚至登出來之後，我就開始覺得自己做得不好。這樣子的心理，讓寫論文變成一件難過的事。但是，這樣子下去，對於學生的畢業會有問題，所以我總是勉力做下去，論文雖不多，但是夠學生畢業就好。這幾年政府五年五百億的政策，讓論文發表一事更形複雜，缺少論文，不僅個人升等，學生畢業受拖累，其影響層面更是深遠，我就不再這裡多說，一剛開始，我還是堅持要好的研究才寫論文，但是，大勢所趨，我不能因為自己不在乎升等這件事而影響學生的前途，我想自己還是放棄一些堅持，畢竟，一篇論文只需要三到四位審查委員的同意即可。

但是，可想而知，我寫論文的取向，選擇容易出論文的題目，投稿的技巧，甚至決定怎麼運做實驗室來讓出論文變成簡單一點，等等，都不太純熟。當有學生跟我提起我的實驗室的論文極少時，我也只能不好意思的承認了。

不再有論文壓力的我只能說，為了學生著想，只好老狗學新把戲一樣來面對這日益複雜的論文大環境。

我跟自己說：繼續努力。

多年來，在這個工作崗位上我卻有另一個讓我自己覺得驕傲的地方。那是教學方面的。上課方面盡力之外，最重要的是帶學生做研究。

每一個學生我都盡力去了解他們的個性，把他們當做家人，當做子弟來看待。每個星期的一對一或一對二的Meeting，甚至還幫學生看code或寫幾行sample code給他們參考，這樣子讓我可以更了解每一個學生的特質，也因此可以隨時調整我帶他們的方法與態度，只要兩年下來，功夫都會有長進，若是博士班的學生，雖說不一定很會寫論文，但是實做與研究能力都會變得很好。於是，每一天我都拖著極度疲累的身心回家，但是，也無形中跟學生的感情就很好，畢業後，我當他們是朋友，，而多數學生畢業後都跟我保持聯絡，也還會回來看我，有男女朋友也會跟我說或帶來給我看看，結婚都會請我去吃喜酒，甚至還會在我生日時回來幫我過生日。

不過，這一切從2006年我接任計網中心的行政職務開始變了。我把許多時間投入在改善學校行政電腦化的工作，雖然三年下來，做了非常多改善，可是畢竟一個人一天只有24小時，加上Diane到來，我取消了每周一對一的師生討論，只以每周的Group Meeting取代，除非問題一看起來就很大，否則有何研究的問題只在那時討論，剛開始還感覺不到壞處，因為那時的研究生在大學部時就修過我的課，而過去我其實也花很多時間在大學部學生的輔導方面，所以跟大學部學生的感情也好。但是，越到後來，問題越多，我感到跟碩士班學生間的嚴重隔閡，所有學生的進展也慢了下來，然後，開始有學生兩年畢不了業，博士班學生到外面interm後不打算再回來繼續學業，這個實驗室出了毛病，而毛病的根源在我自己。

然後，我從同學眼中不再看到早期的學生看著我時的親近的眼神，我一向引以為傲的部分現在反而成為我最大的失落，但是病弱的身體讓我有藉口，直到，我自己的專題生，曾經是本系大學部前幾名的學生無法準時畢業，我覺得難過極了。諷刺的是，我竟然得到一個名不符實的優良教師獎，讓我連領獎都不敢去。

11月初，我的一位學生回到實驗室，決定完成學業。有一次，她跟我說她很不習慣現在的實驗室，因為一點discipline也沒有，老師不再跟過去一樣跟學生那麼親近，實驗室的研究能量嚴重下降，她跟我說，要不是當年我陪過她走過一大段做學問的路，今天她根本不會回來這樣子的地方。

對我來說，這是無比沉重的一席話，我誠意的接受下來，覺得慚愧，也願意懺悔。

我記得很久以前我說過一句話，現在我對自己再說一遍：

老師教給學生知識，學生拯救老師的靈魂。

對我來說，真的是我的學生在最重要的時刻拯救了我。

11月，我決心恢復一對一或一對二的師生meeting，不管我的身體有多麼疲累。雖然我的程式能力不再優良，但是眼光還沒退化殆盡，我陪著大家看Code，依照結果，當場請學生改code，一再的修正，一邊講解原因，一邊回到過去依照學生的特質來引導他們的教學方式。

老師用多少心思在學生身上，學生就會如實回應，真是一點不假。

12月，我把碩三的那位其實是極優秀的學生找回來，每周跟他做密集的討論，在12月的最後一星期，我讓他住到我家來，多次改進code，一邊幫忙看論文與彩排，終於在2010年12月的最後第二天完成口試。

兩個多月來，我懷著贖罪的心情努力著，我把實驗室的重點研究分成兩部分，一是以音樂為主，一是以系統實做為主，前者以做出一流的研究與論文為主，後者以架構多核心雲端基礎結構與應用為主，以做出有商業價值但不一定要出論文為目標。然後刪除其他能做想做但是不一定有資源與時間做的研究。

2011年1月，在音樂方面，我們終於有相當大的進展，這星期，我在會議時感謝我的學生容忍我這個怠惰已久的老師，感謝他們做出這麼棒的研究，讓我們在專精的這部分能夠有領先全球的研究機構的可能性，讓我可以不會愧對我的老師當年對我的教誨。在多核心系統方面，我們的軟硬體環境日益成熟，今年內，我們的以ARM與FPGA為元件的多核心系統以及我們稱為ThinＣloud的雲端Infrastructure的原型將會問世。另外，有關SystemC運算核心的平行化也快要到開花的階段，而由玉琳獨自闖入的幼兒腦波研究領域也將會有第一份入門的研究成果產出，我衷心期盼因為她的努力可以為不幸的孩子帶來一點希望。

曾經，我以身為老師為終身志業，曾經，我一度迷失在這條路上，但是我覺得我的身上一定帶著眾多前世以來就一直帶在身上的地圖，所以我總是會找到回來的路，我想，至少在這一世我大概是不會再迷路了。

我再次對過去我所對不住的所有學生說抱歉，雖然人生無法重來，我也很難彌補我的過失，但是，我還是要厚顏的請求您們的原諒，同時也原諒我不時的疏忽，任性，甚至孩子氣等等種種缺點。假如在未來，你們需要我的意見的話，又或，您只是希望跟人話話家常，請隨時來找我，我總是我的辦公室裡或是家裡，放著音樂，準備好咖啡與茶在等帶著你們回來，希望能做你們一生中最好的朋友。

只是為了自己的生活而做事，這樣子的生命沒有意義。作為一個老師，沒有了能跟他成為終生朋友的學生，這樣子的生命就不精采。

某齣日劇裡，女主角問男主角覺得甚麼時候最幸福，男主角在劇中開了一間小小的花店，他回答道，當人家稱呼我為＂花店老闆＂時是我覺得最幸福的時候。

對我來說，那就是把＂花店老闆＂換成＂老師＂。我想現在的我是幸福的，希望你們也都能幸福。

2010系統層級程式設計簡介與實做

2011-01-13T13:21:00.000+08:00

2011/1/12

期末Project評分方式請見:

期末作業評分

-------------------------------------------------

2010/1/5

期末Project:

期末作業的規範如下:

1. 使用8051當做中央處理的機器，此為模組一，其工作如下:

1.1 接收來自影像輸入模組的資料。

1.2 傳送已處理之影像資料至檔案寫入模組。

1.3 接收來自參數模組織參數決定處理方式，處理動作於接收來自參數模組之訊息後才開始。

1.3.1 如參數為0，將每一影像pixel亮度加上20

1.3.2 如參數為1，將每一影像pixel亮度加上20

1.3.3 如參數為2，將每一影像pixel亮度取sqrt後乘以16

1.3.4 如參數為3，將每一影像pixel亮度平方後除以256

1.4 通知影像輸入模組可以再輸入下一張影像

2. 影像輸入模組，此為模組二，其工作如下:

2.1 主動輸入一張以YUV格式的影像，檔名由使用者輸入。

2.2 顯示此一影像

2.3 通知模組一來接收影像。

2.4 接收模組一的訊息以示可以處理下一張影像。

3. 檔案寫入模組，此為模組三，其工作如下:

3.1 接收來自8051處理後的影像資料。

3.2 根據使用者輸入之檔名寫檔。

3.3 顯示接收之影像

4. 參數模組，此為模組四，其工作如下:

4.1 使用者輸入處理參數

4.2 通知模組一接收參數並開始處理。

在此，不限定模組織間的溝通通道之實作方式，但是，如果以

1. 一個統一的匯流排(Bus)的方式實做(也就是另外設計Bus為模組五)，加學期總分三分。

2. 如果定出Bus 的協定(含Timing Diagram)並實做出Cycle Accurate (CA)的Bus模組，再加學期總分五分。

以上加分機制實施後，以總分為99分為成績上現。

期末作業需含完整報告，並附執行檔，將視報告完整度酌量增加評分。如果只有程式以及可執行之執行檔，將只有期末作業50%的分數。

期末Project期限為11:59:59PM, 1/24, 2011，不再展延。如之前有作業要補交，也請以之為期限，但成績以乘以0.7計。成績將於11:59:59AM, 1/26, 2011公佈在系辦公室公布欄，如有疑義，請在4PM, 1/26, 2011前向助教詢問是否有登記錯誤，之後將不再接受更改。

-------------------------------------------

2010/12/20

這是SystemC有關Ports的部分.

請在這裡下載: Ports

有關SystemC Communication的更詳細解說請見: SystemCBook

---------------------------------------------

2010/12/17

有關8051的簡介以及工具

請在這裡下載: SCREAM 805, its toolchain and FPGA Emulator

----------------------------------------------

2010/12/15

豪文學長說上星期竟然沒有人把8051 Simulator灌起來，所以實在不知道大家的問題是什麼，請大家趕快動作，因為這個作業最困難之處在於環境的設定。程式倒還是其次。

以下是作業要完成的。

1. 使用 8051 ESL/SystemC Simulator，請先在上面跑一個簡單的程式，然後使用GDB來debug。簡易程式如下:

main(){

int i,k,j;

k=1000;

j=1000;

for(i=0:i<k;i++) j- -;

}

請觀察j的值是否對了。請注意，要知道j有沒有算對，除了用GDB之外，還可以有什麼方法呢?

2. 使用學長提供的8051環境。學長已經提供了一個範例，那是用一個8051以外的Module與8051之間進行溝通。請改寫此一範例，將上述程式的迴圈數改變。也就是k的內含值。此一外掛模組的功能是自鍵盤輸入一整數，再將此一數字傳到8051模組已更改回圈數。

3. 請增加一個模組，將8051計算的每一個j的值傳過去，然後寫入一個檔案。

4. 更改8051之程式，讓它可以接受多次的外部回圈數的設定，並保持第3部分之寫檔功能，直到輸入迴圈數為-1為止。

-----------------------------------------------

2010/12/8

這是SystemC有關Channels的討論與作法

請在這裡下載: Channels

------------------------------------------------

2010/11/17

這是SystemC有關Concurrency的討論與作法.

請在這裡下載: Concurrency

------------------------------------------------

2010/11/16

這是SystemC有關SC_THREAD與AC_METHOD大致的實作方式與範例.

請在這裡下載: Thread and Method

2010/11/3

這是SystemC有關Main Function以及Module Function的宣告以及大致的實作方式與範例.

請在這裡下載: Structure: Main and Module

----------------------------------------------------------

2010/11/3

這是有關解釋SystemC如何根據時序(Timing)來進行模擬, 因為所有硬體系統都需要跟時序相關的.

請在這裡下載: Timing

-------------------------------------------------------------------

2010/11/3

這是有關解釋SystemC的資料型態.

請在這裡下載: Data Types

_____________________________________________________

2010/10/21

這次的投影片是講解更多的範例以便讓同學多了解SystemC的寫法，這個投影片也是一般SCREAM Lab的自己內部訓練用的簡易型資料，在此同時也規定了第二次的作業。

請在此下載: System Beginners

------------------------------------------------

2010/10/19

對不起，借一下版面，今年的專題指導名單為:

1. 李柏毅

2. 陳政澤

3. 陳奇鴻

4. 林俊緯

假如前面四位有人改變心意的話，那麼

5. 柯旻漢

對不起，耽擱大家。並向沒抽到的說聲抱歉。

-------------------------------------------------

2010/10/11

這上星期，我們對ESL的重要性做了一點簡單的介紹，為了讓課程的主要進度可以快一點，所以我要先介紹一點SystemC，此一目前的ESL標準程式語言，等大家做了第一個SystemC作業後，再回頭來講ESL的其他觀念。

以下是SystemC的Overview: SystemC Overview

HelloWorld程式範例如下: SystemC HelloWorld Example

範例程式請在這裡下載: SystemC Overview Program Example

-------------------------------------------------

2010/10/6

作業上傳位址:

ip : 140.116.82.184
port : 21
user:eslcourse
password: scream

--------------------------------------------------

2010/10/5

這學期，我把上課順序調整一下，先講一點ESL的觀念，然後上SystemC的入門，再回來講完ESL。然後再上其他的課程。

這樣做的用意是8051在其他課程已經再上了，我等一下子再上，其用意只是在於補充一點資料以及我的實驗室所在用的與8051有關的ESL工具。這是有關ESL的整體的概念性簡介:

Basics of ESL Design and Modeling

第二回上課投影片在此下載: ESL Basics

未來的Topics包含:

SystemC coding and simulation

Review of Verilog coding and simulation

SCREAM8051 and its Toolchain

OpenESL

Heterogeneous Simulation Environment

Simple SoC Design, Modeling and Simulation

HW and Grading: 五個, 分別練習 C++/Threads, 8051 coding, Verilog coding, SystemC coding

Term project: Simple SoC Modeling and Simulation Using 8051/ModelSim/SystemC/Verilog

HW(60%)+Project(40%). 如期末作業未交或兩個作業(或以上)未交則不及格. 作業必須要能正常執行, 否則視同未交.

課程資料:

主要上課資料: 線上投影片(PDF 格式)

參考資料: 1. SCREAM Lab Blog

2. SCREAM Lab Open Source Blog

3. SystemC From the Ground

4. The Guide to SystemC

助教的Email: ProdigyJerry@gmail.com

假如你們還對此一topic想有進一步的了解, 可以Google以下的關鍵字。

1. SystemC Simulation Kernel

2. Advanced OpenESL tool development

3. TLM2.X

4. ARM Processor ESL Model

5. Multi-core Virtual Model

6. Multi-core Programming on Virtual Model

7. Multi-core application programming using CUDA

8. Debugging tool for microprocessors

---------------------------------------------------

我一直覺得SoC設計應該要由資訊系的學生來做才恰當, 但是資訊系的學生一向怕硬體, 為了破除這個問題, 我在2009的下學期的大學部開一門選修課, 課名如標題. 英文標題是:

Introduction to Programming and Tools of Electronic System Level (ESL) Design

我寫了第一階段的投影片, 用意在簡介一下ESL的設計觀念. 如下:

Electronic System Level Design Basics

上面投影片的內容還會再更新，但是可以供大家參考。

因為是大學部的課, 一些基本的東西還是要含蓋一下, 我又不想把課弄得講太多ESL, 可是實務卻做的少. 所以我計劃有一章是基本工具與知識的介紹, 以便在實做term project或Homework時可以用到. 以下是幾個重要的Topics:

1. C++ Basics

2. Threads

3. Processes

4. Verilog HDL Basics and Logic Design

5. HDL Simulator and FPGA

6. SCREAM 8051 and toolchain

7. SCREAM OpenESL

8. Computer Architecture Basics

這一些Topics本來有些是同學在其他課程當中就修過了的，但是假如您覺得自己還不夠清楚，請自己加強一下，老師只負責簡單介紹。

這學期的上課資料多半會跟去年的類似，但是我會在做一些資料的修正與補充。而由於8051的部分，我們的工具經過一年的修正，加上專題學長的努力，bugs已經少很多了，也就是期末的作業會進行得更順暢，在此向上一屆的同學說抱歉，也向負責的學長說謝謝。

最後，我發現同學對微處理機與計算機組織的支是還太弱，這是硬體系統設計的基礎，希望同學多自己加強，另外就是8051的使用也是本學期的重點，希望同學在微處理機課程裡多用功。

2010/9/12

以下是第一回的投影片, 是有關C++, Process與Thread.

請在這裡下載: C++, Process與Thread

新版的投影片請在此下載: C++/Process/Thread

10/14要繳交的作業內容在新板投影片裡。

與老師的談心時間

2010-12-31T11:56:00.000+08:00

為了方便老師跟同學每週上網頁新，我將連結公佈在blog上。
https://spreadsheets.google.com/ccc?key=0Ah21HMqvV0hCdEpBb1RBbldocmRNLXBvM0RTRXJVNWc&hl=en
另外提醒一下，本週(12/13~)碩一的同學通通還沒填哦。
話說，現在blog文章是不是不能透過修改發佈文章的時間(i.e.設成未來時間) 來置頂了呢？

Score Alignment and Following - 小聽

2010-12-30T17:38:00.061+08:00

[20110223]

‧DTW path onset selection 一個midi frame對多個wav frame的問題
1. midi的ADSR之A第一個值不從零開始，改成0.1。(也許是因為0對noise太敏感)
2. midi onset frame定為A state的中間。

‧MATLAB記憶體不足的問題
1. use memory defragmentation (因為MATLAB需要連續的記憶體)
2. frequency domain用其他的scale
3. others...

‧目前的Cakewalk舊版讀MAPS的midi會有錯

[20110217]

W partial之外的bin設為0的方法。請和2/9的圖來比較。

[20110210]

schedule:
deterministic harmonic constraint -> temperal smoothnese -> spectral smoothnese

[20110209]

同樣是 Friedrich Gulda 的 K 281 - Andante Amoroso
抓了一個低音域的連續八度音片段

λ = 100, garbage = 1

58.2705Hz的基頻能量非常小，由於圖比例的關係看不出來。
但是實際上它的能量真的很小，且看的出來三倍頻能量比基頻大許多。

後來去看西班牙鋼琴資料庫的一些低於100Hz左右的單音頻譜，
發現也有某些二三倍頻的能量大於基頻許多的例子。

[20110126]

All is 440Hz.
piano : wav

violin : wav

trumpet :wav

[20110125]

P mask, tone model, if else.

[20110120]

Midi note envelope:

Transient part : A= 0.02s, D=0.02s, fixed.
Otherwise, S and R can be scaled.

K281.Andante - 2 bar

1. 將第1、2個template除外的其他template (3rd~13th)，給之inital H，
而W的部分先用原本gaussion的initial partial方式來training ，如下圖。

結果：

2. 把3rd~13th template W也用上第一次的結果，如下圖。

結果：

兩者好像差不多...

[20110119]

harmonic bands寬度: 一個半音->半個半音
Mean of all onset difference (Midi synthesized-G Air-2 bars)
0 garbage = 0.057472555 -> 0.057610769
1 garbage = 0.167695353 -> 0.087274952 (!)

對付實際演奏的音檔，應該還是需要garbage template的存在，
所以以後把bandwidth設成半個半音來做實驗好了。

因此將garbage template 個數1，半個半音的bandwidth為參數，
改變midi envelope為ADSR，如下圖：

Mean of all onset difference : 0.087274952 -> 0.400023036
結果每個onset都變糟了！

以template #14: 440Hz為例，共有三個note，

左圖是簡單的梯形envelope，Diff = ( 0, 0.053333333, 0.022358277 )
右圖是新的ADSR envelope，Diff = ( 0, 0.152018141, 0.376462585 )

看圖，如果把onset的位置像老師說的定在A stage的中間，那麼應該會準一點吧！

[20110118]
Friedrich Gulda - Mozart Piano Sonata K 281 - 2. Andante Amoroso - 3 bars

λ=100

λ=10000

λ=100, 1 garbage

λ=100, 3 garbage

Mean of all onset difference (Midi synthesized-G Air-2 bars)
0 garbage = 0.057472555
1 garbage = 0.167695353

[20110114]
套一個衰減較快的簡單envelope似乎效果比較好一點

[20100112]

今天大家討論之後發現好幾個問題將midi note的能量套一個簡單的envelope，如圖：

目前發現有兩個地方因此有所改進：

1. 對於同時出現的pitch音，在DTW時有了改善，以440為例，在第二小節後半的部分第一聲部和第二聲部同時出現。

原本：

後來：

可以看出在2500的附近path有找到第二個peak。

2. 90度的dtw path 會有 midi frame 一對多個 wav frames 的情況，因此我們需要要訂立一個規則去選擇那一個frame是我們要的，onset部分看起來都是選第一個 frame是最好的，所以假設規則是選最前面的frame，但是在offset的時候卻可能差很多，如下圖。

原本：

後來：

可以看出offset的位置依照規則來選的話結果算是好的。

[20110106]
todo :
1. midi中音符的地方能量改成"梯形"。
2. training一次後，使用initial W : 在某個時間點沒有其八度音的音，initial H : DTW的結果。

貼一下結果圖：

[20101230]

今天大家討論之後發現好幾個問題

1. 音檔比譜高了八度音
2. partial filter bands 忘記inverse
3. 音檔本身高頻就沒有能量
4. 左手應該是Do mi so，比譜多了一個E5。
(實際用鋼琴測試了一下，應該是有彈mi)
5. 多音可以用garbage template來解決，
少音卻可能會發生那個template吃掉別人的partial能量的現象。

更正一下結果圖：

‧λ=100的harmonic的效果不夠好，右邊的才有比較好的效果，
其中第一個template的第二根peak就是 Mi (E5)的基頻。
‧partial數很少是因為音檔本身的問題。
‧目前的五個template是代表 C5、G5、C6、E6、G6
可以發現八度音和五度音的問題確實會影響很大...

[20101229]

Input : (performance wav , piano )

(按圖可放大)

使用鋼琴的演奏音檔，觀察頻譜發現這個樂器的特性不是f0能量最大而是partial 1。
NMF的結果，對照initial template的圖可以很明顯的發現partial跑掉了，將harmonicity cost function的 λ 加大也沒什麼效果..

[20101227]

Input data：First bar of "Back - Air on the G String" (wav synthesized by MIDI )

Only initial：# partial = 10, Gaussion distribution ( σ = 1)

With additional harmonic cost function (by hanyo)：λ = 0.02

The mean of aboutsolute difference between the above two :
W = 1.0837e-007
H = 9.2215e-004

Initial template放了對的頻率之後，有沒有使用harmonicity cost function的結果看起來是差不多的。分的結果看起來不錯，但，也許是因為input是由Midi合成的關係？

[20101221]

論文報告
Parallelism in Dynamic Time Warping for Automatic Signature Verification

[20101216]

將NMF的template設為只能是譜上出現的音+額外具有特殊功能的template，update時加上harmonic的限制。

假設在NMF的結果不錯的原則上，
有兩種方法：

1. 整首歌會出現的pitch都有一個自己的template，得到結果之後，再做單音對單音的 alignment。每個H row，分別去對那個pitch的score，得到自己的alignment。所以音檔裡總共有幾個pitch就會做幾次DTW。

2. 判斷那一個時間點有哪些音，template的個數和其代表的pitch會隨之改變。不做DTW，直接將H的值來分析結果。

[20101213]

● 純MATLAB code的加速：

本來程式是依照這樣的公式寫，很直覺的就是用for loop針對matrix的每一個element去做計算。

後來依照我11/23所報的第一篇paper上面的公式，他把它寫成更矩陣的形式。

[ref. Accelerating Non-negative Matrix Factorization for Audio Source Separation on Multi-core and Many-core Architectures]

改寫後在matlab上跑，參數：frame size = 8192，hop size = 256，# of templates = 10， # of frames = 769。
只計算update部分的時間，iteration = 100次。

origin : 297.644882 (sec)
modified：28.522258 (sec)
speedup：10.4355倍

竟然差了十倍，看來在matlab上真的要盡量用矩陣運算來取代for loop寫法！

● 在MATLAB上使用CUBLAS library的SGEMM(Single-precision GEneral Matrix Multiply)：

矩陣相乘維度參數 m x k x n
假設 C=A*B，A : m x k，B：k x n，C：m x n

每一列的意思：

MATLAB : 使用matlab指令A*B
myAPI：我寫的matlab函式，透過MEX-file得到matlab的參數，因為matlab是double-presicion，要先轉換型態之後，再去使用cublas library，之後再把值傳回。
Speedup：MATLAB time / myAPI time
only CUBLAS：myAPI中，不去計算matlab矩陣轉換到cuda矩陣的時間。
only cublasSgemm：only CUBLAS中，不去計算allocate cuda memory和搬運的時間，只計算lib中矩陣相乘函式cublasSgemm的時間。

左邊的參數會這樣設是仿造目前的參數W*H 來的，但這樣使用CUDA反而比MATLAB還要慢；右邊的實驗是想說資料維度大一點或許就會比MATLAB來的快，結果也如我想的。

接下來如果真的要使用mex & CUDA，應該不能一次矩陣相乘就呼叫一次，因為這樣資料要轉換型態、記憶體allocate還要搬好幾次，不划算。應該要寫一個把整個NMF過程都包含進去的API，最好是整個NMF都在GPU memory上面運作就好。

猜想11/23報的第一篇paper會比後面兩篇speedup來的小的原因是因為，他把每個operation拆開，每一個都寫成一個kernel function去執行，而後面兩篇可能是一次把事情做掉吧。

[20101206]

在Matlab上使用CUDA，可以參考Nvidia提供的pdf。
White Paper - Accelerating MATLAB with CUDA™ Using MEX Files

如果只要使用cuda提供的library，(ex. cufft)...等，那麼只需寫成.c檔就好了。
>> mex filename.c -IC:\CUDA\include -LC:\CUDA\lib -lcudart -lcufft
成功的話就會被compile成MEX-file(.mexw32)。

如果需要自己寫kernel function，要寫成cuda特有的.cu檔案才行，之後交給nvcc去compile。

這時候需要使用一些plugin tool。

A Guide to Using NVMEX tool

可能因為os、matlab、vc版本不同，在這邊會出現一些錯誤。

首先，我使用的是VC9，但範例中是VC8，因此需要修改一下nvmexopts.bat的一些路徑，
怎麼修改請看此pdf中的第6點 (連結)。

再來出現的錯誤
nvcc fatal : Unknown option 'oC:\Users\Vivian\AppData\Local\Temp\mex_F9gfIA\test.obj'
看的出來因為路徑前面多了一個o所以找不到所需要的檔案。

只好去看一下nvmex.pl，把perl中的一些變數印出來看，發現是
$name_arg = $NAME_OBJECT . smart_quote($target_name);
$NAME_OBJECT這個變數的關係。

解決方法是把nvmexopts.bat中，
set NAME_OBJECT=-o　改成 set NAME_OBJECT=
也就是不給它值，就不會被干擾哩。

之後再compile，會發現會出現很多錯誤訊息，
google之後找到nvidia forums 有人和我有相同的問題！ (連結)

將 nvmexopts.bat 中，
set COMPFLAGS=-c -D_WCHAR_T_DEFINED -Xcompiler "/c /Zp8 /GR /W3 /EHsc /Zc:wchar_t- /DMATLAB_MEX_FILE /nologo"

"/Zc:wchar_t- " 改為 "/Zc:wchar_t"，也就是把"-"去掉，這樣雖然會出現一些warning，但是就可以compile過了！

感謝討論串中的eigma大大。

最後小小測試 fft v.s cufft，speed up大概是1.5~2.5左右。

[20101123]
報告

NMF on CUDA

投影片

[20101115]

實作chroma方法on MATLAB，依照Multi-pass...那一篇paper。

Frame size = 8192，hop size = 2048，DTW使用type I，與PSD的一樣。
平均差異值來看好像PSD好上一點，但PSD遇到長音感覺比較容易出錯，且chroma的異常值比較少。chroma在第344個錯誤可能真的是因為那個音的onset的能量太小。

但是在兩個paper中，有一點比較不一樣的地方是在DTW三個方向的weight。
PSD : (w0, w45, w90)=(1,2,1)
Chroma : (w0, w45, w90)=(1,1,1)
有點trick的是，因為是比min，(1,1,1)這樣的weight會比較傾向於走45度角，應該要讓它大一點畢竟走的距離是比較大的，可以看DTW path右上角的小小方區塊，一個走水平方向一個走斜對角方向，可能是此原因造成的差異，也許兩種都改成(1, sqrt(2), 1)會是比較公平的比較。

[20101112]

經由DTW path反推出alignment onset，與之前標的比較。圖為和alignment之後得到的onset與groundthruth onset比較的difference。

另外，因為使用的是typeI的DTW (0, 45, 90度)，所以有可能會有一個midi frame對多個wav frame的情形，下圖分別是取中間frame、第一個frame、最後一個 frame來做為比較的差。

difference error (seconds):

每個frame之間距離2048，所以resolution大約是46 ms。

以下以取中位數frame的情況來分析，數字代表音符的index；
如果說去除大於1.5秒的那3個值，重新計算difference平均 = 0.0937 s，大約是兩個frame 。

第344個音符是BWV1007這曲子中，中間長音之後的第一個音符，在演奏的音檔中，這個音符的onset音量很小。

而第655、656個notes是曲子的結尾，是長音。

接下來有點想要在matlab上實作一次chroma的方法，比較一下這兩種方法對於BWV1007的結果如何。

[20101108]

Implement 6月7號所報告的論文，使用Matlab...令人感動的方便許多。

Midi parser的部分感謝這個網站與它的主人

http://www.kenschutte.com/midi

經由midiInfo可得到每個note的資訊（[track chan nn vel t1 t2 msgNum1 msgNum2]），之後再利用他的piano_roll，此原本是用來畫圖的function，我們丟進適當的時間間隔參數（hop的時間長度），就可以視為是我們的譜的roll，接著用回傳的PR矩陣，可以知道每個frame有哪些音符，再利用它造出我們的filter。每個note有8個bandpass filter，bandwith為一個semitone。

依然是先使用Bach BWV1007 prelude做實驗，wav是2分44秒，共656個notes。
圖中藍色線為spectrum，綠色線為band filters。上圖是wav的第2個frame vs midi的第2個frame，distance較小；下圖是wav的第10個frame vs midi的第220個frame，distance較大。

論文中的hop size為256，所以有5.8ms的resolution。

可是如果這樣的話，matlab記憶體會不夠，因為矩陣變得相當大；且論文中提及他實驗的一首兩分半的巴哈小提琴獨奏，就需要2GB的記憶體，但筆電的RAM也才2GB...

所以先使用frame size = 8192，hamming window，hop size = 2048。

左邊是distance的矩陣，顏色越深代表越相似；
右邊紅色線是DTW找出來的對應路徑，0度, 45度, 90度的 typeI，weight=[1,2,1]，頭對頭、尾對尾；此外記錄一下一些參數 thetaD = 0.5, thetaS = 0.5, ss = 1, sd = 1。
可以發現結果和左邊用肉眼看出的由distance小的element所那條組合成的線很相近，不過這也只能說是DTW找出來的path和最小cost真的很符合而已。

要知道結果好不好，還是要和ground truth（之前用cool edit標的）比較，下一步應該要把cue的資訊弄進matlab計算正確率。

[20101026]

報告
Artificial Neural Network: An Overview
投影片

[20100928]

論文報告
A Multi-Pass Algorithm for Accurate Audio-to-Score Alignment
投影片

[20100802]

論文報告
Improving Polyphonic and Poly-Instrumental Music to Score Alignment
投影片

[20100608]

Q:
我有一個spectrum，已知裡面的某一個f0，想要知道它是不是單音且為harmonic ？
A:
1. filter : 因為知道f0，在每個倍頻上用 gaussian 去 model 每個 peak
2. 計算 : spectrum 的總能量 - spectrum 經過 filter 後的能量
3. 如果是單音且為harmonic，那麼剩下的能量應該會很小。

[20100607]

論文報告
Alignment of Monophonic and Polyphonic Music to Score - Ircam.
投影片

除了之前看的chroma feature，也有好一些人是使用這篇論文提出來的方法。這篇論文是2001年publish的，它提出了一個名為 Peak Structure Distance(PSD) 的 feature，這個Distance用來當作DTW中的local distance使用，相對於之前我們的作法就是用來取代Euclidean distance。

PSD簡單來說，就是去算score frame與 audio frame 的peak的相似度，越相近distance越小。另外它還model了一個note的開始 (attack model) 與結束 (silence model) 。

它做了很多仔細的實驗和數據，結果看起來不錯，感覺上還蠻值得參考的。下次會看也是由Ircam在2003年發表的paper，關於這個方法提出的改進。

[20100604]

以 Mozart piano sonata K.545 的前四小節為測試曲子，修改 midi 來合成測試的 wav。
Midi 合成 wav 軟體 : WinGroove

目前ground truth : Calkwalk 看 event list -> Cool Edit 人工標記
（未來：不執著於要存到wav裡的cue，用另外的檔案代替儲存。）

新增輸出 onset error 詳細資料的 html table。

測試了合成時有無reverberation、某個時間點譜不只一個音出現但audio其中一個音比譜晚出現半拍的情況。

進度投影片

link

[20100521]

由於想了解DTW在一些特定的情況之下會有怎樣的行為，因此我用midi式的chroma feature來作實驗，測試了比原本的 chroma 多音、少音、平移幾個半音，對於兩種 type 的 DTW 會有怎樣的結果。

另外也測試了 piano 與 trumpet 的片段。

進度投影片

link

[20100503]

論文報告
Handling Asynchrony in Audio-score Alignment
投影片

[20100430]

現在的目標，是讓score alignment夠準，然後能自動截取audio中每個音的起始時間，還有結束時間，它的f0和partials的frequency、amplitude，來做合成使用。

新增輸出 cue 詳細資料的 html table、輸出 alignment 結果所對應的midi、wave 之 frame、second 的 html table。

程式有bug待修。

進度投影片

link

[201003022]

論文報告
GPU ...

[20100204]

兩件事情：解決讀midi的bug、score alignment的onset時間 v.s 人工標記的onset時間。

1. 讀midi的bug : 在某些時候會少讀了一些長度
發現依然是讀檔時，byte轉換發生的問題，java的byte是signed，所以當值大於127它就會變成負的，再去做排列就會錯。這個問題之前也發生在讀wav的時候，用一樣的方式解決就好了。

更正一下上次po的圖，BWV1007前兩小節(點圖可放大)
midi :
wav origin :
wav considering partials :

2. score alignment 結果的onset時間 v.s 人工標定的onset時間

FFT frame size : 4096
hop size (兩個frame起始位置間隔) : 512
表格裡面的值 (秒) :
|score alignment 結果 - 人工標定的onset時間| / 總共onset個數


可以發現前四組結果，有考慮partials的方法會比沒有考慮來的好一些，
但是如果是整首BWV1007來做比對，兩者結果都變差許多，而且有考慮partials的方法結果還變得比沒有原始的方法差。

對於整首的這組結果來觀察，發現平均值增大的原因可能是因為有幾個onset的差異比平均大許多，大概一秒鐘左右。而有考慮partials的方法差異大的onset比原始方法的這種情況還要多。

新方法大約310-343+後面24個onset誤差較大，原始方法大約323-343+後面20個onset誤差較大所致。第343個onset對於BWV1007剛好是歌曲的段落，是一個長音，而且BWV1007這首歌除了中間和最後的兩個音是長音，其它都是16分音符，不曉得是不是因為這個原因讓判斷變差。

[20100120]

論文報告
Music Score Alignment and Computer Accompaniment
投影片

[20091231]

BWV 1007前2小節對譜全圖 (點圖可放大)

沒加新方法的 wav :

有往上加 partial 的 wav :

midi :

可以看出，有加了往上疊加 partial 能量方法的對譜效果比較好，

最後面的部分沒對好，是因為 midi parser 那部分有些問題，最後面少讀了一些音。

所以接下來要幫 midi parser 的部分code debug。
→ check 完學長原本的 c# 程式應該是對的，所以可能是改到 java 的時候不知道哪裡改錯了...　　(20100105)

[20091221]

首先是解決冠廷學長之前沒處理到的部分：由於 map 到每個 pitch class 的 bin 數量不會一樣，所以要做一次 normalize 的動作。

左邊圖片是原本的，右邊是有加上取平均。(也就是傳統chroma)
1. white noise
2. BWV1007-15s

之後就作新加的部分，要往上加 partial 能量，也加上了 normalize 取平均的步驟。
以 BWV1007 前 15s 為例：
1. original
2. 每個 bin 從 frequency domain 中找最接近的partial's bin，加總其能量並取平均。
3. 每個 pitch 從 frequency domain 中找最接近的 partial's bin，加總其能量並取平均。(花較少時間)
目前以第三個方法為主。

上面三個圖之間似乎沒有很大的變化，
第二個比較稍微不一樣一點，第一個圖和第三個圖只有些微差距。

令人在意的是第二個音，譜是 RE，但是卻是五度音的 LA 能量較強，用了新的方法依然沒解決這個問題，這蠻出乎意料的。後來印出一些資料來看，發現可能是threshold設太小的問題。

這個threshold是用於判別這個bin是不是目前基頻的partial：
| (bin frequency/基頻) - ((bin frequency/基頻)最接近的整數) | <= threshold 　所以我試著將 threshold 從0.001 調整為 0.1，第二個音 RE 就出現了！對譜的結果也比之前的好

[20091217]

論文報告
Audio Thumbnailing of Popular Music Using Chroma-Based Representations
投影片

[20091216]

與老師討論了一下，以後可能有兩個方向可以走。

1. 假設 midi 是對的。
我們可以經由 DTW 的 cost 去調整 partial 的比例，也可以說是 chroma template 的 weighting 參數，以貼近現在樂器的特性。
比如說現在這把大提琴第三個partial的能量會特別高，希望可以經由 DTW cost feedback 來調整我們的 chroma template 的參數。

2. 假設知道是什麼樂器，而且只適用在這首歌只有一種樂器上，但是這樂器可以是多音。
(1) 把 midi 經由這樂器的音色庫，合成出符合這樂器的 wav，轉成 chroma 後再進行對譜。
(2) 由 wav 來建 instrument model，藉由這個來讓 chroma 更準確。

[20091211]

看了老師的回應，和小明學長討論了一下，預計的做法是：
FFT(4096) -> map 2048個bin到最接近的 pitch -> 每個pitch從frequency domain中找最接近的partial's bin，加總其能量，取平均。

這樣應該會減少一些計算量。

[20091209]

為了解決五度音等partial重疊導致能量貢獻給別的音名的問題，但是又想要維持使用chroma，也不想要在這裡使用pitch detection等較複雜的演算法。經過討論之後，決定現在多一個步驟的做法：讓每個頻率往上找它的partial，把其能量加起來到自己身上，這樣重疊的partial能量就會貢獻到可能是它的f0的身上。

流程 :
FFT (size:4096) → Map 每個 bin 到最接近的 pitch frequency → 每個 bin 往上找倍頻的能量並加到自己本身 → 每個 bin 分配到 chroma vector

我們使用的pitch frequency table是參考wiki的音高頻率表

另外就是這個演算法花的時間很久...

結果:
發現最下面那條Do的pitch class的能量一直非常大。

後來發現是因為第一個bin大約是10.7666Hz左右，然而第一個bin一定是所有bin頻率的因數，對照pitch frequency table，10.7666Hz最接近的是C0(DO)，因此它的能量因此會最大。

忽略了第一根bin的結果:
發現變成是往上數第六條的能量最大，對照音名是FA。這是因為第二根bin也是好多bin們的因數，第二根bin頻率大約是21.5332Hz，對照表最接近的是F0，因此得知。

後來和小明學長討論發現了另一個問題，都是關於應該需要去取平均的地方。

1. 冠廷學長做Chroma的方式，如果是採用每根bin就map到跟它頻率最接近的那個音之後加起來，那麼事實上他可能忽略了一個問題，低頻的部分兩根bin中間可能有好多的音在那個範圍，在高頻的部分可能在兩個音的範圍中間會有好多根bin，因此會有每個音所擁有的bin會不同數量的問題，我們實驗用white noise當作input，真的發現chroma的顏色並沒有分布的很均勻。所以應該要讓每個音除以它所擁有的bin的個數，取平均。

2. 在我們新加的方法中，低頻的bin會有較多的partial，所以能量加到自己身上之後，應該也要除以partial的個數來取平均。雖然這樣當能量懸殊的時候還是會造成彼此相對的差異減少，不過總是比沒有做normalize來的正確一些。

[20091201]

用BWV1007前四小節去跑，發現wav chroma錯誤了。
1. 前兩個音SO(低)、RE的部分，推論是因為五度音的關係，f0相差1.5倍，因此倍頻重疊了，RE的部分能量被認為是 SO 的。
2. 後面四個音也錯了，變成都是LA，推測是因為frame size不夠大，造成 fft 後頻率域的resolution不夠高。

origin frame size : 2048

frame size : 4096

frame size : 8192

可以看出增加frame size以增加frequency的解析度，結果準確許多。
不過第二個音 RE 的部分為什麼chroma顯示出來是 LA 的能量最強呢，是因為 RE 和 LA 是五度音嗎？
但是觀察spectrum，發現440 Hz左右真的有一條能量強的partial，所以不只是 RE 和 LA 第一個重疊的倍頻880Hz所分配給 LA 的部分。

→ 440Hz是這裡的 RE(146.83Hz) 的三倍頻沒錯，之前誤以為是它的高八度 RE(293.66Hz) ，而它的三倍應該是880Hz，所以才會疑惑為什麼會有440Hz的強能量。(20091202)

(按圖可放大)
另外，SO 的能量一直很強，造成餘音的效果。雖然譜上看起來是單音的樂曲，但是實際上是多音。可能是因為樂器的特性，第三個partial的能量特別強。

目前把頻率域的值map到chroma gram的方法是，準備一個10個八度音的frequency tabel，然後就去對和哪個pitch最接近，再map到chroma vector。
這樣的方法，五度音的partial能量會分配給兩者頻率較高的那一個。ex. RE (293.66Hz)的第三個partial、LA(440Hz)的第二個partial，大約是880Hz，而880Hz對照frequency tabel是LA。
但是學長也提到，如果採用傳統f0 detection的投票方法，那麼五度音的重疊partial能量會分配給兩者頻率較低的那一個音。

學長建議，接下來有兩條路。
第一條路，去解決五度音在chroma vector上表現的問題。
另一條路就是略過五度音的問題，找個沒有五度音的片段，往下找DTW在對譜時所展現的特性，也就是找DTW在對錯譜前後的參數變化情況。

[20091128]

把DTW 的matrix印出來。
本來是要印成文字檔，但是實在不好觀察，所以就做了另一個可以輸出成HTML的版本，這樣可以用簡單的方式去讓印出來的tabel上色和排列。

不過table真的很大，光是一分多鐘的dtw table的txt檔案，就可以達到450MB左右。
以下是用BWV1007前四小節的結果。

type 1 :

type 2 :

粉紅色底的格子是代表dtw找出來的path。

[20091124]

標音檔的SOP(手稿)

工作畫面
上方是cool edit，左邊是cue list(Desc欄寫pitch)，下方是catwalk，主要是拿來顯示譜。

[20091122]

標好了巴哈無伴奏大提琴BWV 1007 Prelude，大約兩分五十秒，655個音，655個cue。
每個cue我都給他一樣的長度(4096個sample)，因為要抓住那個音是哪個瞬間出現的有點難，所以後來決定去抓換音的瞬間，因為換音耳朵比較好辨認，所以我想起頭音的時間點就設cue的中點。

小筆記：
1. 20小節的地方音檔或譜似乎有錯，
音聽起來是do# la mi fa so mi fa so
譜是do# la do re mi do re mi
觀察DTW的時候可以注意一下這地方。
(應該是midi錯，因為去找過youtube上面的影片聽過跟wav是一樣的)
2. 發現mi不知道為什麼波形amplitude都比較大
3. 同一個音連續出現的話有點難聽出onset，所以是看波型來標。

之後，用之前的java程式去跑跑看，在作DTW一直出現例外 java.lang.OutOfMemoryError: Java heap space，有試著逐步幫JVM加大他的記憶體，但是還是出現一樣的例外。
所以我就想知道這樣的長度DTW到底需要多大的記憶體，就用學長之前的C#程式去跑，發現DTW大概吃掉1.5G左右的記憶體。可是給JVM這麼大的記憶體參數，會顯示無法建立的訊息。

目前wav的frame size是沿用學長的2048 overlap 512，想改成4096 overlap 2048，這樣可以減少frame的數量。此外midi是用一個tick當作一個frame，所以frame的數量很大。因此兩者所構成的DTW matrix使用的空間是很大的。

[20091112]

論文報告
An Efficient Multiscale Approach to Audio Synchronization
投影片

[20091023]

讀cue的程式寫好了，用 java去改寫，因為想說之前的chroma部分也是用java來做。
結果大概如下圖，測試的是原本語音的檔案。

因為我們的目的是要知道onset，所以對於cue來說，我們需要的就只是某個cue的起始時間。所以學長建議我，在幫音樂wav標onset的時候，cue的長度用很短就可以了。

現在我先著手標記巴哈無伴奏BWV1007的onset，因為它是單一樂器，而且它的節奏不會很快，可能會比較容易。現在覺得有個問題就是...要抓住並判斷音出現的那瞬間真的有點難@@

[20091006]

為了可以在wav上面標記出正確的onset作為比對資料，和小明學長去了吳老師實驗室詢問了一下，知道了可以用cool edit直接在wav檔裡面記錄cue list，方法很簡單，就是用滑鼠選取這個cue的範圍，然後按下F8就可以了。

學姊也給了一隻他們之前寫的程式給我，是用VC6+MFC環境寫的關係，還有它的output有用到資料庫，我的電腦上執行不起來，所以想說自己來改寫一個。

[20090924]

論文報告
Polyphonic Audio Matching and Alignment for Music Retrieval
投影片

[20090924]

學長的程式已經轉換到java完畢。
以前的程式架構，是每個步驟都是分散手動進行。

然後我現在把它整合在一起。

Improvement :
1. 整合、連貫各個project的功能。
2. 自行從GUI選擇讀取的檔案，不再受限於固定名稱。
3. draw onset frames
4. 可以使上下兩個scroll bar同步移動方便對照

程式畫面和流程 :

[20090908]

學長的MidiParser專案轉換到java已完成，得到的結果也和學長的一致。bug仍然是出在byte的問題，不過由於上次的經驗，這次解決就快多了。

這個專案的功用是：讀取midi file並分析，得到midi的chroma，也輸入了上個步驟得到的wav chroma，將兩個chroma做DTW，最後輸出onset的資料。

另外發現學長midi的delta-time(variable-length quantity)算法好像有些錯誤。這部分還需要find out。

→ 學長沒有錯，是我誤解code的意思。 (20090909)

[20090831]

首先確定JAVA和C的input stream對於wav值都是使用同樣排列方法。

使用上次說的網站的方法去做會有問題，因為它這樣出來的值全部都會是正數，這樣不是我們想要的結果。所以我們要偵測第二個byte的highest bit是0還是1，如果是1的話，代表這是一個負數，所以我們在幫int的最高和第二高的byte補上1。

由此得到的int就是我們要的sample。和MATLAB的值對照過，兩者是相同的。

另外這是如果我們每一個sample想用short去存的方法。(最初是用short)

比起最之前的寫法，是多了把在smaple裡的lower byte & 0xff 這個步驟，因為這樣可以先確保他會先轉換成是一個positive的int，再轉換成short，這樣值就不會錯。如果直接轉換的話，他可能會認為byte值是負的然後就轉換到一個不正確的short，之後higher byte再往左移8 bit之後合併數值會有問題。之後也確認了這個方法與MATLAB的值一致。

最後使用的是網路上找的java FFT code，學長使用的FFT code的結果，虛部會差一個正負號，但是因為我們用的是能量值所以不會影響到chroma。不過我不確定我找的那個是不是open source，能否自由使用...

能解決這個問題感謝DNA與小明學長的幫忙。接著我開始來改MIDI Parser的部分，找到了java有提供javax.sound.midi這個package，試看看能不能拿來在這個部分使用。

[20090824]

把兩邊程式的FFT結果印出來，發現值真的不同，著手改寫冠廷學長使用的c# FFT sourse code改成JAVA，錯誤還是存在。後來小明學長建議用MATLAB裡的wavread還有fft function去做，把從MATLAB得到的wav還有fft值分別和C#、JAVA讀到的wav之後用MATLAB fft做的結果去比較。

結果是發現JAVA的是在讀取wav檔的值就有錯了，每一個frame裡錯誤的個數、index都不一定，錯誤的element值和正確的值相差的都是256的倍數，目前測試結果最大可差別到256*8=2048。猜想可能是overflow之類的問題。

Google到這個網址，Reading and Writing Wav Files in Java，它說因為JAVA不像C語言，沒有unsigned type的設計，都是two's Complement，所以使用java的File-IO得到的資料還要經過處理，他提供的解法是比如說2 bytes的short 就用4 bytes的int來代替，int用long來代替。這個可能就是我們的問題所在，會用此方法來試試看。

[20090818]

與冠廷學長交接之後，開始著手改寫程式從C#轉到JAVA，這是為了將來可以使用在authoring tool上。目前改寫至可以運作的部分有：

1. Read wav file → FFT → Chroma Vector

2. Music Library

但是比對我的程式和學長的程式對同一個wav檔案所轉出來的chroma，發現能量最高(=1, because of normalization) 的地方在某一時間區段是不同的，後來覺得只比對能量=1的地方好像不是很好，所以以下是用圖片來呈現。發現c#的結果乾淨許多…

java

由於學長程式的FFT是使用c#的open source code，我目前java的版本也是先使用外面找的java code，所以推測可能是在FFT這步驟出現不同所以導致結果不一致。老師建議把先FFT的結果印出來作驗證。

[20090714 by SCREAM Lab, NCKU, Taiwan. 位於下午 6:08]

在MIREX2008裡面有一個比賽項目叫做Score Alignment, 網址如下:

MIREX2008 Score Alignment or Score Following

其實就是冠廷學長的論文其中的一部分. 冠廷用的是Chroma Feature, 其論文我們過一陣子再Post出來, 但是我們一貫的討論可以在下面看到:

冠廷的Polyphonic Music Information Retrieval

這個問題對我們很重要, 不過一般的Score Alignment做的要是能從頭Follow到尾, 也就是冠廷做的. 研究上當然是要如此完整, 但是假如以短時間內能用到我們要做的應用, 那麼是可以有一些妥協的. 比如說, 我們可以讓使用者把一段Wave框起來, 在讓它來對Target的譜子, 而且一次只要對一部分的譜就好, 例如四小節, 八小節, 長短就看我們的演算法的好壞.

這個串今天由我來起個頭, 接下來就由小聽來接續. 我建議可以將冠廷學長的方法先弄起來, 然後找其他人的論文來Implement, 久了後, 相信會越做越好, 也許有一天我們也可以去參加比賽.

另外就是Score Alignment會是Authoring tool的一部分.

Pitch/Partial Tracking的新方向 - 胤霖

2010-12-30T02:34:00.003+08:00

-----------2010.12.30-------------------

簡單測試使用已知和未知的initial templates，單獨分析一個time frame。(frame size = 8192, initial number of templates = 4)

W未知(random)：

W已知(由上而下分別設templates初始音高為 - G2, D3, B3, A3)：

如果W沒有給適當的資訊，training的結果就整個都很亂；反之，結果好很多。

-----------2010.12.28-------------------

論文報告：
Non-negative Matrix Factor Deconvolution; Extraction of Multiple Sound Sources from Monophonic Inputs
ppt

-----------2010.12.23-------------------

接續上次的結果，加上限制條件的同時再多加一個random不受限的template：
(藍色-result of standard NMF；紅色-再加harmonicity & random tamplate)

-----------2010.12.10-------------------

"但是基本partial energy分配沒多大變化，可以解釋一下嗎?"
老師提到的這個問題，是不是指被抑制的partial們沒有影響到其他template?
我的想法是這樣：
在這次的例子中，每個templates裡都有一根很明顯的G2基頻(下圖紅色圈圈示)，但是加上限制後，這個能量被抑制了，結果全部集中到A3裡，所以最後A3中G2基頻的能量反而特別高(此外，也許連其他雜訊也都跑到這裡了)。

我用cooledit將原本的音檔分成兩半(剩下前八個音，前八個音和後八個音是重複的)，再把A3這個音直接刪掉，如下圖(譜)。

以這一段音檔測試有加和沒加限制的結果。lamda設為1。initial template = 3。

上圖左是沒加上限制，右邊有。
結果和上次相似，圖右的B3也是雜訊能量增加。

-----------2010.12.7--------------------

簡單的測試一下harmonicity的必要性:
測試的曲目為巴哈無伴奏前16個音，使用4個templates，在第一次run完NMF演算法後，分別以這4個templates中的4組partial groups來作harmonicity的限制。
限制的方法(很久以前報的)，在原本的cost function中加上一個計算雜訊能量的項，如下式:

S用來取出W中，不為harmonics的能量。

其中的lamda我還沒有去計算出正確的值，以下的結果以1/8和2代入。
lamda = 1/8

上圖左沒有限制，右邊有加上harmonic限制。
加上限制後，不在各個template的harmonics上的能量變小，但都還在。

lamda = 2

上圖左沒有限制，右邊有加上harmonic限制。
lamda值增加後，除了A3這個template雜訊的能量反而增加，其他的不在harmonics上的能量都被消掉了。
不過以上的結果，可能因為我使用的update rules而有錯誤，之後會確定一下公式的正確性並找出適當的lamda值。

-----------2010.11.30-------------------

論文報告：
Nonnegative Matrix Factorization with Markov-chained Bases for Modeling Time-varying patterns in Music Spectrograms
ppt

-----------2010.11.2--------------------

論文報告：
TIME-DEPENDENT PARAMETRIC AND HARMONIC TEMPLATES IN NON-NEGATIVE MATRIX
ppt

-----------2010.4.27--------------------

繼續上次的實驗，把相同的compoment加再一起。
加完後W變成:

以此W去測試，結果如下:

左邊為X矩陣，右邊為W矩陣。
因為第4個W較雜亂，所以把她刪除看看結果(第7個取代第4個):

結果和上一張圖的幾乎相同。
分開過後的W很多值都變成0，在train後也不會再有值，也因為這樣partial的形狀都不太改變了。

-----------2010.4.14--------------------

針對巴哈的小步舞曲第三節，原本會有在同一template觀察到兩個partial group的問題，測試結果如下。
第三小節的譜:

原本作出來混合的W和其對應的X :

如圖所示，第2、5、6個template都有混合的音。
新的W長這樣:

再次train的結果(W和其對應的X):

除了第4個還是很雜亂，其他的templates都保持很好的partial的形狀。

-----------2010.3.19--------------------

上次的實驗結果不盡理想，所以做了以下的修改：
1.Input較小的錄音片段，每次大約1到2小節。
2.檢查用來做template的西班牙錄音，看看他的諧波結構是否影像NMF結果
3.要保留較好的W時，一次保留較少的template。

一開始我先試了一下上次的小步舞曲那個片段的第四小節(共4個音)：
先檢查西班牙的錄音，我選了C4、D4、E4、F4這四個notes來看，下面是他的頻譜的放大圖：

用這四個音當作templates去算第四小節的結果：

因為部分在基頻前會有小小的peak(能量滿小的)，將其變小如下：

再用這四個修改過的音去算第四小節：

從圖上看來差不多，也許因為那些多出來的peak能量很小，影響不大；所以template算出來不好看應該不是這個原因導致。

接著對於第一次train出來的W，我保留了第一個較好的，再丟回去train一次：

看剛剛的圖有些許不同，第二的template變得比較明顯，不知道算不算是有變好？

然後我算了一下問題最多的第三小節(共6個音)，這個小節一直都有兩個音在同一個template或是miss音的問題：
以下是第一次train：

然後再分別測試只保留1st和同時保留1st和3rd的template。
以下是保留了第一個template後再丟回去的結果：

以下是保留第一個和第三個template後再丟回去的結果：

兩個結果看起來都差不多。音都還是混在一起。

最後，老師問過說如果Ｗ丟random的會怎樣，我分別對這兩小節丟random的W算：
第三小節：

第四小節：

得到丟random也是可以算出結果，而且算出來X的位置還滿準的，不過W沒那麼明顯，第四小節比較好一點，第三小節就看不太出頻率了。

-----------2010.3.10--------------------

為了要改善NMF這個演算法，使它在pitch detection上有更好的辨識度，試著找出、修改他的cost function，主要是希望可以從train的過程中找到好的templates(W矩陣)。現在定義一個有明顯諧波形狀的template是好的，所以在修正時也是讓W可以update成這個樣子最好。然後決定train出來的W哪些是要的哪些是不要的。
要保證選擇好的templates是有用，所以我在之前作過的曲子中把好的W取出來再丟回去作一次，看看結果如何。

以下是我以之前作過的Bach - Minuet01的錄音片段作的測試：
(共13個pitch)

上面是第一次跑NMF後的結果(圖都有經過放大)。
初始的templates：C4、D4、…A5、B5 (14個)
按照定義選擇諧波形狀較明顯的templates出來，這邊我是選取第1、2、4、5、6、7、9、10、11、12個template當作好的(從W的圖上可以看到這些都是諧波較明顯的)，再回去測試一次。

上面是第二次測試的結果。
templates：剛剛取的10個再加上E4、C5、A5、B5。

上面是第三次測試的結果。
templates：第一次取的10個再加上E4、C5、A3、B4。

有打X記號的templates是看起來不好(我認為)的W，從第二和第三次的結果中看到train完結果沒有變不好，但似乎也沒有變更好，miss的pitch還是沒有被找到，而兩次後來加的templates經過training後幾乎一樣。

-----------2010.1.29--------------------

因為之前拼湊出來的巴哈小步舞曲，在以同一種音色的template情況下，仍然無法每個音都正確找出，推測是出錯的note音量太小導致，所以現在嘗試找強弱變化較大的歌曲來作看看。

測試曲目：Debussy／clair de lune → 音檔
選取其中彈奏有漸強的一個片段：

共51個音符，19個不同的notes。 (修正標錯的音高, 2010/3/10)

測試結果：
Template：C4、C4#、D4……B5，共24個。
上圖是X的結果。紅色圈圈指的是多出的peak。 (修正上圖第2個X的錯誤, 2010/3/10) 我把有找對的音符標記起來，橘色圈起的是對照有符合的音符。
圈圈是對的，三角形是有少peak的。雖然有的template有update出某個頻率，但是對照其對應的X和譜上的位置都對不太起來，就當成是沒找到。
在update完的template中，miss了C3#、B3、C4、F4、E5、B5。

從上面的結果來看，前半部音量較小的部分，滿多都有被找出來的，可能是這段的音量前半部都是比較小聲而後半部都是比較大聲的關係。而在後半部像是C5#、E5、G5#、B5這幾個相對比較小聲的音(我自己聽起來)，有些是被miss掉有些是位置對不太起來。
所以針對後半部，再把曲子分成兩半，對後半部這段旋律作測試。(後半有12個不同的音)

測試結果：
Template：C4、C4#、D4……B4、C5，共13個。
上圖為X的結果，紅色圈圈是缺少一個peak的地方。橘色圈起處是對照後符合的音符。

本來以為音樂片段短一點效果會比較好，但跟上一個比起來結果更奇怪了…，miss的音更多。也許是初始的W設得不好？

上面的實驗我都是用Kawai RX2_k5的鋼琴錄音作為templates，應該要試試看用其他的鋼琴錄音。
-----------2009.12.31-------------------

論文報告
paper
ppt

-----------2009.12.21-------------------

上次使用同一個樂器，卻還是出現錯誤的問題，DNA學長說可以多增加一個無關的template，看是否讓錯誤的資訊都收集到此template中。
以下是測試的結果:

第11和13個template是原本出錯的template，第14個是新增的。
增加以後出錯的兩個在時間上的peak就變明顯，也可以從W矩陣中看出頻率大小。
但是第13個template(E5)還是會有另外一個聲音的頻率出現(C4)。
而C4和E5在演奏時是同時出現的。

不過除了出現C4這個問題，其他的音都有被正確的找出。

-----------2009.12.16-------------------

這次我用了兩種方法來測試template:
1.使用已有的鋼琴錄音拼成曲子來當作測試的音檔。
2.用相同的template測不同的音樂。

以下是結果:
1.使用已有的鋼琴錄音拼成曲子來當作測試的音檔。曲子選自Bach Minuet NO.1的片段；鋼琴錄音為Kawai RX2 k5。
左邊是x矩陣，右邊是W矩陣，後面標示的數字是他的頻率和對應的note，"問號"是不能明顯看出其頻率是多少。
感覺做完的結果並沒有比較好，反而有更多component放了兩個音的情形，觀察了拼湊的片段的頻譜，在音跟音之間的能量很大，可能是因為我在連接時沒有接好。

所以我把能量大的部份去掉再試一次，得到的結果:

只顯示x矩陣的圖和頻率。
除了miss掉C5和E5以外，其他都是正確的。而miss的C5和E5應該就是打問號的那兩個component。

2.用同一份template去測Bach Minuet NO.1的另外一個片段。

圈起來的部分是不該出現peak卻出現peak的位置。

打三角形的component是這兩個音在不該有peak的時候出現peak，打X的是看不出頻率的，塗紫色的兩個component是這兩個音被update成相同的音，他們在頻率上有一點點偏差，但是時間上出現的peak位置差不多。

另外，針對上次的實驗，有兩個音放在同一component的問題，我提高他update的次數看有沒有改善，結果是沒有，還是一樣有這個情形。改將原本的音檔切成兩半，分別來測。

前半是到第二小節的第2個音，後半是第二小節第2個音到最後。

左半邊是前半部的X矩陣的圖，右半邊是後半部的X矩陣的圖。

上圖是前半部，下圖是後半部。
可以看到沒有兩個音放到同一component的情況了。
而塗紫色和藍色的區塊，是指這兩個component被分成相同的note，他們頻率有點不同，但是在時間上的位置差不多。除了這個問題和有些音看不出頻率以外(後半部miss掉D5)，其他都分得很正確。

問題:
上次報的paper提到，如果template的個數比受測試音檔的音多的話，多出來的template和其對應的x矩陣的值都會很小，稱為non-note component，但是我測試出來的結果沒有這個現象，如上面的測試，template是13個，受測試的音為8和11個，多出來的component雖看不出頻率是多少，但是和x矩陣的數值都還是很大。

-----------2009.12.4--------------------

之前老師提到說，template可以有兩種做法，一種是直接將一首曲子的音切下來當template，也就是鋼琴的音色會相同(如果曲子鋼琴演奏的話)；另一種就是使用不同音色的錄音當作template，看看是不是會影響結果。
目前我做的實驗，曲子和template都是先以鋼琴音樂來測試，template是從西班牙的鋼琴錄音拿來放的，一次放一個八度或是放曲子彈奏音的範圍，可以有很多種放的方法，實驗的目的是希望定義出最好的template，找出哪些音可以由哪些template train出來，對各種曲子的pitch detection有好的幫助。

以下是目前簡單的測試結果
曲子的片段來自: Bach Minuet No.1 on Victor piano by Sony PCM-D1

1. template: 未知的piano (C1, F#1, C2, F#2, …, F#6)

錯誤: 第7,10,11個column將兩個音放在同一個component，第3個column在未彈奏此音的位置出現peak。

2. Kawai RX2_k5 (from G3~E5)

錯誤: 第1個column將兩個音放在同一個component，第6個column在未彈奏此音的位置出現peak。

3. Kawai RX2_k5 (from C4~B4)

錯誤: miss G3 and A3
另外，因為template的個數小於歌曲出現的音的個數，所以update完後，多個音會被分配到相同的component中。

接下來就是把已經有的錄音拼出歌曲，再拿來用NMF測試看同音色的結果如何，也可以用不同音色的template測試看看。另外我想可以拿同一個template對不同的曲子測，也許比較可以看出各個template update的效果。

-----------2009.11.28-------------------

討論過後，現在W放的內容很重要。
矩陣再update時，我們無法控制他會update出怎樣的結果，若note在一開始就被計算錯了，後面再出現這個note時很可能繼續錯下去，就會找不到。還有八度音甚至不是八度音也可能會被分到同一個component的問題。所以先要分析出來哪些template是好的要用，哪些是不好的就不要用。

接下來工作就是用曲子下去測試看看，找出合適的template出來。

-----------2009.11.25-------------------

NMD 的 implement：
　　再簡單說明一下NMD的algorithm，給一個聲音的訊號存進矩陣Y，NMD的目的就是尋找出兩個矩陣W和X，使得Y≈W∙X。其中，W∙X重建的Y’與Y越相近越好。W放的是basis function(harmonic templates)，X放可最佳重建Y的係數。此三矩陣都必須是非負矩陣。
　　在這次的實作，使用的樂器是鋼琴，W放12個不同的鋼琴音符作為templates，Input data Y也是由這12個音檔作組合，X則是先放一些正整數做測試。

實驗：
1. 輸入為單音
上圖和下圖分別為原始的y和reconstruct的y，重建的y與原本的y每一個bin的頻率位置相當接近。

下圖的每一條線表示x矩陣中的每一列。圖中，較大的row的值(黑色的data)，正好是輸入的音對應的row的值。

下圖為與上述較大的row在w矩陣中相對應的column值，得到f0與輸入之音檔相同。

2. 混合兩個不同的聲音輸入(相當於同時彈奏)
reconstruct y與y的頻率位置大致上是接近的。

但是從x矩陣(下)看，擁有較大值的row對應的音並不是輸入的兩個音。應該是因為兩個音同時發生，不夠明顯，NMD無法辨識出來。

3. 將兩個不同音高的音相間排列當作輸入
原始的y與 reconstruct y的頻率位置幾乎相同。

在x矩陣中，與混合的兩個音相對應的row值大小(淡藍色和綠色的data)，也較其他的大一些。此外可以看到，上方的圖為混合音檔的spectrum，x矩陣的row可以表現原始音檔時間軸上的頻率變化。

w矩陣計算出來的f0，也與輸入音檔相同。

以上呈現的結果都是讓x矩陣的每一個row放相同值，結果還是可以找到正確的f0。另外測試x矩陣在錯誤的音對應的row上放較大的數，結果也是可以找到正確的f0。

遇到的問題：
1. 照理說隨著update的次數越多次，y和reconstruct y之間的差距應該越來越小，但是目前cost function算出來的值卻不會慢慢收歛，而是有時變大有時變小。
2. x矩陣中，正確的音對應的row應有較大值，但隨著update的次數增加，錯誤的音對應的row也會慢慢變大。
跟DNA學長討論了一下，以上兩個問題應該都是跟cost function有關，接下來會修正cost function看看是否會改善。

-----------2009.10.15-------------------

論文報告
Real-Time Pitch Determination of One or More Voices by NonnegativeMatrix Factorization
ppt
-----------2009.10.9--------------------

我根據ICA作了一個例子，這個例子我是先將兩個wav檔mix在一起後，再利用ICA找出他原本的音源。我用的是鋼琴音樂，mix成三筆資料input，output出兩個independent component。
toolbox：FastICA ( http://www.cis.hut.fi/projects/ica/fastica/ )。

做出來的結果：

原本的音檔1
music_Input1

output的IC1
music_Output1

原本的音檔2
music_Input2

output的IC2
music_Output2

學長說因為MATLAB會把聲音變大，所以一開始IC輸出成wav檔的時候，有些部分就被切掉，導致聽起來音樂像有雜音一樣很吵，因此把輸出的值全部除以一個整數讓他的能量變小來改善，最後得到的結果，除了比較大聲以外，聽起來幾乎是和原本的音檔一樣。

-----------2009.9.23--------------------

關於ICA(Independent Component Analysis)：

　　ICA起源於”cocktail-party problem”。在宴會中有各種發出聲音的來源，藉由在不同位置收集到的聲音混合訊號，來統計分析出不同的音源，即是ICA的目的。ICA是解決blind source separation(BSS)的一種方法，因為聲音的來源以及其混合的方式都是未知的所以叫做blind，BSS可以復原這些音源訊號。
　　舉例來說，假設一個房間裡有三個人同時說話(聲音的來源)，記為S1(t)、S2(t)、S3(t)，另外也有三個麥克風收集三個不同的混合訊號，記為X1(t)、X2(t)、X3(t)，因為每個麥克風收集到的混合訊號是音源的線性組合，便可列出以下的式子：

X1(t) = a11 S1(t) +a12 S2(t) + a13 S3(t)
X2(t) = a21 S1(t) +a22 S2(t) + a23 S3(t)
X3(t) = a31 S1(t) +a32 S2(t) + a33 S3(t)

其中a11、a12、a13、a21、a22、a23、a31、a32、a33 均為常數。
也就是說，ICA的模型可以寫作：

X = A S

其中X = [ X1, X2, … , Xn ]T；S = [ S1, S2, … , Sm ]T；A為一個未知的n*m的矩陣。
S即為independent components。

ICA的假設和限制條件：
1. 假設independent components為獨立的。
　　這是ICA的原則，而隨機變數是否獨立，可由其機率密度(probability density)來定義，令P(y1, y2, … ,yn)為yi的joint probability density function(pdf)。

yi are independent <=> P(y1, y2, … ,yn) = P(y1) P(y1) …P(yn)

2. Independent components 必須是nongaussian分配。
3. 為了簡化運算，假設未知的混合矩陣為方陣。
　　即矩陣A為n*n矩陣。

計算ICA的方法：
1. Maximization of Nongaussianity
2. Maximum Likelihood Estimation
3. Minimization Mutual Information

References：
1. Aapo Hyvarinen, Independent Component Analysis, John Wiley & Sons.

-----------2009.9.15--------------------

about PCA : ppt

-----------2009.8.18--------------------

論文報告
Adaptive oscillator networks for partial trackingand piano music transcription
ppt

-----------2009.8.16---------------------

我把我看的一些東西先放上來。
先簡單的說明一下PCA(Principal component analysis)的架構。

PCA主要的功能有：
1. 能將資料簡化，將多個有相關的變數簡化成少數幾個互不相關的component。
2. 找出的這些principal component為多個變數的線性組合，可以保有原來這些變數大部分的特性
3. 就是對於較重要的變數給予較大個權重，較不重要的的變數給予較小的權重的一種方法。

　　而PCA的分析方法，是利用資料變數Ｘ的covariance matrix，找出其eigenvalues λ1. λ2…λn和對應的eigenvectors w1. w2 …wn。最大的eigenvalue λ1對應的eigenvector w1乘上變數Ｘ即稱為first principal component；第二大的eigenvalue λ2 對應的eigenvector w2乘上隨機變數Ｘ稱為second principal component…以此類推。

Principal component 解釋資料的能力：
第i個principal component對原來的變數的解釋比例為

　　　　　　　　　　λi / (λ1 +λ2 + …+λq +…+ λp )

若取出q個principal component 來解釋原有的p個變數，其解釋比例為

　　　　　　　　　　(λ1 ＋λ2 + …+λq ) / (λ1 +λ2 + …+λq +…+ λp )

λ為eigenvalue。
　　這樣一來，選取principal component的數目就很重要了。為了簡化資料量，而選取較少的principal component，原來變數的特性較無法保持，反之，選取較多的principal component雖可以保有較完整的變數特性，但即失去簡化的目的。
選取的方法：

　　　　　　　　　　λ1 >λ2 > …>λq >λq+1 =λq+2 = … =λp

　　將eigenvalues由大到小排列，檢查若最後(p-q)個eigenvalues相等，表示最多可以取前q個principal components即可。

PCA的幾何意義：
一筆資料x的散佈圖如下：

　　而first principal component 的權重就是要找出一個方向，使得這些資料點在此方向的投影變異數最大。如下圖中的U、V方向，所有的點在U方向的投影較在V方向的投影分散，可以較明顯看出各點的差異，也就是說U方向比V方向更可以解釋原來的資料變異。

References：
1. Aapo Hyvarinen, Independent Component Analysis, John Wiley & Sons.
2. 陳順宇(2005)，多變量分析(四版)，華泰書局。

-----------2009.8.16---------------------

我把原來的串複製過來，之後的進度會更新在這裡。

雖然文森學長的work做得很好, 但是我們的心中有一點點缺憾, 那就是學長的方法, 除了WGCDV是以前AL學長做的之外, 多半還是來自其他世界上其他的研究者的想法, 縱使為bff學長所開發的High Order HMM. 而過去我也曾經講過, 利用HMM來做tracking似乎不做第二人想, 但是我們除了HMM之外, 能有其他的創見嗎?

文森的Pitch/Partial Tracking

這一點, 我跟DNA學長聊過, 在過去, 我們利用Partial Group似乎得到一些效果, 不過一切的方法似乎比較像是在做影像處理或圖形識別的研究, 也就是試著找所謂的Feature(特徵), 然後用HMM的方式把他們在時間軸上連起來. 但是老實說, 我對影像類的特徵找法不是太有好感, Heuristic或Empirical是我一直用來形容這類方法的名詞, 我對Neural Network的感覺也是如此.

這讓我希望回到用Data Decomposition的比較正統的數學方法來定義Features, 可是怎麼做呢? 我沒十足把握, 所以這一篇不好寫.

一般的數學做法是找eigenvectors, 利用eigenvectors來當tracking(可以是HMM也可以不是)用的Features似乎可行, 不過在我們要對付的問題上, 一般的decomposition的方法卻可能會有問題, 要是可以, 那麼PCA(Principle Component Analysis)或ICA(Independent Component Analysis)的方法就可能派得上用場. 不過, 因為八度音, 甚至五度關係都會讓這類方法破功, 其原因我就不在這裡細講. 因此在這裡我們要定義的Feature Vectors一定有別於一般Linear Algebra中的eigenvectors, 而如何找到演算法來算這Feature Vectors以及如何避開八度與五度的問題是關鍵所在.

所以胤要對付的問題的真正解法在哪裡需要我們一起努力尋找, 而這一類問題要做得好, 數學要有一點底子, 別忘了, Higher Order HMM Tracking是數學系出身的bff學長想出來的. 這讓IRCAM與SCREAM首次在MIREX裡勝出.

MIREX2008 Multiple F0s estimation

我想, DNA與我會多花一點心思在這個問題上面, 請胤想法子趕快學好Matlab, 因為我不希望花太多時間自己寫matlab裡已經有的東西.

Molecular Dynamic Simulation - 威佐、雙魚

2010-12-06T10:30:00.003+08:00

--------- 2010 . 12. 06 ----------
威佐 :

目前已經將幾個常用的 Operations 取出，
需要計算的力包括:
Bonded(Bond length、Bond angle、Dihedral 三種力)和 Non-Bonded，

我相信這是簡化過的形式，但對於我們做加速運算已經足夠，

我現在使用的 Code 是學長給的那本書中的 Code (老師我沒有自己寫一個...)。
但是因為要先嘗試做 translator，所以先暫用書中的 Code，等到評估期過後，
我們可以自己改一份 MD 的 Code，

另外，現在成熟的 MD 套件大概是 CHAMBER、AMBER、NAMD、GROMACS，
可以下載使用，看一下別人如何做的，當然我們不需要做到像這些軟體這麼複雜。

雙魚:

著手將 MD 的 Code 改成 Multi-Thread，
目前先規劃將 Non-Bonded Force 的部份給平行，
如果修改完成，可以再加入 Bonded 的部分。

下一步，就是將它寫成 SPCI 的 Component。

ROC - 雙魚

2010-12-05T16:22:00.009+08:00

=== 2010.11.23 ===

更改成matlab可連結的函式後
把此份.c檔放到要執行的matlab資料夾內

編譯.c檔的流程如下:
(1)如果是第一次用mex,先設定編譯器
執行 mex , 畫面會列出你電腦上現有的編譯器
選擇好後電腦會記下,以後使用就不用執行這步驟

(2)編譯.c檔 : 執行 mex xx.c (xx為檔名)
如果順利編譯通過,同一個資料夾下會出現xx.dll檔案
(3)接著就可以執行matlab code

比較原本matlab程式和呼叫 C library的matlab程式時間
(1)原本matlab程式:
for j = 1:1000 呼叫ROC計算函式 end
時間為: 8分鐘

(2)呼叫 C library的matlab程式:
for j = 1:1000 呼叫 ROC_scream() end
時間為: 0.679 s

呼叫 C library的matlab程式時間節省不少
11/23把此程式交給龔老師,也跟他說明了使用方法
ROC改寫到底為止

=== 2010.11.19 ===

把改寫後的C code包成matlab可用的library型式
即可在matlab程式中直接使用改寫後的code
參考連結: http://twntwn.info/blog/ajer001/archives/790
按照連結中的方法來更動原本的C code

matlab迴圈呼叫的寫法:
for j = 1:1000
[auc_resp_sf fa_resp_sf hr_resp_sf] = ROC_scream(all4type, all4respyesno_sf);
end

說明: ROC_scream()為改寫後的C code
all4type,all4respyesno_sf為輸入的數列
[auc_resp_sf fa_resp_sf hr_resp_sf]為output
fa_resp_sf和 hr_resp_sf是數列,auc_resp_sf為1*1的double

更動步驟如下:
(1)在code中開頭加入 #include "mex.h"
(2)將程式主要部分放在 mexFunction()中
mexFunction(int nlhs, mxArray *plhs[],
int nrhs, const mxArray *prhs[])
mexFunction()為程式的進入點,prototype不可隨意更動

(3)要把matlab輸入數列換成 C陣列
value = mxGetPr(prhs[0]);
sign = mxGetPr(prhs[1]);
bufsize = mxGetM(prhs[0]);
n = mxGetN(prhs[0]);

說明:
plhs: ROC_scream函式等號左邊參數本體
prhs: ROC_scream函式等號右邊參數本體
mxGetPr:取得矩陣之實數部分
mxGetM:取得矩陣之第一維大小

value會取得ROC_scream()中 all4type數列
sign會取得ROC_scream()中all4respyesno_sf數列
bufsize是all4type數列的row數量
n是all4type數列的column數量

(4)給予輸出陣列的記憶體空間
plhs[0]= mxCreateDoubleMatrix(mA,nA,mxREAL);
area = mxGetPr(plhs[0]);

說明:
利用mxCreateDoubleMatrix()建立空間
mA是row數量 nA是column數
plhs[0]代表為回傳的第一個參數,並取出取得矩陣之實數部分

=== 2010.11.08 ===

跟龔老師拿了他們使用輸入輸出的數據
以便於我們做更多數據的比對
每次輸入的a和b數列各160筆,要跑1000次

(1)和matlab code輸入相同的a,b數列
比對C code算出的面積數字是否和原本一樣
比對的結果皆正確

(2)比較兩份code時間 (迴圈1000次,每次160筆data)
matlab迴圈寫法為:
for j = 1:1000 呼叫ROC計算函式 end

時間結果如下:
Matlab時間為= 483.58 s ≈ 8分鐘
C code時間為= 1.984 s ≈ 約兩秒

=== 2010.10.30 ===

完成 ROC C code改寫

ROC程式內容如下:

(1)從輸入的數列中找出沒有重複的uv數列
input: 數列a和b (random ,各200個數值)
找出uv數列:為a和b中沒有重複的數值

舉例說明:
a = {-2,-1,0,3,8 }
b = {-3,1,3,0,8 }
uv = {-3,-2,-1,0,1,3,8}

(2)找 hit rate (hr) and false alarms (fa)
fa: a中有幾個大於等於uv數值 / a數列總合
hr: b中有幾個大於等於uv數值 / b數列總合
uv中每個數值都要檢查一次

舉例說明: uv ={ -3,-2,-1,0,1,3,8 }
a ={ -2,-1,0,3,8 } , b ={ -3,1,3,0,8 }
當uv[0]= -3 , fa[0]=1 and hr[0]=1
當uv[1]= -2 , fa[1]=1 and hr[1]=4/5

(3)計算ROC曲線下的面積 (參考圖)

matlab code : auc = trapz(fa,hr);
trapezoid function使用梯形公式算曲線下的面積
梯形的高為 fa[i] – fa[i+1]
上底為hr[i],下底為hr[i+1]
Auc = 梯形公式 ((上底+下底)*高)/2

舉例說明:
trapz([123],[124])
梯形第一塊: ((1+2)*(2-1))/2
梯形第二塊: ((2+4)*(3-2))/2

=== 2010.10.19 ===

在分析fMRI數據時,需要花費大量的計算和時間
心理系龔老師希望我們來幫忙減少code的計算時間
龔老師提供了他們主要計算部分的matlab程式碼
其中以"ROC"此部分所花費的時間最多

因此我們從此部分著手
老師的想法是把ROC此部分改成C code
改完後測時間看是否還要再作平行的方法

AVS/ H.264 -- 雙魚

2010-12-03T22:30:00.002+08:00

=== 2010.10.08 ===

要開始進行motion search
用不同大小的block到reference frame中去找出cost最小的部分
這邊AVS是使用UMHexagonS Algorithm來做搜尋
演算法分成五個部分:

(1)Initial search point prediction
這個階段要找出一個比較適合的搜尋起始點
有四種prediction方法可以找出比較適合的點:

1.Median Prediction:
利用上一次算出來mvp去搜尋,找出cost最小的地方

2.UpLayer Prediction:
16x8,8x16: 參考16x16的mv去搜尋
8x8: 參考16x8的mv去搜尋
16x16:不作此項

3.Corresponding-block Prediction:
利用前一張frame同位置區塊的mv去搜尋

4.Neighboring Ref-frame Prediction:
利用到前面兩張frame來算出mv(如圖)
mv_pred = mv*(n-n')/(n-(n+1))

拿目前搜尋塊左上角座標,搭配上述四種方法提供的mv
到前一張frame去搜尋找出cost最小的區塊

如果此時有符合early termination的條件
可直接跳到(4)或(5)進行小範圍搜尋
如果沒有符合條件,使用(2)去搜尋

(2)十字搜尋法:
搜尋範圍-16~16 水平範圍-16~16 垂直範圍-8~8
(參考圖) 每隔2個pixel當作一個搜尋點,找cost最小的區塊

如果此時有符合early termination的條件
可直接跳到(4)或(5)進行小範圍搜尋
如果沒有符合條件,使用(3)去搜尋

(3)Uneven Multi-Hexagon-grid search:
分成兩個部分作搜尋:

1.小方型搜尋: (圖中紅色點區域)
先在-2~2之間內搜尋25點,找出cost最小的位置
如果此時有符合early termination的條件
可直接跳到(4)或(5)進行小範圍搜尋
如果沒有符合條件,使用多重六角型搜尋

2.多重六角型搜尋: (圖中藍色點)
在六角形上的16個點作搜尋,用early termination去判斷是否要繼續
如果此時有符合early termination的條件
可直接跳到(4)或(5)進行小範圍搜尋
如果沒有符合條件,重複上述步驟來找出cost最小的位置

(4)六角形搜尋法:
搜尋六角形上的六點頂點和中心點
沿著cost最小的點再造出六角型繼續搜尋
當cost最小的點出現在中心點即可結束搜尋

(5)小鑽石搜尋法:
搜尋菱形邊上的8個點和中心點
沿著cost最小的點再造出菱形繼續搜尋
當cost最小的點出現在中心點即可結束搜尋

做完上面流程可找出此次motion search的mincost和最佳mv
此部分code還有錯誤,AVS改寫就進行到這裡

=== 2010.09.20 ===

完成算Motion Vector Predictor的code

找motion vector(MV)前要先算Motion Vector Predictor(MVP)
利用周圍block的MV去推斷出這次壓縮比較可能的MV

MVP條件選擇如下:

1.先判斷block A,B,C 是否存在 (如果C不存在,則參考block D)
如果只有block A存在: 選block A的MV當 mvp
如果只有block B存在: 選block B的MV當 mvp
如果只有block C存在: 選block C的MV當 mvp

2.依照inter prediction的block size會有特殊選擇
如果是8x16 : 選block A的MV當 mvp ( A不存在就選 C )
如果是16x8 : 選block B的MV當 mvp ( B不存在就選 A )

3.block A,B,C都存在且block size不是8x16或16x8
先算三個block互相相減的差值: D1(A,B),D2(B,C),D3(C,A)
如果 D1 == median (D1, D2,D3 ),選block C的MV當 mvp
如果 D2 == median (D1, D2,D3 ),選block A的MV當 mvp
如果 D3 == median (D1, D2,D3 ),選block B的MV當 mvp

=== 2010.09.07 ===

完成 1/4 interpolation的code

先開一個圖片四倍大的記憶體空間 (4*352)*(4*288)
接著進行1/4 interpolation:

->灰點是原本的pixel,藍點是做完二分之一的pixel
白點是做完四分之一的pixel
(1)二分之一: filter用(-1, 5, 5, -1)
算法: b=(-C+5D+5E-F+4)>>3, j=(-aa+5b+5s-dd+4)>>3
(2)四分之一: filter用(1, 7, 7, 1)
算法: a=(ee+7D+7b+E+64)>>7, e=(D+j+64)>>7

結束運算後把結果依照相對位置存成16張352*288
圖中每個顏色的點要自己存成一張352*288

=== 2010.08.15 ===

規劃 inter prediction的流程:

1. 作四分之一的Interpolation

->灰點是原本的pixel,藍點是做完二分之一的pixel
白點是做完四分之一的pixel
(1)二分之一: filter用(-1, 5, 5, -1)
算法: b=(-C+5D+5E-F+4)>>3, j=(-aa+5b+5s-dd+4)>>3
(2)四分之一: filter用(1, 7, 7, 1)
算法: a=(ee+7D+7b+E+64)>>7, e=(D+j+64)>>7

2.找 motion vector

原本block位置是(10,4), 到前一張去找到最適合的block位置是(5,9)
motion vector則是(5,-5)

3.決定最好的inter mode
AVS提供16*16,16*8,8*16,8*8這幾種模式
每種模式都要去找motion vector,接著計算和原本pixel的差值
然後從中決定一種最好的mode

=== 2010.08.07 ===

規畫VLC的流程:

1. 每個8*8 block要經過z字型掃描
2. 找出block中的每組level和run,level是非0數值
run是這個非0值和下個非0值中間有幾個0
3.
(1)用maxAbslevel去找要查的table編號,initial從0開始

(2)透過(run,level)在table中找到對應的trans_coefficient

(3)利用trans_coefficient在golomb表找出相對應的bitstream
AVS有指定每張table要用的order

(4)若level的絕對值>maxAbslevel,要更新maxAbslevel和table編號

如果(run,level)在table中找不到對應的trans_coefficient,編碼流程如下:
(1) trans_coefficient = 59+ (run<<1)>0)? 1:0 )
(2) 拿(1)計算的trans_coefficient在golomb表找出bitstream
(3) 找RefAbsLevel數值 :
if run > MaxRun, RefAbsLevel =1 (MaxRun要查表)
Otherwise:從table中找到RefAbsLevel數值

(4) escape_level_diff = abs(level) – RefAbsLevel
(5) 拿(4)計算的escape_level_diff在golomb表找出bitstream

目前進度:完成上述流程的程式內容
以及和原本code比對最後找到的bitstream的長度和數值

=== 2010.07.20 ===

完成intra prediction流程的程式內容

for (block=0; block<4; diff =" 原本數值-最佳的預測數值;" recy =" new_diff" diff =" 原本數值-最佳的預測數值--(1)" recv =" new_diff"> quant -> inv_quant -> inv_DCT後的new_diff
還原回來的數值等於new_diff 加上預測出來最佳mode的數值

luma/chroma predictionn算每種mode的預測值會用到還原回來的數值
接著去比對還原回來的數值是否和原本程式一樣

=== 2010.07.05 ===

畫intra prediction的流程:

for (block=0; block<4;> quant -> inv_quant -> inv_DCT
因為圖片為4個Y對到一個U一個V,所以一個MB只會對到1個8*8的U和V
所以等四個Luma_Prediction結束後換成Chroma_Prediction()
Chroma_Prediction()裡面包含U,V的prediction
最後就是DCT-> quant -> inv_quant -> inv_DCT

Luma_Prediction()流程:
(1)算luma prediction中每種mode的預測值
(2)算 mostProbableMode
(3)從5個mode中找出cost最小的mode,mostProbableMode會影響cost

原本5種mode需要花3個bit去表示,所以每個mode都需要3 bit
若有mostProbableMode來標記,其他4個mode各需要3bit
但mostProbableMode的只要1 bit,就能省下一些bit

Chroma_Prediction()流程:
(1)算chroma prediction中每種mode的預測值
(3)從4個mode中找出cost最小的mode

=== 2010.06.22 ===

完成 quantization 和 inverse quantization函式

quantization是把DCT transform後的數值除以一個數
避免用除法,所以先乘上一個倍數,四捨五入後再shift回來,看式子(1)
(1) b = ( a * quantTable(QP) + qp_const) >> 15
b:quantization後的數值 , a:DCT transform後取絕對值的數值
quantTable(QP): 這張表裡有每個QP應該乘上的數值
qp_const: 四捨五入用
>>15: 是把quantTable(QP)乘上的倍數shift回來

inverse quantization則是把 quantization後的數值乘上一個數,式子(2)
(2) c=( (b*DequantTable(QP))+ 2ShiftTable(QP)–1)>> ShiftTable(QP)
b:quantization後的數值
DequantTable(QP):表中有每個QP應該乘上的數值
2ShiftTable(QP)–1 : 四捨五入用
>> ShiftTable(QP): 把DequantTable(QP)乘上的倍數shift回來

程式流程: DCT-> quant -> inv_quant -> inv_DCT
開檔讀進DCT前的數值,比對inv_DCT後的數值是否和原本程式數值一樣

=== 2010.06.13 ===

完成 DCT transform 和 inverse DCT 的函式

DCT transform 流程: X是這次要作transform的8*8矩陣
(1) D =(X)(A) , A是AVS規定要乘的DCT 8*8矩陣
(2) D'=(T)(D) , T是A矩陣的轉置矩陣
(3) 讓D'數值落在 -2^15 ~ 2^15 中

inverse DCT 流程: X是這次要作inv_transform的8*8矩陣
(1) D =(X)(T) , T是AVS規定的8*8矩陣的轉置矩陣
(2) 讓D數值落在 -2^15 ~ 2^15 中
(3) D'=(A)(D) , A是AVS規定要乘的DCT 8*8矩陣
(4) 讓D'數值落在 -2^15 ~ 2^15 中

開檔讀進 DCT前和 inv_DCT前的數值
各經過 DCT transform 和 inverse DCT 計算
去比對 DCT後和 inv_DCT後的數值是否和原本程式數值一樣

=== 2010.06.04 ===

從DCT transform開始,一樣從去原本程式找DCT transform
luma DCT在 rdpot.c , chroma DCT 在marcoblock.c
luma chroma的inverse DCT步驟都包含在squant函式中
squant函式位在block.c中
squant函式會呼叫inv_transform函式作inverse transform

取出 "DCT前, DCT後,inv_DCT前,inv_DCT後" 的數值
這些數值用來比對接下來改寫後的數值是否正確

=== 2010.05.28 ===

這禮拜找intra chroma 8*8的最佳模式
算完每種模式預測的數值,要從中選一種最好的預測數值
去計算(原本圖片數值 - 預測數值)之間的差值總和
差值越小的就是最好的預測模式

最後拿原本程式取出的最佳模式預測結果數值
來比對數值是否正確

intra prediction因為進度不如預期
之前寫的內容就先暫時這樣
決定改成從DCT transform開始寫

=== 2010.05.21 ===

這禮拜先找intra luma 8*8的最佳模式
算完每種模式預測的數值,要從中選一種最好的預測數值
去計算(原本圖片數值 - 預測數值)的絕對值總和
總和越小的就是最好的預測模式

這邊要先算每個8*8 block的upmode 和 leftmode
如果8*8的y座標等於0 代表此8*8位在frame的最上排
所以此block的upmode等於-1
如果8*8的x座標等於0 代表此8*8位在frame的最左邊排
所以此block的leftmode等於-1

如果8*8不是位在最上排和最左排
upmode和leftmode要參考鄰近block的mode (參考下圖)

1.左上橘色塊: upmode = 1 , leftmode = 2
2.右上橘色塊: upmode = 4 , leftmode = 3
3.左下橘色塊: upmode = 3 , leftmode = 3
4.右下橘色塊: upmode = 2 , leftmode = 2
紫色數字是代表前一個步驟橘色塊算出來的bestmode

最後用upmode和leftmode去找出probable mode
probable mode會影響到計算差值總和

最後拿原本程式取出的最佳模式預測結果數值
來比對數值是否正確

=== 2010.05.14 ===

這禮拜寫intra chroma 8*8提供的4種模式
4種模式分別是垂直水平 DC plane
參考文件提供的數學式和原本程式內容去改寫

原本程式是開一個陣列 a[2][][]去存U,V
a[0][][]存U , a[1][][]存V
我的程式是用*pre_U *preV分別去存
所以原本程式有些地方要跑迴圈一次算U一次算V
改寫後可以把迴圈拿掉一次直接算完U,V

這邊也是把程式內容的判斷式作整理
有些相同判斷的內容可以合併一起

最後拿原本程式取出的每種模式預測結果數值
來比對數值是否正確

=== 2010.05.07 ===

從intra luma 8*8提供的5種模式開始寫
5種模式分別是垂直水平 DC down_left down_right
參考文件提供的數學式和原本程式內容去改寫

主要是將程式內容的判斷式作整理
有些相同判斷的內容可以合併一起

最後拿原本程式取出的每種模式預測結果數值
來比對數值是否正確

=== 2010.04.30 ===

定義目前寫程式需要用到的資料結構
例如frame的基本資訊(YUV數值的大小型態和frame寬高座標位置)
MarcoBlock的資料(YUV數值和座標位置)
intra prediction用來參考的MB資料

從intra prediction開始, AVS提供8*8大小的prediction
所以先去原本程式中找intra prediction的程式內容
intra luma在block.c, intra chroma在marcoblock.c

取出 "預測前, 每種模式的預測結果, 最好的預測結果" 的數值
這些數值用來比對接下來改寫後的數值是否正確

== 2010.02.28===

在程式中去找intra prediction幾種比對模式的程式碼
luma有分成16*16和4*4兩種,Chroma提供4種兩個8*8模式

(1)luma 16*16是以一個16*16大小block去作預測,提供4種模式

(2)luma 4*4是把一個16*16 block再切成4個4*4去作預測,提供9種模式

(3)Chroma提供4種兩個8*8模式,分別是DC Mode、Horizontal Mode、
Vertical Mode、和 Plane Mode , 其中DC Mode會把8*8再切成4*4 block
依照每個4*4 block上側和左側資訊而有不同的數學式子去進行預測

這邊有從網路上找資料,資料pdf中有每一種預測模式的數學式子
從式子去推導每一點像素的式子數字,接著再和程式碼的寫法相對照
參考的pdf連結: http://0rz.com/LnhA

這學期理想的進度甘特圖

希望一個月可以完成一個元件的改寫,先從intra prediction開始
下禮拜會看AVS中intra prediction的文件內容

== 2010.02.01===

對quatization後的Y數值來壓縮和解壓縮
利用上次產生出來的codeword table來練習

(1)去找每個數值對應的codeword
ex:有三個數值5,13,-5, 5的codeword是101
13的codeword是0101 ,-5的codeword是1111

(2)codeword累積到8個以1個byte寫入新的檔案
設一個變數unsigned char c去記錄要寫入檔案的數值
a陣列記錄要壓縮數值所對應的codeword
當a[i]=1 , c = c先往左shift一個再和00000001 作or
當a[i]=0 , c = c往左shift一個
如果c未滿8個後面也沒有其他數值要壓縮
c=c往左shift讓剩下位置補0到滿8個

ex: 要壓數值5,13,-5 , codeword如(1)
第一次a陣列中是101, 判斷完a陣列中每個位置後 c=00000101
第二次a陣列中是0101, 判斷完a陣列中每個位置後 c=01010101
第三次a陣列中是1111, 判斷完a[0]位置後 c=10101011 已經達到8個
這時候就要把c寫入檔案 , 寫檔後讓c=0 再繼續判斷a陣列中剩下的位置
判斷完剩下的位置 c=00000111 , 因為後面沒有數值要壓縮所以補0
c = 11100000 , 最後再把此值寫入檔案中

(3)把(2)寫入的檔案讀出 , 把1個byte拆成8個bit
讀出1個unsigned char c 後 ,下面的動作要作8次
先 c= c和10000000作and , 再讓c往左shift一位
把解出來的bit放在buf 陣列中

ex: 把(2)產生的檔案數值讀出做完拆解判斷後
buf中會是: 10101011 11100000

(4)到table中找codeword對應的數值
table會先依照codeword大小排序 , 從小到大排序
buf會一個一個位置去找現在停在哪個codeword中的哪bit
如果此codeword下一個bit是'\0' , 代表找到一個對應的數值

ex: 假設table只有三種codeword , 設定如(1)
codeword排序後是: 0101 , 101 , 1111
buf是: 10101011 11100000

當buf[0]=1 , 會停在 codeword 101 中的第0個bit
當buf[1]=0 , 會停在 codeword 101 中的第1個bit
當buf[2]=1 , 會停在 codeword 101 中的第2個bit
codeword 101 第三個bit是 '\0' , 所以就找到一個對應數值5

== 2010.01.22===

建立 huffman tree來產生對應的codeword
拿上禮拜作完quatization後的Y數值來練習

(1)去計算Y數值中每一種數值出現的機率
假設4種節點機率分別為0.15 , 0.2 , 0.25 , 0.4 (圖中紫色點)

(2)開始建立 huffman tree
S為所有節點的集合 , 從S中找出機率最小的兩個 : t1 t2
用t1 t2來產生一新節點N, N 是 t1 和 t2 的 parent節點
而且N的機率為 t1 + t2 , 接著把 t1 t2 從S中刪掉, 把新節點 N 加入S中

圖中用4種節點來說明步驟 , S= {0.15,0.2,0.25,0.4}
先拿0.15 和 0.2 來組合 , 此樹節點機率為0.35 (圖中藍色點)
把 0.15 和 0.2 從S中刪掉 , 把藍色點的樹0.35加入S中
接著拿0.25 和藍色點的樹來組合 , 此樹節點機率為0.6 (圖中咖啡點)
把0.25 和藍色點的樹從S中刪掉, 把咖啡點的樹0.6加入S中
最後拿0.4和咖啡點的樹來組合 , 最後root的機率為1

(3)去找每種數值對應的codeword
左邊樹分支填 0, 右邊樹分支填 1
每個分支的 0 或 1 是圖上的黃底綠色字
每種數值的codeword就是從root到該數值節點的 0 和 1 組合

從圖上標記可以看到:
數值0.4的codeword是 0
數值 0.25的codeword是 10
數值 0.15的codeword是 110
數值 0.2 的codeword是 111

== 2010.01.15===

完成 DCT-> quatization -> IDCT 的練習
一樣是用txt檔案中的YUV數值
分別對YUV去作DCT-> quatization -> IDCT

YUV以4:2:0的方式儲存 , 4個Y共用一個U和V
所以 Y 範圍是352*288 , U和V則是 176 *144
先對Y作處理 , 接著就是U和V , 每次都以8*8為單位
流程如下:
(1)用下列的公式去產生DCT 8*8矩陣的數值
Aij = Ci*(cos((2*j+1)*i*pi)/2*N) ,
when i=0 , Ci= (1/N)^1/2
when i>0 , Ci= (2/N)^1/2

因為DCT是8*8 , 所以N=8
Aij代表的是矩陣中第 i行第j列的數值
DCT陣列的數值是double的形態儲存

(2)利用 D=(A)(X)(T)來作DCT
A是步驟(1)產生的DCT矩陣
T是A矩陣的轉置矩陣
X是圖片切出來的8*8方塊
D是AXT三者作矩陣運算後的8*8矩陣
D也是用double的形態儲存

(3)去網路找 YUV的 quatization table
quatization table也是8*8的矩陣
把經過DCT後的數值除以quatization table上的數值
除以quatization後的數值先做四捨五入
接著以 int的型式儲存起來

(4)把步驟(3)儲存的數值再乘上quatization table的數值
再以double的形態把乘完quatization的數值儲存起來

這時候會發現數值和一開始經過DCT後的數值有稍微的不同
ex: 經過DCT後是527.89 , 除以quatization 16 再四捨五入後
會以33的數值存起來 , 再乘回quatization 16 會變成528
雖然會有些微的不同但是誤差都不會太大

(5)利用 X=(T)(D)(A) 來作IDCT
A是步驟(1)產生的DCT矩陣
T是A矩陣的轉置矩陣
D是步驟(4)儲存的8*8矩陣
X是TDA三者作矩陣運算得到的8*8矩陣

要去判斷X中的每一點的數值
如果數值>255, 要讓它等於255
如果數值<0 30="="="">RGB 的公式去計算
如果轉換後的數值>255, 要讓它等於255
如果轉換後的數值<0 ,要讓它等於0

這邊是練習對MB 和 frame的位置概念
參考圖片 , 整張圖是352*288, MB是16*16 (圖中紅色方塊)
txt檔中是把每個MB中16的點由左至右由上到下寫入
一個MB寫完在換下一個 , MB也是由左至右由上到下
frame是一個點一個點讀取由左至右由上到下 (圖中紫色方塊)

所以讀出txt檔每一個數值, 都要放回它在圖片的原本位置
步驟2是把圖片一個點一個點的讀入,然後儲存起來
最後再比較這兩個種數值是否有一致

== 2009.12.10===

目前已經把上次提的數值抓出
除了bitrate, 其他數值都以binary型式寫入檔案

1. 每個16*16 (MB) 的數值
圖片大小352*288 , 每16*16切成一塊
把16*16裡每點的pixel數值寫入檔案

2. 每個MB作完intra prediction的different值
intra prediction 分成 4*4和 16*16 兩種
(1) 4*4有9種mode , 每一種mode都會算出一個different值
先用一個陣列暫存每種mode算出來的different值
接著計算每種mode的cost大小, 找出一個最好的mode
這邊也會有個變數去記錄哪個mode是cost最小的
最後把此種mode的different值存進陣列(a4)
以4*4 去算different值 , 但最後要的是16*16
所以每次算完的4*4 要按著順序存進陣列(a4)

(2)16*16則有4種mode , 作法同上
差別在於這邊是用16*16去算different值
只要把最好mode的different值存進陣列(a16)即可

作完上述兩點 , 每個MB會有 4*4 和 16*16算完的最佳解
會從中選一個來當作這個MB使用的different值
所以最後選出的different值才是要寫入檔案的

3. 每個MB作完 DCT+ quantization 後的數值
程式作完 DCT+ quantization的值存在 nMBQuant_Y變數裡
而且大小也是宣告成 16*16
只要將此變數中 256個數值寫入檔案即可
有記錄 Frame_I DCT+ quantization 後的數值
以及 Frame_P DCT+ quantization 後的數值

4. 得到每個MB需要的bits數量
此數值存在nRDBitRate變數裡
只要將此變數的值寫入檔案即可
一樣要記錄 Frame_I 和 Frame_P的BitRate

== 2009.11.18 ===

已經跟小新學長拿了程式
為了達成了解基本的H.264運作流程
計畫先取出下列幾個數值:
1.抓出MB pixel值
2.抓出MB pixel值做過 Prediction(inter or intra)
3.抓出MB 4x4 DCT值
4.抓出MB 4x4 DCT值做過 quantization
5.得到MB壓縮所需要的bits數量

把這五個項目的數值取出來,分別存成一個新檔
這些檔案裡面的數值是後續步驟會使用到的
存檔的類型沒有限制 , 我想說把每項的數據存成txt檔
就從第一項開始作起 , 現在剛看程式大略知道第一項要的數值在哪
這邊會再問一下學長 , 希望下禮拜可以抓出第一項的數值

SCREAM Processor-Cluster Platform Simulator - 威佐

2010-12-01T07:57:00.008+08:00

-------- 2010 . 12. 01 ----------

目前模擬器已經開始使用 & 測試，
雖然不大穩定，但可以邊使用邊 debug。

昨天仕偉學長寫了一個 bubble sort 的程式，
連線遇到了一點小問題，不過我用了些方法先解決(之後會有更好的作法)，所以程式有順利上傳執行。

接著就是在平台上加些功能，目前會先加的包括，
1.傳輸時 broadcast 的功能。
2.使用者端可以自行撰寫一支程式，接收平台傳來的資料，以便做應用。
3.Report，回報傳輸時間，以及每個component在core上執行時間等資訊。
因為使用者的需求不同，所以如果使用有什麼功能需要加，希望大家告訴我，我可以補上。

另外可能會遇到的問題就是使用者 resource 的釋放問題，
之前宜豊學長有提出，但我還沒找到適當的 solution。

下一步會開始進行的是容錯機制的設計。
如果順利的話，希望可以在寒假時將模擬器 porting 到板子上。

接著是開發者與前四位下載使用者的合影留念

[course] aSLIM applications

2010-10-13T17:27:00.000+08:00

20100930 投影片請按此下載。

20101006 投影片請按此下載。

20101006 aSLIM投影片請按此下載。

20101013 投影片請按此下載。

android introduction & htc cracking

2010-09-06T14:57:00.005+08:00

----------- 2010 09 08 -----------
android 介紹 link 在此
這部分是簡單介紹 QEMU
以及 android 一些基礎入門
了解android應用程式的種類, 以及process lifecycle

htc 部分我認為在課堂上再把link 跟大家說比較適合
這部分主要是說如何一步步去刷機.....

2010 SCREAM Lab Summer Training Courses

2010-08-27T09:34:00.001+08:00

今年規畫的比較晚，大概是因為我生了一場病，之後也比較疏懶一點，不過這傳統還是不希望斷掉。今年的訓練課程偏重實際，但是多增加一點練習，請講師多費心，下學期的多核心課程裡，我希望是這些課程裡部分的延續。

9/6 AM: Verilog 講師: 哲榮

9/6 PM: Verilog LAB and ModelSim 講師: 哲榮

9/7 AM: SMIMS FPGA SDK and FPGA Lab 講師: 巴菲特

9/7 PM: SCREAM Lab Multicore Platform/Emulator Programming Front End 講師: 威佐

9/8 AM: Android/QEMU/Cracking HTC Desire 講師: 塞公; SLIM/aSLIM programming 講師: 易聰

9/8 PM: SLIM/aSLIM Lab 講師: 塞公

9/9 AM: SMIMS Android/QEMU/FPGA 講師:君宇

9/9 PM: SMIMS Android/QEMU/FPGA Lab 講師:格銘

9/10 AM: SystemC/OpenESL/Eclipse 講師: 威佐

9/10 PM: SystemC/OpenESL/Eclipse Lab 講師: ruru

請Lab的講師出Lab所需的練習題目並提供解答，請Senior學長協助Junior學弟製作課程投影片。

請在9/5以前上傳投影片。投影片請各自開主題，並註明年分，作者，以及分類。並在串裡附上摘要。

GCC Bug

2010-08-21T13:06:00.002+08:00

今天遇到一個Bug, GCC有最佳化, 在x86上執行.
double f(double z)
{
return z;
}

void foo(double fraction)
{
double z = fraction * 20.0;
int t1 = z;
int t2 = f(z);
printf("t1=%d, t2=%d\n", t1, t2);
}

void main()
{
foo(6.0/20.0);
}

結果 t1 是5, t2是6

詳細的原因我沒去追, 不過compile的時後多加個flag就解決了
-ffloat-store

lab旅遊-宜蘭行程

2010-08-17T11:48:00.001+08:00

第一天：

坐車到礁溪-五琪峰瀑布(步行30~40分)－跑馬古道-礁溪買鴨賞(巴菲特)－川湯春天養生館(溫泉魚 spa 滑水道 2小時)
-正常鮮小籠湯包(宜蘭)-宜蘭逛東門夜市-看夜景(橘子咖灰)－到羅東民宿check in－休息[住羅東]

橘子咖啡
03-9220171
地址：宜蘭縣員山鄉枕山一村19號3樓

第二天：

開車到南澳火車站(9點集合)-(9.30)開始溯溪-(中間午餐)-4點結束
-南方澳吃海產-羅東逛羅東夜市-羅東運動公園-休息

第三天：

外澳衝浪－樂屋日本料理-芋冰-附近的街道?買名產(諾貝爾奶凍捲)－宜蘭還車回家－坐車回家

聯發芋冰老店
地址：宜蘭縣頭城鎮青雲路三段190號

樂屋日本料理
03-9777525

旅遊每人初估:
1.車錢: 350*2 + 150*2 + 950 = 1950
(台南-台北) 噶瑪蘭號(台北-宜蘭) 宜蘭租車油錢
((2500+2200)*2+1000)/11
2.住宿: (950*10+1300)/11 = 990
3.玩樂: 220 + 500 + 1600 = 2320
川湯衝浪溯溪
4.保險合菜: 40 + 500 = 540
保險合菜(海產)

合計 1950+990+2320+540 = 5800

Polyphonic Computer Music Authoring Tool - 仕偉

2010-07-28T02:00:00.004+08:00

-----------------------------------------------------
2010/10/5
-----------------------------------------------------

目前AuthoringTool主要功能說明：

1.讀入wave檔可用程式抓出f0.
2.讀入wave檔可畫出spectrum.
3.使用者可以畫出f0,音量可由java或cuda合成聲音.
4.可由讀入的spectrum,由使用者畫出大概基頻,程式會自動找出對應的spectrum能量並修正頻率.
5.data可存為xml檔方便存取.
6.合成音樂時可調整音高,音量,合成partial比例.如用cuda合成時以上可為real-time.

連結網址:http://cmslab.csie.ncku.edu.tw/index.php/research/asp

-----------------------------------------------------
2010/8/19
-----------------------------------------------------

完成抓取spectrum的功能,不過抓到的數值要轉換成dB,
轉換的公式要再調整.
介面變更許多,待確定再一次貼圖.

-----------------------------------------------------
2010/7/28
-----------------------------------------------------

主畫面:

已將檔案結構換成Vector.
已完成移植:
spectrum
wav
midi
新增pitch
修改pitch
刪除pitch
java聲音合成
選擇partial
選擇group
pitch table
help-about

about :

新增兩功能的GUI,尚未實作內容:

-----------------------------------------------------
2010/7/2
-----------------------------------------------------

為了改善畫圖的效率，捨棄原本的畫圖方式，改用新的方法：

舊的方法：
在panel中用paintcomponent，由於paintcomponent是對整個panel繪圖，因此只要修改到panel的內容，整張panel就會重繪.

新的方法 :
在panel中建一個label，將已存的資料畫在bufferedimage放入label中當背景，上面架一層玻璃(GlassPane)當畫布。
1. 如果要畫新的pitch會畫在玻璃上，確定畫完再更新bufferedimage->放入label中當背景。
2. 刪除pitch時會在玻璃上畫背景顏色，等確定後再刪除資料->更新bufferedimage->放入label中當背景.
此方法優點是每次在新增或刪除pitch時畫面只會重畫GlassPane的部分，不會影響到背景label的圖形，因此效率會大幅改善，以下為圖例：

-----------------------------------------------------
2010/6/18
-----------------------------------------------------

新增demo影片

-----------------------------------------------------
2010/5/27
-----------------------------------------------------

1.讀檔可由xml讀入已編輯好的檔案.

2.在讀檔,合成,修改pitch,新增顯示進度條.

3.可指定要合成的時間片段,按"SlelectRange",滑鼠點第一下為開始時間,
第二下結束時間,第三下取消選取.

4.未選擇時間片段則預設合成全部.

-----------------------------------------------------
2010/5/25
-----------------------------------------------------

1.修改wav spectrum,使明暗更明顯.

2.可對單一partial或 partial group編輯,會跳出視窗.

3.視窗內可編輯音高,按"drawVolume"可用滑鼠畫出指定音量,單位是db,
按下"Synthesis"就可合成此段pitch並播放.

-----------------------------------------------------
2010/5/20
-----------------------------------------------------

語音合成與研究

1. 了解語音合成過程

目前語音合成
--用LPC model vocal tract
--程式中的model vocal tract部分希望改成sine

2. 如何用HMM輔助合成

showmin的合成
--音色庫先建好
--LPC+sine是用來Model Harmonics
--HMM只是來輔助合成的

3. 目標

了解語音合成的程式碼,
將showmin之LPC model sine的方法修改或套用至語音合成,
再用HMM輔助合成,並整合到authingtool.
希望能用CUDA加速.

-----------------------------------------------------
2010/5/19
-----------------------------------------------------

matlab with hmm example

http://zwe0405.blogspot.com/2010/05/hmm-matlab-example.html

matlab with hmm 函數說明

http://zwe0405.blogspot.com/2010/05/hidden-markov-models-with-matlab.html

-----------------------------------------------------
2010/5/14
-----------------------------------------------------

增加了顯示wav檔的orginal spectrum.

做法:
程式讀入wav檔->分析格式取出data部分->data bytes轉成數字->
將數字標準化後經FFT計算得frequency,amp.

亮度變化用java的函式gradientpaint(x1,y1,color1,x2,y2,color2),
意思是從(x1,y1)的顏色color1漸層至(x2,y2)座標的color2,
再搭配畫線函式畫出.

因amp大小不同須調整gradient兩座標的距離來改變亮度.

FFT window:8192, 取樣頻率用44100Hz算的話,
每隔441根bin計算一次,使得時間剛好相差0.01 second.

截圖如下:

-----------------------------------------------------
2010/4/27
-----------------------------------------------------

在小聽的筆電上跑authoringtool會有error,
經過多次試驗總算找出原因.
結果居然是visual studio 2005與visual studio 2008不相容的關係.
我是用visual studio 2005編譯dll檔,在有裝visual studio 2008的環境
下會error.

解決辦法:
1.將visual studio 2005移除掉重新裝visual studio 2008.
2.裝完後跑authoringtool果真error,於是重新編譯dll.
3.在編譯dll時多了錯誤,原來裡面有段程式碼free了已經free過的變數,
於是把這段程式碼拿掉,重新編譯dll.
4.執行authoringtool,可以work了.

在visual studio 2005下那段程式碼是ok的,
visual studio 2008下卻不work,真令人感到奇怪.

-----------------------------------------------------
2010/4/22
-----------------------------------------------------

Features :
1. When open wav file the program will show progressbar which always on top.

2. Can select Partial or Partial Group.

-----------------------------------------------------
2010/4/15
-----------------------------------------------------

Features :
1. Highlight partial. ( Just move mouse then highlight automatically. )
2. Mouse tooltip shows Pitch and Pitch picture. ( Last week done. )
3. Mouse dragged on specific field can zoom-In or zoom-Out.

-----------------------------------------------------
2010/4/14
-----------------------------------------------------

Bwv 1007

Bwv 992

Bwv 846

小步舞曲

Mozart KV.545

在8度音也是有很多錯誤, Total錯誤0.29, 8度音錯誤0.19, 非8度音錯誤0.097.

-----------------------------------------------------
2010/4/7
-----------------------------------------------------

1.新增點與點之間的連線.
2.修正xml顯示格式,可存成xml檔案.
3.解決將partial從中間刪除之後分為兩段partial的問題.
4.解決畫harmonic的連線問題.

-----------------------------------------------------
2010/3/29
-----------------------------------------------------

新增畫partial的方法,工具列圖示如下：

圖示由左至右分別為
1.畫f0
2.畫泛音
3.畫出整個partial結構
4.擦掉partial
5.擦掉整個partial結構

畫出整個partial結構就是只要畫出基頻, 其基頻產生的泛音就會自動產生;
目前泛音的算法是取基頻的2倍頻,3倍頻直到8倍頻.

擦掉整個partial結構就是只要擦掉某一partial,其泛音結構也會一併去掉.

以下是1,2,3方法的截圖：

-----------------------------------------------------
2010/3/2
-----------------------------------------------------

實驗Bach - Prelude 1, BVW 846第1,2小節.

結果：基頻找錯 8%, 多找音 2%, 少找音 5.5%.

註1.基頻找錯:共三個錯誤.兩個錯誤是應為基頻卻標示成泛音,
一個是同一trajectory在某段標示是基頻某段又標成泛音.

原樂譜：

對譜圖：

對譜圖說明：綠色是少找音,黃色是基頻找錯,重藍色是多找音.

====================================

實驗Bach Minuet NO.1:小步舞曲找parital tracking,
音源是由人工方式看譜貼音組成的wav檔.

結果：沒有發現錯誤情形

原樂譜：

對譜圖：

-----------------------------------------------------
2010/3/1
-----------------------------------------------------

修改音高的功能實作完成.
使用者可以用橡皮擦將不要的音擦掉,
也可以用筆劃出想要的音高,如圖:

還需要修改一下xml部分始能完整的存寫檔.

-----------------------------------------------------
2010/2/25
-----------------------------------------------------

將巴哈無伴奏BWV 1007的用HMM分析並人工對譜看錯誤率.

結果：多找音的情形較多,錯誤率達15.6%,其他情形錯誤率都在6%以下.

註1.基頻找錯：應為基頻但顯示為泛音.
註2.多找音：找到不在樂譜上所標記的音高.
註3.少找音：樂譜上有標記音高但對譜結果無顯示.

附錄:對譜時的圖。

原樂譜1,2小節：

partial tracking結果並標示音高：

標示出錯誤,綠色為多找音,黃色為少找音,這兩小節沒有基頻找錯：

-----------------------------------------------------

加入pitch detection的格線,隨時間或頻率範圍不同,
顯示的細密程度也不同.

-----------------------------------------------------
2009/12/21
-----------------------------------------------------

將wav波形,pitch detection,五線譜3個panel嵌入主視窗,
各個panel可拉中間分隔線調大小.

-----------------------------------------------------
2009/12/09
-----------------------------------------------------

程式說明 :

wav檔只須讀入1次,之後調整大小,顯示waveform等都不須再次讀取檔案.

之後還要做的 :

xml格式加入
pitch detection的時間軸,頻率軸,放大縮小倍率
wav波形的時間軸,頻率軸
wav頻譜顯示
HMM包成dll
修改五線譜顯示
debug midi parser

-----------------------------------------------------
2009/12/07
-----------------------------------------------------

將pitch detection與五線譜合併視窗,加入可看Wave波形,
pitch detection可調整可視時間範圍,頻率.

尚未完成:pitch detection的時間軸,頻率軸,放大縮小倍率;wav波形的時間軸,頻率軸;wav頻譜顯示;HMM包成dll.

-----------------------------------------------------
2009/11/20
-----------------------------------------------------
加入wave 的 pitch detection.

-----------------------------------------------------
2009/10/22
-----------------------------------------------------

修改繪製音符細節.

-----------------------------------------------------
2009/10/19
-----------------------------------------------------

已在程式中畫出樂譜,由midi讀檔自動畫出.

如何將midi資料畫成樂譜：由delta time與pitch來畫出。

以下為與五線譜的對應關係。

接下來要做：將五線譜畫的更完善,xml,pitch detection包近來,會儘快完成.

-----------------------------------------------------
2009/09/04
-----------------------------------------------------

現在程式加入midi播放功能,並可分析出Track數目,

但要從Track中提取資料畫譜,目前還找不到可用程式碼.

有找到關於midi以16進位開啟的資料分析的ppt,

裡面有這樣的解說

我只是舉出其中的兩張投影片,全部ppt在此 .

如果真的找不到可用的code話可能要自己利用16進位分析midi再來畫譜,這是最後的方法.

附上目前程式圖：

點file->open midi file

開啟midi音樂檔

播放時紅圈處顯示此midi檔有9個tracks.

-----------------------------------------------------
2009/08/15
-----------------------------------------------------

我新開一個討論串並把舊的文章移到這。

根據許多軟體的設計我畫了這個草圖：

功能列下面是工具列，就是有一格一格方塊的。
Wave視窗裡面的軌道要有frequency， frequency的Harmonics,波形圖,看還需要什麼.
Property可以顯示樂器,及一些詳細資料.
功能要有修改五線譜,修改FF0.

另外附上其他軟體的介面圖供參考

學長的二胡軟體

-----------------------------------------------------
2009/07/11
-----------------------------------------------------
不免俗的，先來說一下故事。

由於維城、文森及冠廷近年來在polyphonic music的研究上有了卓越的成果，Cuda的普及正好可解決合成上計算量過高的問題，因此老師便計畫著如何利用它來呈現大家的研究成果。此外，電機系有個同學願意幫我們完成電腦動畫，使其可在畫面上呈現提琴演奏的樣子，還有師大音樂系同學的加入，他們願意幫我們修正分析完錯誤的部份結果，並標記提琴的弓法。最後也最重要的，是冠廷跟小聽加入實作的行列。在天時、地利、人和的條件都滿足的情況下，這個編曲工具的專案便問世了。

昨天跟冠廷和小聽已討論出大概的系統架構、初步實作之資料格式及功能等等，因此開條Thread來紀錄一下工作事項及進度。目前工作的分配如下：

冠廷:

先實作資料格式的I/O，也就是先將文森的結果，按照以下格式紀錄在程式中，輸出的格式暫定為 XML 與 Binary，時間的最小單位是 10ms。註: Track外還會包一層 Group，來代表是同一組 partial group。

class Track

{
-----------------------------------------------------

int 樂器id;
float[] 頻率;
float[] 能量;
int 起始單位時間;
int 持續單位時間;
Control[] control;

----------------------------------------------------------------
}

class Control

{
-----------------------------------------------------

int type; //紀錄 control種類, ex: vibrato 就填1
int subType; //紀錄是哪一個子類, ex: vibrato有三種,如果要第二種,就填2
string tablePath; //如果type是user define, 會由使用者指定這個路徑
int 起始單位時間; //在這個Track的單位時間多少時發生
int 持續單位時間;

-----------------------------------------------------
}

小聽:

使用Java Swing製作GUI，先尋找一下網路上是否已有寫好的函式庫有提供我們所需要的功能。需要的功能細項待補。(我寫的字條放在 Lab …)

1. 畫waveform的panel (time domain、FFT)

2. 在波形圖上選取區段，變色效果。

3. 經由畫筆改變waveform

4. 可以自由配置視窗的功能

5. 隨不同視窗，改變工具列。

6. 屬性頁

7. midi檔的note number用樂譜形式呈現

showmin:

實作擷取一段聲音的 partials 並另存成樂器庫及 OLA additive synthesis。