2012年4月27日 星期五
Building the GPU Cluster
我們有幾台 GPU Server,老師有想要將他建立成一個 GPU Cluster 的 prototype, 在Infrastructure,我們有了機器,那問題就是要如何管理這些資源(CPU, Mem, Network, GPU ...)。
我的想法是,有三個部份要做,分別為基礎建設的管理、程式介面(Platform)、用戶介面。
1. 基礎建設的管理
用以往實驗室常用的方式,就是將程式寫成 components 然後再不同台機器上運作, 接著建個 data flow 交換資料。以我的經驗,這樣的方式在多個使用者時不免會有一人當機,整車人都不能用機器。虛擬化既然這麼紅,那我們是不是用虛擬化的管理方式呢? 現有的 Hypervisor 有 VMWare, xen, kvm 等。將每個 component 放在一個虛擬機器裡頭,接著也一樣用 data flow 做溝通,萬一某台虛擬機器死翹翹,那也不會影響機器內的其他用戶,是一個可行的方法。再者跨多台機器的 Management Tool 也是很多,像是 Nimbus, OpenNebula, Eucalyptus,他們可以用來管理這些 Hypervior。如此一來,我們有了一個中控中心,可以發佈虛擬機器和關閉虛擬機器,有人要執行他的 component 們,我們就給他幾台虛擬機吧。
2. 程式介面
既然 DataFlow 是這樣一個好的傳統,那我們也許可以繼續沿用,每個用戶將他的程式寫成一個 component,然後我們將他放在虛擬機裡。他要 CPU/Mem/Network 我們就給他,他要 GPU,我們也給他。這裡比較難的地方就是要怎麼將 GPU 給虛擬化,有人有辦法請給我一點方向。好加在的是,CUDA 4.0 允許多工,多個人再一台機器上享用 GPU 也不會有太大的問題,剩下的就是 GPU 虛擬化的問題。
3. 用戶介面
前端的用戶介面,負責與使用者溝通,讓他們上傳程式,觀看結果。以往的方法都是寫個 Shell,像是小大象 Hadoop 的 Shell,但我想是不是有其他方法呢?這裡頭還需要 Build System,讓上傳的 Component 可以順利編譯。所以用戶介面要有幾個功能,包括上傳資料程式、建置系統、瀏覽結果的介面。
特別打出來,希望各位看倌、高人能給一些建議。
以後這裡就變一個討論串了,歡迎不吝嗇提出意見。
2012年3月9日 星期五
[課程]2012高速運算應用與多核心系統
2011年8月19日 星期五
Interconnection Network
Figure 1
最primitive的interconnection network可以想做圖二,n個processors經過一個 interconnection network與m個memory做連接。
Figure 2
Interconnect Network 的設計考量有幾個
1. Operation mode : synchronous or not
2. Control strategy : switch elements是 centralized control or distributed control
3. Switching methodology : 包括 circuit switching and packet switching
3.1. Circuit switching 是指有一條實體線路從 src 接到 dst,適合bulk transfer。
3.2. Packet switching 沒有實體線路,傳輸時才決定如何 route,適合小量資料傳輸。
3.3. 當然也有結合Circuit switching和Packet Switching兩個的模式。
4. Network Topology : 就是nodes間的連接圖,又可分為 static 或 dynamic。
4.1. Static的代表link not reconfigurable
4.2. Dynamic則與 Static相反
Static 的可以用 1D、2D、3D、hypercube的方式連接,
1D : Linear
Figure 3
2D : Ring, Star, Near-Neighbor Mesh and More
Figure 4~6
3D 像是 Completely Connected, Chordal Ring等等
Dynamic 的topologies有幾類,包括single-stage、multi-stage、crossbar。Single-stage和multi-stage差別是在switch element有幾層,multi-stage的種類又有很多種,有興趣可以在 google scholar撈到很多。
-------------- 待續 --------------
References
[1] A Survey of Interconnect Networks
[2] Interconnection Networks -A Survey and Assessment
2011年2月28日 星期一
Multi Arm - 哲榮

int open(const char *pathname, int flags)
ssize_t read(int fd, void *buf, size_t count);
ssize_t write(int fd, const void *buf, size_t count);

所以直接開始改driver,把傳輸的protocal寫在driver裡面
以及實做Send()和Receive()兩個API函式 作為之後SPCI使用的傳輸函式
目前driver的write function可以正常執行
但是read function從OS收到的傳輸byte數的值還有問題 還在找是什麼原因
另外還有發現先前memory bus的address 0不能用的問題
並不是不能用 是因為bus沒有byte enable的控制
因此一次傳輸一定是2 bytes的data (16 bit)
因此要寫奇數的address時,bus會從address-1 寫16 bits
然而那時後的誤認,把address先往左shift 1位 (乘2)
然後在電路裡面再取addr[6:1]來使用
讓原本是byte addressing的mini2440變成是word addressing
如下所示
原先:
11111111 0x00
11111111 0x01
11111111 0x02
11111111 0x03
*2後,並且只取addr[6:1]作為address:
11111111 11111111 0x00
11111111 11111111 0x01
目前就先不修改這部份
-------------------------------------





Initial : 每個欄位1byte






2010年12月6日 星期一
Molecular Dynamic Simulation - 威佐、雙魚
威佐 :
目前已經將幾個常用的 Operations 取出,
需要計算的力包括:
Bonded(Bond length、Bond angle、Dihedral 三種力)和 Non-Bonded,
我相信這是簡化過的形式,但對於我們做加速運算已經足夠,
我現在使用的 Code 是學長給的那本書中的 Code (老師我沒有自己寫一個...)。
但是因為要先嘗試做 translator,所以先暫用書中的 Code,等到評估期過後,
我們可以自己改一份 MD 的 Code,
另外,現在成熟的 MD 套件大概是 CHAMBER、AMBER、NAMD、GROMACS,
可以下載使用,看一下別人如何做的,當然我們不需要做到像這些軟體這麼複雜。
雙魚:
著手將 MD 的 Code 改成 Multi-Thread,
目前先規劃將 Non-Bonded Force 的部份給平行,
如果修改完成,可以再加入 Bonded 的部分。
下一步,就是將它寫成 SPCI 的 Component。
2010年12月1日 星期三
SCREAM Processor-Cluster Platform Simulator - 威佐
目前模擬器已經開始使用 & 測試,
雖然不大穩定,但可以邊使用邊 debug。
昨天仕偉學長寫了一個 bubble sort 的程式,
連線遇到了一點小問題,不過我用了些方法先解決(之後會有更好的作法),所以程式有順利上傳執行。
接著就是在平台上加些功能,目前會先加的包括,
1.傳輸時 broadcast 的功能。
2.使用者端可以自行撰寫一支程式,接收平台傳來的資料,以便做應用。
3.Report,回報傳輸時間,以及每個component在core上執行時間等資訊。
因為使用者的需求不同,所以如果使用有什麼功能需要加,希望大家告訴我,我可以補上。
另外可能會遇到的問題就是使用者 resource 的釋放問題,
之前宜豊學長有提出,但我還沒找到適當的 solution。
下一步會開始進行的是容錯機制的設計。
如果順利的話,希望可以在寒假時將模擬器 porting 到板子上。
接著是開發者與前四位下載使用者的合影留念
2010年3月27日 星期六
Multi-SPARC Virtual Platform -- 品皓
meeting投影片
利用之前完成的觀測instruction cycle執行數的功能,觀測自己寫的矩陣相乘程式。
40X40 矩陣相乘,分給四個core,切割方式是每一個task計算出一個element,也就是說每個task接收80個elements,處理40個乘加運算,最後產生一個element並送出。總共有1600個task。一個task所需的instruction cycle數:
wait input: 557
calculation: 2119
send output: 82
以上是平均的結果,但是meeting時大家疑問為什麼40個乘加需要花費這麼多instruction?
之後檢討,觀察assembly code,一個整數的乘法是呼叫一個function .umul

.umul 是在做bit的乘法(mulscc),也就是說一個32 bit的整數他需要做32次mulscc

其中的原因是sparc gcc預設是產生v7的instuction code,為了產生v8的必須加上參數-mcpu=v8。產生的結果是一個整數乘法只需一個instuction完成(smul)。

v8 task所需的instruction cycle數:
wait input: 481
calculation: 354
send output: 82
整個40x40的矩陣相乘所需的instruction cycle數
wait input: 191919 ~ 192591
calculation: 141645
send output: 32718
wait input數據有點差距的原因是程式的行為,開始是四個core同時在等待input,但是外部module送input data卻是一次只能送一個,所以才會造成這一點差距。
======================4/26============================
主要是完成上禮拜做一半的事情,完成外部module透過Multi-core’s Interface與core溝通的能力;並改寫應用程式: 矩陣相乘,改成input & output data皆由ELF sender收送。
另外一個是觀測instruction執行數的功能。
寫成一個應用程式(ELF)可呼叫的function,包在library裡。功用是回傳目前執行總cycle數。
用法跟一般timer類似,想紀錄一段測試程式執行所花費的cycle數時,在測試程式執行前紀錄當下時間,和測試程式執行結束後的當下時間,兩個數值相減就是所要的。
實作方面,此暫存值紀錄在buffer state裡(下圖的inst count),ELF裡的function call只是回傳那個暫存器的資料,實際上是由模擬器更新,也就是SPARC ISS每個cycle更新一次。
======================4/13============================
修改之前呈現的範例程式: 矩陣相乘
原本為了趕比賽把input data寫死在ELF裡,ELF sender把應用程式透過multi-core's interface把執行檔分給所有的core,不同的core自行取用運算所需的input,運算結果全部傳到其中一個core收集並結束。改成input & output data皆由ELF sender收送,core只負責收input和把運算結果output就好。
簡單的說就是需要外部module透過Multi-core’s Interface與core溝通的能力。我的想法是如同之前core之間的溝通方式;也就是增加與sc_port對應的I/O buffer,如同SPARC ISS的I/O buffer。Interface作資料讀寫看到的仍是buffers,並無多少改變。
這樣的好處是可以沿用舊有的溝通方式。不管是core還是sc_port,資料讀寫時看到的都是自己的I/O buffer,同樣interface在處理資料收送時,看到的同樣是buffers,整體上不會修改到太多。
之後還會加上別的功能如多個multi-core's interface的溝通,仍然是透過sc_port,所以應該也可以透過同樣的方式溝通。
======================3/28============================
比賽影片
比賽文件
上禮拜meeting時報告了幾個case執行的數據如下:
Case: 12X12矩陣相乘 分給四個core執行
total Instruction executed: 9,346,711 X 4
Time: 40.92 sec
Case: 12X12矩陣相乘 分給一個core執行
total Instruction executed: 34,639,538
Time: 55.29 sec
這數據蠻奇怪的,模擬34M指令需要55秒,模擬36M指令卻只要41秒?
因為明明是在同一台電腦上模擬,模擬四個core的效率竟然比一個core好。
後來找了很久才發現是systemc kernal的overhead問題,因為我的模擬器是這樣設計的,每跳一個clock所有的ISS就執行一個instruction,而模擬一個instruction的工作量比起systemc kernal小很多。也就是說模擬一個core就是每一個clock跑一個instruction和一次systemc kernal,模擬四個core就是每一個clock跑四個instruction和一個systemc kernal。
判斷這問題的方式則是增加每個instruction模擬的工作量即可,我的作法是加入很長的迴圈,之後得到的數據就比較正常了
Case: 12X12矩陣相乘 分給四個core執行
total Instruction executed: 4.2M X 4
Time: 502 sec
Case: 12X12矩陣相乘 分給一個core執行
total Instruction executed: 14.5M
Time: 436 sec
======================3/16============================
之前有提到,編譯應用程式ELF時裡面的I/O buffer的宣告和使用我是包成一個c library,使用者撰寫應用程式時必須include這個library,那麼編譯時如果有作最佳化是否會出問題?
答案是會的......
最後我避免的方式是加入attribute的設定,可以強制編譯器在處理這個function時使用指定的最佳化等級,譬如以下範例:
void foo () __attribute__ ((optimize(0)));
void foo () {
.........
}
表示foo()這個function編譯時強制使用optimization level 0,只是這方法只能在gcc上使用。
另外是把GDB的功能加到SPARC ISS上。使用ArchC產生SPARC ISS 時就有順帶產生SPARC GDB stub function,雖然ArchC文件寫GDB這段寫的不清不楚的,但是因為之前有作過8051 debugging stub,所以花了點時間trace code就知道怎麼用了。之後簡單測試了幾個指令:中斷點,單步執行,讀寫變數都沒有問題。
目前測試情況如上圖:左邊數來第一個視窗為systemC虛擬平台上兩個SPARC ISS,各一個GDB stub在跑,右邊兩個GDB視窗與之相連。由於systemc是單執行序的模擬方式,所以同時間只會有一個GDB端在與其對應的GDB stub溝通,其他的則是在等待狀態。
======================3/8============================
目前正在作多個SPARC ISS之間的資料讀寫問題,架構與溝通方式以下分段講解:
1.架構:一個中央模組ISS interface連接所有SPARC ISS,也就是全部透過sc_interface與ISS interface相連。每個SPARC ISS都會有I/O buffer各一個,和一個state buffer,ISS interface檢查每個SPARC ISS的I/O buffer並執行搬運資料的動作來達成。
那些buffer是SPARC ISS裡面執行的測試程式(test.elf)宣告在SPARC memory裡的。這裡就關係到應用程式設計者要怎麼使用I/O buffer來達成多核分工的問題。I/O buffer的宣告和使用我是包成一個c library,使用者撰寫應用程式時必須include這個library,並在程式一開始時呼叫buffer初始化的function。之後使用者就可以使用裡面的function進行多核之間的資料讀寫。
這裡比較麻煩的是buffer的位子,是由sparc gcc安排在 sparc memory,包在elf裡。因為ISS interface在存取I/O buffer時必須知道其位子,因此需要buffer初始化。
SPARC ISS載入elf後從pc = 0開始執行。elf裡一開始一定會執行buffer初始化,將I/O buffer address指定在幾個local register並等待(無限迴圈)ISS interface讀取。ISS interface讀取完後將建立一個I/O buffer address table,之後讀寫資料根據此table。ISS interface建立完table後告知SPARC ISS,跳脫等待的無限迴圈並結束buffer的初始化,之後就繼續執行elf的程式。
2. 溝通方式:假設有兩個SPARC ISS A&B,A寫資料給B,如上圖producer->consumer。
A將要寫的資料寫到自己的output buffer並註明目標為B
ISS interface檢查每個SPARC ISS的I/O buffer,知道A有資料要給B
ISS interface檢查B的input buffer是否為空
如果為空,將A的output buffer搬到B的input buffer
B檢查自己的input buffer是否為空以得知有沒有別人傳資料給他。
=====================================================
整個計畫的起始點是從一個單核SPARC simulator開始. 我找了很多模擬器, 最後決定用ArchC. ArchC為 Architecture Description Language, 我用ArchC產生SPARC V8 指令模擬器, 產生出來的模擬器是純c code, 包成一個SystemC module, 且支援gdb的樣子. 測試程式可以由sparc gcc編譯出的elf直接放到指令模擬器上執行.
有了SPARC ISS和其支援工具, 接下來是要發展成多核虛擬平台. 目的是可以將一個應用程式差成多個子程式, 放在不同的SPARC ISS上執行, 最後共同完成此應用程式的功能, 達到多核分工的目標.
2010年3月1日 星期一
System Architecture of ManyCore Simulatorn - 鈞/阿凡/宗胤/品皓
以下是 Y凡的意見,先將其放入主文。我在回應的地方後面有加一些意見。
-----------------------------------
關於core之間的通訊協定部分
我想參考TCP通訊協定,實做這些部分來達傳輸的可靠性,只是不知道這樣做對傳輸效率會有多大的影響
封包中主要定義"來源位址"、"目標位址"、"封包大小"、"剩餘window大小"、"資料sequence"、"偵錯資訊"及"要傳送的資料"
封包的遺失與重傳
設定一個delay time,當收方在收到封包後,送出ack給送方。
而送方在送出封包後,,開始計時,若在delay time前沒收到ack,就自動重送封包
根據收到ack的時間來動態的調整delay time
window advertisement
收送方兩端都約好一個空間大小作資料暫存,在傳送封包及ack時告知對方次空間的大小,當空間已滿時暫停傳送
3-way handshake
利用synchronization segment來建立連線,finish segment來終止連線
congestion control
送方送出封包收到ack後,即將資料傳輸量加倍,直到傳輸量達到收方的window size的一半為止
----------------------------------------------
--- 2009/12/02 06:40PM ---
實作方向
1. Using standard ANSI C to implement the loader's functions of processors(Cores) , so they can be cross-compiled to others binary code to run on different core architectures.
2. The Network-Interface and Router's functions are builded by SystemC. They simply do the function of exchanging data between processors(Cores) and Host.
3. The Network implementation should be easy replaced to the Network architecture, using in 8051 CPU, which suggested by 宗胤 today(2009/12/2).
--- 2009/12/02 10:07AM ---
Function list of Host loader
1. Initialize all Processors, include the stack region size, data region size, number of code region , code region size.
2. Decide and Partion the Stack size, Data size, and function Code size according the Tasks of the Job.
3. Schedule the tasks of the job according the resource of multicore System.
4. Dispatch Data and tasks to Processor.
5. Infor Processor to execute a task.
6. Sync the task between all processor.
7. Deal with all errors and status of the multicore System.
8. Collect all the data from Processors and Finalize the Job.
Function list of Processor loader
1. Initialize the stack region size, data region size, number of code region , code region size.
2. Place the Code and Data to their local memory region.
3. Wait the command from Host to execute the code on code region.
4. Pass the data to next processor.
5. Pass the status to next processor.
6. Return data to Host.
7. Return status to Host.
--- 2009/12/01 ---
依據昨日晚上與今日下午與阿凡/宗胤/品皓討論出來的API架構
阿凡整理的API架構Word檔案(按此下載)
*********** 以下是直接節錄阿凡整理的檔案內容 ********
一開始在initial的動作中,會先將整個code與data分成幾段,並且知道每一段的大小,決定好每一個processor要執行哪些code,用到哪些code。
memory中包含幾個code region、幾個data region,以及這些region各自的起始位址及大小,每個processor會維護一個資料結構來存這些資訊。
HOST端
1.InitializeProcessor(ProcessorNo, Information)
將初始化資訊Information傳給指定的processor
2.DispatchCodeToProcessor(ProcessorNo, CodeNo , CodeRegionNo)
將指定的code傳遞至指定的processor的指定code region
3.StartExeCode(ProcessorNo, CodeRegionNo, RelativeStartEXEAddress)
processor開始執行指定位址的程式碼
4.DispatchDataToProcessor(ProcessorNo, DataNo, DataRegionNo)
將指定的data傳遞至指定的processor的指定data region
5.GetDataFromProcessor(ProcessorNo, DataRegionNo)
從指定的processor的指定data region取回資料
6. GetInformationFromProcessor(ProcessorNo, struct Information *)
從指定的processor取回region資訊
7.GetStatusFromProcessor(ProcessorNo, struct Status *)
從指定的processor取回Status資訊
8.定義region資訊
struct Information {
ProcessorNO; // 自己的processor號碼
NumOfCodeRegion; // CodeRegion數量
Struct CodeRegion *;
NumOfDataRegion; // DataRegion數量
Struct DataRegion *;
StackSize;
}
struct CodeRegion {
CodeNo;
CodeSize;
}
struct DataRegion {
DataNo;
DataSize;
}
9.定義status資訊
struct Status {
StatusNo;
}
Processor 端
1.Initialize(Information)
依照Information做初始化
2.ExeCode(CodeRegionNo)
執行指定code region裡的程式
3.InfoHost()
主動通知host,回傳Status
4.InfoProcessor(ProcessorNo, DataNo, DataRegionNo)
主動通知processor,回傳Status
5.SendDataToHost(DataRegionNo)
將指定data region裡的資料傳回host
6.SendDataToProcessor(ProcessorNo, DataNo, DataRegionNo)
將指定的data傳遞至指定的processor的指定data region
7.GetDataFromProcessor(ProcessorNo)
將指定的data傳遞至指定的processor的指定data region
Cloud Computing API
1.HostToProcesssor(Host, ProcessorNo, Data *)
2.ProcessorToHost(Host, ProcessorNo, Data *)
3.ProcesssorToProcesssor(ProcessorNo, ProcessorNo, Data *)
--- 2009/11/26 ---
補充一下昨日課堂上老師談論的一些資料
1. 系統的走向不以HPC為目標,但需兼顧日後的cores角色替換方便性。
2. 擔任cores的角色可以是硬體也可以是軟體。因此,它可以是arm base或8051或Sparc或x86等任一架構。
3. cores的任務很單純,就是接受host指示,執行由host送來的binary code。而且以single thread方式執行,但是其local memory可能同時間存放好幾套不同function的task的binary code,可以方便某一task執行完畢之後,切換至另一個task。
4. host 則是擔任資源與task分配的運籌中心角色。
5. 介於host與cores的網路,則以搭配的cores來對應軟硬體。可以是bus/ring等型式。
--- 2009/11/19 ---
依老師昨日所提,我大概畫了一下系統架構圖,如果有出入,請指正。
系統架構圖word檔案(按此下載)
至於所需的API,我先提出我想到的部分。
HOST Scheduler API
1. EXECodeToProcessor(ProcessorNo, CodeNo, CodeSize, CodeBlockNo )
2. ReplaceCodeFromProcessor((ProcessorNo, CodeNo)
3. DataToProcessor(ProcessorNo, DataNo, DataSize, DataBlockNo)
4. DataFromProcessor(ProcessorNo, DataNo, DataSize, DataBlockNo)
5. GetInformationFromProcessor(ProcessorNo, struct Information *)
6. struct Information {
ProcessorNO;
NumOfCodeBlock;
Struct CodeBlock *;
NumOfDataBlock;
Struct CodeBlock *;
}
Processor API
1. ExeCode(CodeBlockNo)
2. DataToHost(DataBlockNo)
Cloud Computing API
1. HostToProcesssor(Host, ProcessorNo, Data *)
2. ProcessorToHost(Host, ProcessorNo, Data *)
2010年1月30日 星期六
多核心8051與代理人伺服器
摘要
多核心處理器是目前最重要的研究議題之一,在未來要提高計算能力而同時不讓功率與散熱成為阻礙時,多核心處理器是解決方法之一,不過多核心處理器的開發不僅僅是硬體的問題,同時在系統設計以及軟體開發方面也具備多重困難。與其一開始就切入使用過於複雜的處理單元,本系統採用簡單的8051為基礎,經過適度的修改後,將多顆修改過的8051以晶片網路(Network on Chip-NoC)的方式連結起來,並且採用服務導向架構(Service Oriented Architecture-SOA)以及元件式軟體架構(Component Based Software Architecture-CBSA)的方式讓多顆8051可以共同運作並且為同一套應用軟體進行運算,我們使用代理人伺服器(Agent)負責將軟體元件的二元碼(Binary)透過元件快遞協定(Component Dispatch Protocol)傳送至多顆8051進行運算,而軟體元件之間所需要的資料交換則是利用我們所定義的元件資料交換協定(Component Data Exchange Protocol)透過晶片內網路進行傳輸,而運算的結果透過代理人/元件通訊協定(Agent Component Communication Protocol),最重要的是,我們提供了包含以SystemC為基礎的電子系統層(Electronic System Level-ESL)的模擬器(Simulator)並執行在我們自行開發的開放原始碼的OpenESL發展平台之上,同時我們也提供了FPGA的實體模擬器(FPGA Emulator),而代理人伺服器暫時是使用一部PC來取代。整體的成果呈現出一個簡單的多核心系統所應具備的基本功能,相信這是一個具體而微的展示,讓人可以看見(Visualize)未來真正功能強大的多核心系統,我們計畫在不久的未來採用更先進的處理器以及作業系統,讓多核心系統真正具備實用價值。
2009年11月13日 星期五
Leon3, an OpenCore SoC system
2009年10月12日 星期一
Special Topic on ESL and Multi-core Tool Design
1. SystemC Simulation Kernel
2. Advanced OpenESL tool development
3. TLM2.X
4. ARM Processor ESL Model
5. Multi-core Virtual Model
6. Multi-core Programming on Virtual Model
7. Multi-core application programming using CUDA
8. Debugging tool for microprocessors
09/23 - 10/07
2009年8月4日 星期二
[Book] Multi-core Programming on the PlayStation3 Cell B.E. Platform
2 Cell BE 硬體架構
2.1 PowerPC Processor Unit
2.2 Synergistic Processor Unit
2.3 Element Inter-Connect Bus
3 Cell BE 工具列
3.1 安裝作業系統
3.2 軟體開發工具列
3.2.1 安裝步驟
3.2.2 工具介紹 3.2.2.1 Cell Simulator 3.2.2.2 Compiler 3.2.2.3 Eclipse IDE
4 Cell Programming基礎概念
4.1 簡易SPE程式
4.2 創建PPE行程與執行緒
*4.3 事件處理
*4.3 進階實務
5 直接記憶體存取
5.1 記憶體對應
5.2 指令使用 5.2.1 柵障(Barrier)和柵欄(Fence) 5.2.2 直接存取記憶體列表
5.3 多重緩衝
*5.4 Atomic Method
6 訊息傳遞與同步
6.1 郵件傳遞 6.1.1 PPE與SPE的郵件傳遞 6.1.2 使用DMA達到SPE之間的訊息傳遞
6.2 信號傳遞 6.2.1 PPE與SPE的信號傳遞 6.2.2 使用DMA達到SPE之間的信號傳遞
*6.3 使用訊息佇列傳遞資料
7 Vector Programming
7.1 在PPE上使用SIMD
7.2 在SPE上使用SIMD
7.3 PPE與SPE上使用SIMD的異同
8 錯誤解決
附錄
SPE Runtime Management Library
SPU C/C++ Language Extensions
第2,3章塞公負責,第2章deadline 3月底,第3章deadline 4月底~5月中。
第1,4,5,6我負責,第4,5章deadline 3月底,第6章4月底,第1,8章5月底。
第7章看情況要不要交給學妹寫,希望大家都能準時交差而且寫的要好,不要敷衍。
要寫就寫出來,不寫就都不要寫,不要還寫一半,就像上廁所只上一半。
雖然我的希望是可以不要上廁所就不要上..............
===========================================================
我在第四章的部份有說第三章會詳細講SDK包含哪些ex: compiler等,
所以還請塞公那部份要講清楚點。
*字號的部份是我還沒寫的部份,我想那幾個部份可以來討論要不要寫。
4.2節我目前還在寫,等寫完我的部份應該就差不多了。
第8章我希望大家可以合寫, 有遇過什麼問題都可以列出來
問題, 解決的方法等等
也請大家能不吝惜給我們建議
==========================================================
負責寫SDK3.0的人注意一下,
在最初的LibSPE的版本,如果我們開出超過6個SPE thread,
第七個thread會進入等待佇列,會等到六個SPE thtread都執行完後才會開始執行。
那在LibSPE 2.1的版本(也就是我們現在寫程式#include libspe2.h
有做pre-emptive scheduler,所以現在有做"time-slice"的功能。
至於有沒有那麼神...就看user自己使用了,必須先計算讓SPE context swap-overhead。
swap對的SPE也是一個問題吧。
==========================================================
我整理一下今天我所提的部份,
如果我有闕漏也請各位告知,如果能請各位訂出自己的deadline是最好的。
第一章
等所有章節具雛型再動筆
在第二章到第三章的部份,
1. YDL安裝圖能修整或是重新抓圖。
2. SDK務必附上,告訴使用者有哪些Tool可以使用,必要時附上範例
第四章的部份
是我自己的部份,還少了一個範例。
另外,雖然我們沒有使用到Event Handling的部份,
但是其他書有提到,未來我希望自己能補上這部份。
第五章
修正老師所改的部份
第六章
使用訊息佇列傳遞資料,
此部份還沒有寫,可與老師再討論,如需要可從我的論文截取。
第七章
希望學妹能先出個第0.1版,多增加幾個範例
之後對SIMD越來越有感覺時可再做修改。
第八章
希望各位能提出2~3個會遇到的錯誤,解決的方式如何。
以QA的方式完成此章節。
越多越好。
還記得當初塞公寫的時候說有遇到很多錯誤和問題,現在可能都忘記了
還請各位回想一下,記一下問題。
附錄
請阿凡學弟回去想要如何完成
2009年6月16日 星期二
Cell Programming 工作報告 - 逼逼逼

我發的前幾篇標題都不好,所以另開一篇標題。
11/24 報的paper:Optimizing Assignment of Threads to SPEs on the Cell BE Processor
請點此
另外進度報告
我們切的方式是要在QP=25,INTRA_PERIOD=30才能得到最好比較好的Performance
----------------------------------我是分隔線--------------------------------
12/01
請點此
測了幾個Block的時間~
最先一開始是讓SPE去讀檔案,然後扣掉檔案的讀取時間。
所測得的時間非常不穩定,時間上下抖動的範圍太大。
之後就想到,疑?是不是讓PPE去讀進來放到External Memory,
然後再去從External Memory去抓這些資料就好。
試了之後效果還不錯,
不過這又產生一個大問題了。
當PPE去讀取很大筆的資料放到Memory,例如要花了兩百多MB。
當我去測它的執行時間時,它的執行時間範圍就有時2秒、有時51秒。
差距非常大。我想了一想,也許是用到虛擬記憶體導致變慢。
所以我將要讀進來的檔案切成五等份, 每一等份是23681筆資料。
每一次我就只做一等份,之後再將這所有的五等份時間相加,得到每一個component時間。
之後所測得的時間就蠻穩定的。
註:老師說時間很奇怪,建議只接收一筆資料,同一筆資料做很多次。
再測其時間看看有沒有變。
----------------------------------我是分隔線--------------------------------
趕緊來記一下跟老師討論的文件大綱
第一章 Overview(大綱,提到Toshiba)
第二章 Cell BE硬體架構
第三章 編譯環境
3.1 PS3上的作業系統 - Yellow Dog Linux
3.1.0 安裝作業系統
3.1.1 介紹Toolchain
3.1.2 如何編譯
3.1.3 其他Compiler (XLC compiler)
3.2 Cell Simulator
3.2.0 安裝Simulator
3.2.1 介紹Simulator的各種mode
3.2.2 如何編譯
3.2.3 各種mode跑幾個範例
第四章 Library的使用:寫程式介紹很多API
第五章 自製Toolchain
---------------------------我是20081208分隔線-----------------------------
投影片內容說明了我們怎麼測SPE的時間
另外還有Queue的實作方式,未來會越改越好地。(希望)
註:拿GNU Pofiler測試一下時間,確定各個block時間的合理性
Future work就是把Queue通通的改成漂亮的Queue,
然後做小實驗。
我是投影片
---------------------------我是20081222分隔線-----------------------------
今天報了有關Cell B.E. blocking, non-blocking channel的介紹
Intro: 每一個SPE上MAILBOX或Signal或其實都是一個個的channel。
透過MMIO(Memory Mapped I.O.)去抓取任何一個channel都將是non-blocking。
SPU讀寫channel的話,要根據channel的type決定是blocking或non-blocking。
我是投影片
進度報告:
實作了將DMA做成多筆一次傳,跑出的數據是多少。
實作了另一種版本的Queue,此版本Queue只有一次DMA,測出數據是沒有達到預期效果。
未來要再解一些bug。
刪了某些圖的投影片
---------------------------我是20081229分隔線-----------------------------
1.
今天報告另外一種切割的方法,簡單的說就是做os的task分配的意思,讓每一個block都能
夠滿滿的、負擔都差不多,不要一直只等著事情做。
2.
報告程式流程
Future work:
解決在一開始的初始化時資料被蓋掉的情況
註:下星期與忠和學長討論有關SystemC的部份
投影片
---------------------------我是20090105分隔線-----------------------------
一. paper的outline
data-flow for mpeg4 decoder on cell
1. Introduction
i) multicore programming
ii) data-flow, Pipelined
iii) MPEG4 on cell
iv) cell architecture, programming thread communication
v) Related Work Difference (only MB-level parallelism)
vi) Contribution
2. Design Methodology
i) mpeg-4 component graph
ii) profiling computation communication
iii) Task Allocation
3. Queue Implementation
i) Mailbox/Signal/DMA Synchronization
ii) Batch Transfer
4. Experiment Results
第一個是不同傳輸方式
第二個是不同切法
第三個是不同node數
5. Conclusion
二. 書的outline
當然是還沒有...
目前我有稍微看過阿六仔寫的書,我還沒有看的很仔細。因為看簡體字也需要想一下。
個人觀感是書的前半部份感覺像是英翻中的手冊,例如講一下SPE的架構,然後列出有哪些指令可以用,感覺比較稍微草率一點,後半部份的某些章節我覺得還不錯,例如它有一章列出你可能會遇到哪三樣錯誤,然後這錯誤大概是因為什麼。
我覺得這章節很不錯,如果使用者遇到的錯誤都能在這本書找到所以然,這本書的價值也許會比較高。
---------------------------我是20090108分隔線-----------------------------
Toshiba SpursEngine
Toshiba所出的這塊媒體串流器(SpursEngine)與Cell B.E.的不同點有

1. Cell B.E有8顆SPE,SpursEngine只有4顆
2. 為了Low Power的設計,將減少的4顆SPE換成MPEG-2與MPEG-4/H.264 Encoder/Decoder
3. 不採PPE為主CPU,可用PC上的Intel Processor
4. IO變更
以上4點摘自 東芝半導體公司披露繼承Cell設計構思的處理器真面目
reference:
[1] Full HD趨勢化的波濤,掌握加工編輯關鍵的影像處理引擎
提到了各種影像處理的加速卡優缺
---------------------------我是20090217分隔線-----------------------------
1. 本書導覽
2. Cell BE 硬體架構
2.1 PowerPC Processor Unit
2.2 Synergistic Processor Unit
2.3 Element InterConnect Bus
3. Cell BE 工具列
3.1 安裝Yellow Log Linux
3.2 安裝軟體開發工具列SDK3.0
3.2.1 Cell Simulator
3.2.2 compiler
3.2.3 Eclipse IDE
4. Cell Programming基本概念
4.1 Process and Thread
4.2 Create SPE Thread
4.3 Create PPE Process
4.4 編譯程式
5. Direct Memory Access
5.1 MMIO concept
5.2 DMA concept
5.2.1 mfc_put, mfc_get
5.2.2 barrier和fenced
5.2.3 alignment
5.3 DMA List
5.4 Double buffer
5.5 Atomic Method
6. 訊息傳遞與同步
6.1 Mailbox
6.1.1 介紹SPE的Mailbox種類
6.1.2 PPE與SPE之間的通信
6.2 Signal
6.2.1 介紹SPE的Signal種類
6.2.2 PPE與SPE之間的通信
6.2.3 OR-mode與Overwrite Mode
6.3 使用DMA達到SPE之間訊息傳遞
6.4 使用Queue達成資料資料傳遞
7. Vector Programming
7.1 在PPE上使用SIMD
7.2 在SPE上使用SIMD
7.3 PPE與SPE上使用SIMD的異同
8. 錯誤解決
---------------------------我是20090224分隔線-----------------------------
今日報告,
完成Queue Type II的Doble Buffer,
我們交互使用兩個不同的參數與標籤(TAG),以節省Communication time。
未來要做的事
1. channel(queue) code generator
2. scheduler code generator
欲先完成第一件事,在經過簡單的程序建立如下的Graph後,
能夠幫我在每個core build channel,並在consumer core初始化queue。
scheduler code generator要等到我把這個先弄完才會繼續,
目前怕參數太多,產生出來的code很複雜。
老師的comment:
1. 未來Cell Programming搭配OpenESL GUI,拉幾下就就可以build connection (這點應該沒問題)
自動產生scheduler,需要user告知scheduler額外資訊。
今天我誤會老師問我的問題?老師問說scheduler寫在哪裡?
scheduler的code當然是另外寫的一支程式,產生的code是跑在componenet裡。
我以為老師是問產生的code跑在哪。
我們目前是想說scheduler會產生一張圖,什麼時候哪個core該做什麼事,都在這張圖上。

目前大概就是這樣,萬事都想好,只欠一步一步完成。
---------------------------我是20090303分隔線-----------------------------

欲用一個Graph來代表Core與Core之間的溝通機制,
所以我們建一個Graph,經由加Vertex與Directional Edge(有向邊),
語法
1. Add Vertex ex: myGraph.AddEdge(VLD);
2. Add Edge ex: myGraph.AddEdge("VLD","IMC1","IQ_para","IQ_ARRAY");
Vertext 代表module name,Edge代表channel,如同我們在SystemC語法宣告一個channel,
必須給它一個channel type和channel name,後面這兩個變數就是這個Edge的Feature(屬性)。
依據這個圖我們可以分析每個Vertex,它是當了幾個Core的Producer,自己是誰的Producer。
根據這樣的資訊建立channel initialize Code。
下一步就是scheduler code generator,而scheduler code還在改,希望能簡單到可以自動產生,不然原本的code太複雜了。
User一開始會給我們以下幾個資訊
0. DataFlow的流程圖

1. Core的數目,Ex: 現在要跑在6個core上面
2. 每一個Task的loading Ex: VLD必須花500 ms,IMC花2000ms等等的資訊
我們根據以上的資訊,找出最好的Duplication
演算法我們這邊就不提,以後補上。
根據演算法我們會產生每一個Core的Scheduler Graph,如下圖11個duplication分給6core
根據這張scheduler graph,我們能夠建一張Table描述core與core之間的communication關係之後根據這張Table我們就能跟建立之前我們所說的communication graph,之後就能使用communication(channel) code Generator。目前只做channel code Generator,接著再將code改一改就能完成codeGen了。
老師今天的comment:
1. Eclipse GUI與阿凡討論,列出規格與規劃進度,之後meting拿出來討論進度
2. 4月之後希望能開始改SIMD,然後將改完的SIMD的時間再來重新build graph,讓大家知道不一樣的load會產生不同的scheuler graph
3. 希望未來能再porting一個codec上去,希望這個scheduler code generator是夠general的
| Core 0 | VLD0 | VLD1 | VLD2 | VLD3 | VLD4 | IQ3 | VLD5 | IQ4 | VLD6 | IQ5 | VLD7 | IQ6 | IDCT2 | VLD8 | VLD9 | IQ8 | VLD10 | IQ9 | IQ10 | |
| Core 0 | 0~419 | 419~838 | 838~1257 | 1257~1676 | 1676~2095 | 2095~2705 | 2705~3124 | 3124~3734 | 3734~4153 | 4153~4763 | 4763~5182 | 5182~5792 | 5792~8065 | 8065~8484 | 8484~8903 | 8903~9513 | 9513~9932 | 9932~10542 | 10542~11152 | |
| Core 1 | IDCT3 | IMC0 | IDCT5 | IMC1 | IMC2 | IMC3 | IMC4 | IDCT8 | IMC5 | IMC6 | IMC7 | IMC8 | IMC9 | IMC10 | ||||||
| Core 1 | 2705~4978 | 4978~5484 | 5484~7757 | 7757~8263 | 8263~8769 | 8769~9275 | 9275~9781 | 9781~12054 | 12054~12560 | 12560~13066 | 13066~13572 | 13572~14078 | 14078~14584 | 14584~15090 | ||||||
| Core 2 | PB0 | PB1 | PB2 | PB3 | PB4 | PB5 | PB6 | IQ7 | PB7 | IDCT7 | PB8 | PB9 | PB10 | IDCT10 | ||||||
| Core 2 | 419~1162 | 1162~1905 | 1905~2648 | 2648~3391 | 3391~4134 | 4134~4877 | 4877~5620 | 5620~6230 | 6230~6973 | 6973~9246 | 9246~9989 | 9989~10732 | 10732~11475 | 11475~13748 | ||||||
| Core 3 | IQ0 | IQ1 | IDCT0 | IQ2 | IDCT1 | IDCT4 | IDCT6 | IDCT9 | ||||||||||||
| Core 3 | 419~1029 | 1029~1639 | 1639~3912 | 3912~4522 | 4522~6795 | 6795~9068 | 9068~11341 | 11341~13614 |
---------------------------我是20090401分隔線----------------------------
今天報的是有關IBM所開發的Accelerated FrameWork(ALF)
---------------------------我是20090408分隔線----------------------------
今天提出兩個問題,其中之一已能妥善解決,以下描述我遇到的問題。
1. 初始化中,Race Condition的問題。解決方式:使用PPE做主端控制,將控制權依順序交給各個SPE做初始化。同時間只有一個SPE能做寫入的動作。這樣雖然初始化會慢了一點點,但是卻能不用變更到現層的架構所提出的方法。
2. 遇到架構上的缺限,scheduler所產生的排程,應用在core與core之間的channel對應會有問題存在。
目前先寫論文,目前要兩步驟方式,
第一 產生scheduler圖
第二 檢查schduler圖可否產生code,可以的話gen code。
---------------------------我是20090414分隔線----------------------------
解決conflict的問題。Future work: 當candidate list為空的時候,找尋workload此少的core去assign。
數據看起來不make sense,目前要固定某種變量,看數據跑出來的狀況。
1. 為什麼相同Duplication, 比較多Core卻較差
2. 為什麼相同Core, 比較多Duplicatoin卻較差。
是不是因為Queue SIZE未達到最佳的臨界點。
我目前打算產生兩樣數據
1. 固定每一個core的Queue Size,測出數據圖。
2. 紀錄每張圖的最佳Queue size是多大。
---------------------------我是20090429分隔線----------------------------
老師的comment
1. 更改演算法,讓4core在1個duplication下的時間能比3core在1個duplication的時間少
2. 產生出來的數據有多點疑問,必須一一釐清
2.1 Estimate的時間怎麼會比Real跑出來的還慢?必需再去確認這方面的code有沒有錯,還有就是Estimate的時間要再精確點,例如使用SystemC去model整個執行環境。
3. codeGen有一些bug存在,必須把它解掉
4. mplayer那部份的code要重寫,整合Eclipse IDE部份
5.列出論文大綱
第3,4,5點的部份我會先把它做掉,之後再從第1、2點開始解。
---------------------------我是20090512分隔線----------------------------

根據這張圖,老師的疑問說,為什麼4core在1個duplication會比3core的執行時間長。
我們更改程式分配行為,每一顆core上有兩種時間,一種是current time,另一種是workload time。workload time本來是紀錄是此核心上的所有的Task的時間總和。我們現在加上idle time。current time是目前該核心的時間。我們是根據最小的workload來分配Task。
此圖是更改後。
老師的comment,解釋3,4core在1個duplication的時間為什麼會一樣,5,6core為什麼在1個duplication的時間會一樣,而且會比3,4core好。
解釋1. 4 core的執行時間會一樣,是因為task的之間有dependency的關係。如IDCT0要等到IQ0做完才可做,所以雖然多了一顆核心,但是最長的執行時間仍然坐落在做IDCT0與IMC0的核心上。
解釋2. 5,6 core的執行時間會一樣,是因為在1個duplication的狀況下,Task有5個,所以剛好可以分配給五個core。但是多了一顆core其實是沒有做事的。
小新的問題:為什麼4,5core同樣的Estart Time,5core卻會比較好?
解釋 5core在1個duplication的狀況下會比4core好,是因為剛好每一個task都分配給一個核心做。而沒有dependency的Task,可以自由的先執行,例如VLD1不用等IMC0執行完才做,所以這樣的時間就會重疊起來。所以執行時間是該核心最後一個task的結束時間減去第一個Task開始的時間。
小新的問題: duplication的名詞有點怪,以為是要等到1個Macroblck都做完才能輪到下個Macroblock做。
阿拉給我的旨意: 想辦法取每一個Module的最佳的程式時間,但分配用的是平均時間。
-------------------------------------------------------------------------------------------
將程式部份的名稱改的好看
函式名稱有個DB代表使用Double Buffer機制
DB_funName(para1,para2,para3)
para1用來表示channel是跟誰建立的,如圖中的C_SPE0
表示我是當Consumer,SPE0是Producer。我要接收從SPE0傳遞過來的資料。
ToSPE3(para1,para2,para3);
To後方接的名稱代表我要將計算完的資料重送到哪一個core,例如SPE3。
如果是要傳送給做IMC的core,因為我們使用角色互換的trick。
所以它不是固定給哪個core做,這裡我們使用ToIMC傳遞參數
這個函式會幫我們判斷OutputSel是0或1的時候要送給哪一個Core。
我們的CodeGenerator要寫的適合各種case的話
必須讓User設定很多參數,例如要讓這些code執行多少次,要使用的Function是input、output是什麼。
所以我們原先的使用方式是我們先將程式改成可以Codegen的格式,再來寫code generator
而目前沒有辦法做到任何case都可以適用,最大的問題也許是角色互換的那個trick。
再來就是我們要幫它們的module function 建立Double Buffer機制、然後傳遞資料時要有TAG的資訊,TAG不能都用一樣的,因為會有效率上的問題。
期待學弟了解這些機制後和寫法後能夠改善。








