CUDA - Vivian

[090314]

架構介紹

‧ CUDA中，分為host和device兩部分。Host通常是指CPU。而 Device是host的coprocessor，它有自己的memory，可以跑平行的threads，在這裡我們指GPU，然而它也可以是其他的parallel processing device。在Device上跑的程式區段，我們稱為kernel。

‧ In CUDA program, serial 程序交給host (CPU)來做，而其中可以highly parallel的部分，我們寫成kernel function，放到device (GPU)上執行。

流程簡單敘述如下，host端將資料和kernel給GPU，GPU執行kernel，CPU在這同時可以做其他的事情或是等待GPU的資料return。

Serial code executes on the host while parallel code executes on the device.

‧ Thread Hierarchy

1. Thread : 執行的最小單位，每個thread都有一個獨特的threadIdx , a 3-component vector，so threadIdx can be 1D , 2D, or 3D, 方便我們去 domain 程式使用的vector 或 matrix的元素。

數個Threads組成一個block。

Note : GPU上的thread 較 CPU上的light weight，因為是用硬體去做，耗費的cycle較少。但是CPU到GPU之間存取等會耗掉不少時間，因此只有當程式能"highly" parallel，整體的效率才會有顯著的增進。

2. Block : 同一個block的threads可以使用共用的share memory來合作或同步，此外，__syncthreads()函數也可以使block中所有的threads都同步到了這個點時，才讓所有的threads繼續執行下去。目前的GPU一個block可以包含512 個threads。

數個Blocks再組成grid，同樣地，一個block 有獨一的blockIdx, which can be 1D or 2D.

‧ Memory Hierarchy

1. register & local memory : 每個thread有自己可以存取的 registers，在 kernel function 裡宣告的 automatic variable 會存在 register，但是當 automatic variable 數量多於一個thread可使用的register數量，或是 array型態的變數，以上這些會存在local memory。local memory 實際上是在 DRAM，速度較register慢許多，使用上要謹慎考慮效率問題。

2. Shared memory: 同一個block的threads可以存取的共同memory，效率快，它的Lifetime 與此所屬的block一樣長。

3. Global memory: 相當於GPU的DRAM，可以被host和device的每個thread存取，可以用於host和device交換資料使用，但是data access latency很長。

4. Constant and texture memory spaces : two additional read-only memory spaces accessible by all threads. The global, constant, and texture memory spaces are persistent across kernel launches by the same application.

*All above figure from Nvidia Programming Guide.

*參考資源
Nvidia CUDA document
國網中心CUD教學課程
Hotball's Hive

-------------------------------------------------------------------------------

大家好，我是碩零的新生Vivian，也可以叫我小聽～

下次會介紹關於programming的部分。