Sincroniza todos los threads de un bloque.

Sincroniza todos los threads de un warp.

Sincroniza todos los threads del kernel (grid)

Sincroniza la GPU con la CPU.

se lanza 1024 bloques con 32 hilos

se lanza 32 bloques con 32 hilos

se lanza 1 bloque con 32 hilos

cudaMemcpy(d_b, &b, size, cudaMemcpyHostToDevice);

cudaMemcpy(&c, d_c, size, cudaMemcpyDeviceToDevice);

cudaMemcpy(&c, d_c, size, cudaMemcpyHostToHost)

cudaMemcpy(&c, d_c, size, cudaMemcpyDeviceToHost);

1024 hilos

32 hilos

16 hilos

cudaMemcpy(d_b, &b, size, cudaMemcpyHostToDevice);

cudaMemcpy(&c, d_c, size, cudaMemcpyDeviceToDevice);

cudaMemcpy(&c, d_c, size, cudaMemcpyHostToHost)

cudaMemcpy(&c, d_c, size, cudaMemcpyDeviceToHost);

Todos los threads de un bloque.

Todos los threads de cada uno de los warps de un kernel (grid).

Todos los threads de un kernel.

Los threads ejecutándose en diferentes bloques.

tid = threadIdx.x;

tid = blockIdx.x;

tid = blockIdx.y;

tid = threadIdx.y;

1024 bloques y 2048 hilos por bloque. 

2048 bloques y 2048 hilos por bloque. 

512 bloques y 2048 hilos por bloque. 

Kernel<<< 1, 1 >>>

Kernel<<< 1024*1024, 1024 >>>

Kernel<<< 2048, 1 >>>

Kernel<<< 1, 1 >>>

Kernel<<< 1024*1024, 1024 >>>

Kernel<<< 2048, 1 >>>