Permiten coordinar un conjunto o grupo de procesos

Son de tipo bloqueante

Rutinas de varios tipos

• Sincronización
  • los procesos del grupo esperan hasta que todos hayan alcanzado un punto de sincronización
  
  
• Movimiento de Datos
  • broadcast
  • scatter/gather
  • all to all
  
  
• Computación Colectiva (Reductions)
  • un miembro del grupo recibe datos de los demás miembros y realiza operaciones sobre ellos