Fsl2014~#whoami
• Andrés Tello Abrego
• Linuxero desde 1996.
• Empresario desde 2000.
• Siempre orientado a Linux.
• Actualmente especializado en el sector financiero vía IFScore.
• Más de una implementación y muchas casi implementaciones.
Que es HPC
• El HPC se refiere, de manera general, a la práctica de la agregación de potencia de cálculo a un equipo de una manera que proporciona un rendimiento mucho mayor de lo que podría salir de un equipo de escritorio típico o estación de trabajo con el fin de desarrollar simulaciones
computacionales a problemas complejos.
Los effing compiladores y las librerias MPI
• Compiladores– GNU
– Intel
– Open 64
– Portland
• Librerias MPI– Open MPI
– Intel MPI
– IBM BG/Q
Poniendo orden al caos.
• Definiendo el hardware:– Almacenamiento.
– Compiladores y librerias.
• Definiendo el software:– Sistemas de archivos.
– Administradores de carga de trabajo.– Administradores de cluster.
– Monitoreo.
Networking con Infiniband o Fibre Channel.
• Lustre
• Ceph
• GFS (IBM)
• Hardware: – Discos duros distribuidos
– Puedes tener pools híbridos.• SSD, Normales, SAN.
Compiladores y Librerias
• Intel– Compilador Intel, librerías Intel.
• AMD – Compilador GCC, open MPI.
• Power7 – Compilador GCC y open MPI con
Linux.
– Todo IBM con AIX y librería IBM
Adminstradores de cluster.
Se encarga de administrar el hardware, configuraciones de software y programar nuevas tareas para el administrador de carga de trabajo.
Monitoreo
Se encarga de reportas el consumo de los nodos y más importante, de la falla de los mismos.
Los Stacks.
• ¿Todo integrado y soporte corporativo?– Infiniband o Fibre Channel.– SAN con Infiniband o Fibre Channel y
nodos con disco duro.
– Filesystem: IBM GFS.
– Intel Xeon + Xeon PHI
– Compilador y librerias de INTEL– Workload manager: IBM Platform (LSF).– Cluster Manager: IBM Platform.
Los Stacks
• Es más facil de justificar el hardware.– Inifiniband o Fibre Channel.
– Intel Xeon o nVidia Tesla
– Filesystem: Lustre
– 1 o 2 SAN más nodos con discos duros.
– Compilador GCC y Open MPI.
– Workload Manager: SLURM
– Cluster Manager: Werewulf
– Monitoreo: Werewulf
Los Stacks
• ¿Quieres delegar la administración del cluster?– Infiniband o Fibre Channel.
– Discos duros en los nodos.
– Filesystem: Lustre
– Compilador No importa.
– Workload Manager y Cluster Manager: Moab
Los Stacks
• ¿Quieres experimentar?– Gigabit Ethernet– SAN con iSCSI
– Filesystem: NFS o Ceph.
– Compilador GCC y Open MPI
– Workload Manager: SLURM
– Monitoreo: Ganglia.
Los Stacks
• Para que el investigador no se queje.– Infiniband.
– Almacenamiento en los nodos con Lustre más un nodo con RAID y NFS.
– Intel Xeon y 2 Nodos Xeon PHI– Compilador Intel, librerias Intel y Open MPI.
– Workload Manager: SLURM
– Sin Cluster Manager. – Monitoreo: Ganglia.
Top Related