ComputacionGrid

8/9/2019 ComputacionGrid

1/51

C o m p u t a c i n G r i d

Herbert Hoeger

[email protected]

*Centro de Clculo Cientfico

*Universidad de Los Andes

*EELA-2

CLCAR 2009

Mrida - Venezuela21 de septiembre de 2009


2/51

2

Conceptos Preliminares

Supercomputacin: Fue definida para hacerreferencia a computadoras con capacidades muysuperiores a las de otras mquinas disponibles.

Sistemas tpicos: DEC VAX: 1-10 Mflops

(nada en el medio performance gap)

Supercomputadoras: Crays, CDCs: ~100 Mflops

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009


3/51

3


Hoy en da la distincin ya no es clara (tabla hasta 1990!).

10

1

100

1000

1965 1970 1975 1980 1985 1990

Supercomputadores

Mainframes

Minicomputadores

Microprocesadores

E

f

i

c

ie

n

c

i

a

M

F



4/51

4


Computacin de Alto Rendimiento: Es aquella queproporciona un mayor capacidad de cmputo quela que se puede obtener de computadoresindividuales.

Sistemas de memoria compartida.

Sistemas distribuidos.

Clusters.

Mquinas paralelas

En ingls: High Performance Computing o HPC.



5/51

5

Computacin Paralela: Es la utilizacin de mltiplesprocesadores para resolver una tarea comn.

Se divide el problema es trozos ms pequeos y seasignan a diferentes procesadores.


... ...

...

CPUs

Mecanismo de switches o bus

Bancos de

Memoria

Dispositivos de

Entrada/Salida

MemoriaCompartida

...Mecanismo de enrutamiento

Memorias Locales

CPUs

MemoriaDistribuida



6/51

6

Usamos computacin paralela ya que

Los monoprocesadores limitan:El rendimiento.

La memoria disponible.

La mquinas paralelas permiten:

Resolver problemas ms grandes.

Resolver problemas ms rpido.

Resolver ms problemas.

Hoy en da HPC es prcticamente computacinparalela.

Ejemplo: modelado y prediccin climtica.




7/51

7

Computacin Distribuida: Es la utilizacin de

mltiples sistemas, de alguna forma organizada,para trabajar en un objetivo comn.




8/51

8

Computacin Distribuida

Requiere software para la coordinacin derecursos y tareas.

Computacin paralela / HPC es computacindistribuida.

Computacin Grid es computacin distribuida.




9/51

9

Sistemas Operativos Distribuidos Caractersticas

Transparencia: Provee la visin de una solamquina

(mquina virtual)

Acceso: a recursos remotos igual que a locales.

Ubicacin:

Independencia de nombre ubicacin.

Independencia de mquina recurso.

Replicacin: Las replicaciones mejoran el

rendimiento y la disponibilidad el uso, nombre ycontrol de replicas debe ser transparente.




10/51

10

Migracin: por rendimiento, seguridad ydisponibilidad, los objetos (procesos y/o datos)pueden migrar.

Concurrencia: cada usuario tiene la impresin deser el nico usuario as existan muchos.

Escalabilidad: el sistema puede crecer sinafectar las actividades de los usuarios.

Heterogeneidad: Soportar diferentes tipos dehardware y software.

Seguridad: Proteccin contra destruccin y usosno autorizados.



11/51

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009 11

Disponibilidad: debe operar todo el tiempo an

bajo fallas (quizs con cierta degradacin).Evitar fallas: usar componentes de calidad.

Tolerar fallas: redundancia de componentes

Detectar y recuperar fallas: usar hardware y software

para descubrir y reparar fallas.

Flexibilidad: Facilidad para reemplazar, modificar oagregar componentes.

Rendimiento: Las aplicaciones deben correr mejor

(o al menos igual) que en monoprocesadores.



12/51


Los objetivos generales son los mismos que vimospara sistemas operativos distribuidos pero a unnivel superior.

Debe operar con distintos sistemas operativos.

Computacin Grid

Grid

Middleware

Linux A Solaris AIX HPUX IRIX Windows Linux B Mac OS AIX


13/51


Computacin Grid es computacin distribuidallevada a un nivel multi-organizacional / multi-

sistemas.

Computacin Grid

Dpto.

Dpto.

Dpto.

Organizacin

Dpto.

Dpto.

Dpto.

Organizacin

Dpto.

Dpto.

Dpto.

Organizacin

Dpto.

Dpto.

Dpto.

Organizacin

Son muchos sistemas locales, manejados porotras personas/organizaciones, cooperando.


14/51


Computacin Grid

Hoy en da tenemos: Conectividad global a travs de Internet.

Disponibilidad y confiabilidad en el ancho

de banda.

La velocidad de las redes se duplica cada 9

meses.


15/51

15

Computacin Grid

Usar Internet como unaplataforma de servicios de

computacin y no solocomo una fuente de

informacin.



16/51


Aplicaciones

Grid Middleware

Recursos

Computacin Grid

Caractersticas

Manejo de Recursos

Balanceo de cargas

Manejo de Fallas

Monitoreo Garantizar elrendimiento

Deteccin de intrusos

Escalabilidad, etc

Autentificacin

Polticas deAutorizacin

Descubrimiento derecursos

Ubicacin de recursos

Acceso a data remota

Alta velocidad de

transferencia de data


17/51


Un Grid debe prestar servicios en forma:

Extendida: muchos recursos en muchos lugares Constante: 365 das x 24 horas Confiable: utilizacin de canales seguros

Simple: fcil de usar Transparente: no importa donde se almacenanlos datos o donde se ejecutan los programas. Econmica: utiliza los recursos actuales y es

sencillo adicionar nuevos recursos.

Ms Propiedades del Grid


18/51


Cluster vs. Grid

CLUSTER

Equipos homogneos. Sistema operativo nico.

Administracin y manejo

centralizado - nica.

Equipos estn concentrados. Objetivo: mejorar el

rendimiento dedicando ms

recursos.

GRID

Equipos heterogneos.

Mltiples sistemas operativos.

Administracin y manejo

descentralizado multidominio

Equipos estn dispersos.

Objetivo: mejorar el rendimiento

compartiendo recursos sub-

utilizados en otras partes.


19/51


Cluster


20/51


Grid


21/51


Cloud vs. Grid

CLOUD

Foco: Comercial Servicio. Muchos basados en grids.

Fciles de usar.

Compartir no es objetivo.

No colaborativo. Los usuarios no posen la

infraestructura: no inviertas

en recursos, alqulalos.

GRID

Foco: HPC.

Ms complicados de usar.

Compartir recursos, datos,

conocimiento y trabajo (a travsde VO - Virtual Organizations).

Los usuarios aportan a la

infraestructura: comparte/aporta

recursos y podrs tener muchosms de lo que podras adquirir

por tu cuenta


22/51


Tipos de Grid

Grid Computacional: Dedicadas al procesamientode datos y cmputos intensivos aprovechando lacapacidad ociosa de las diferentes mquinas delGrid.

Grid de Datos: Proporciona una interfaz integradapara manejar grandes volmenes de datosalmacenados en diferentes repositorios.

Grid Hbridas:Tienen caractersticas de las dos

anteriores.


23/51


Analoga

Grid (en ingls) ~ red elctrica.

Grid de Computo ~ red de recursos y servicios

de computacin.


24/51


EL CERN(Centro Europeo de Investigaciones Nucleares)

Esta a la vanguardia en tecnologa de redes. Su lema: where the web was born

Lidera algunos de los proyectos en Grid ms

ambiciosos del mundo.


25/51


CERN - LHC: Large Hadron Collider


26/51



63.6Km


27/51



63.6Km


28/51



63.6Km


29/51


CERN: Large Hadron Collider

Instrumento cientfico ms grande del mundo.

Los datos son una mina de oro para fsicos

alrededor del mundo.

Descubrir partculas fundamentales de lamateria.


30/51


31/51


CERN

1 CD 700 MB 10 PB 14.285.714 CDs

7 CDs 1 cm

10 PB 20,

4K

ms de CDs1 DVD 6,7 CDs

3Kms de DVDs

Suponiendo los CDs o DVDs llenos!


32/51


CERN


33/51


CERN

La solucin posible para manejar/procesar estaenorme cantidad de informacin parece ser la

computacin Grid.

Comentario de William Gropp: Con lacomputacin Grid hay un fenmeno particular,

la necesidad surgi antes que la tecnologa.


34/51


CERN

El problema no es solo el manejo de datos.

Se estima que son necesarios unos 100.000

PCs actuales para analizar estos datos.

Al pasar los aos, la data se acumula!


35/51


LHC Computing Grid


36/51


Estndares

Si distintas organizaciones deciden implementar un

Grid, es muy probable que cuenten con plataformasdiferentes.

Se hace necesario la utilizacin de estndares para

coordinar eficazmente los recursos a compartir.


37/51


Estndares

Se ha definido y se esta actualizando un estndar

para las tecnologas Grid:

Open Grid Services Architecture (OGSA)

Este se enfoca en la integracin de servicios atravs de organizaciones virtuales distribuidas,heterogneas y dinmicas, para obtener servicios decalidad utilizando diferentes plataformas.


38/51


Estndares

OGSA es el producto de personas que pertenecen ams de 60 compaas e instituciones deinvestigacin, congregadas en una comunidadvirtual de usuarios y desarrolladores denominada

Global Grid Forum (GGF)

http://www.ggf.org


39/51


Servicios especificados en OGSA

Servicios de infraestructura: Proporcionan lacomunicacin entre diferentes plataformas.

Servicios de gestin de recursos: Supervisin,reservacin, configuracin, etc.

Servicios de contexto: describen losrequerimientos de recursos y las polticas deutilizacin del Grid.

Servicios de informacin: proporciona informacin

sobre el Grid y sus recursos, su estado ydisponibilidad de un determinado recurso.

i i ifi d


40/51


Servicios especificados en OGSA

Servicios de autogestin: automatizar procesospara reducir costos de administracin.

Servicios de Datos: Proporciona el movimiento delos datos al lugar donde se necesiten.

Servicios de Seguridad.

Servicios de gestin de ejecucin: administracinde tareas, flujo de procesos.

d OGS


41/51


Estructura de OGSA

Servidores

Seguridad

Almacenamiento Redes

Procesa-

miento

Bases de

Datos

Sistemas

DeArchivos

Directorios

Envo de

Mensajes

Web Services

WSRF (Globus Toolkit)

OGSA

Aplicaciones

C d OGSA


42/51


Componentes de OGSA

Open Grid Services Architecture se fundamenta en

dos tecnologas

Globus Toolkit

Web Services

Gl b T lkit


43/51


Globus Toolkit

Globus Toolkit es un conjunto de bibliotecasde software de arquitectura abierta y open

source que soporta aplicaciones Grid

Gl b T lkit


44/51


Globus Toolkit se encarga de la gestin de:

Seguridad

Descubrimiento de la informacin

Administracin de los recursos compartidos

Administracin de los datos

La comunicacin

Deteccin de fallas Portatibilidad

Globus Toolkit

Gl b T lkit


45/51


Globus Toolkit

Gl b T lkit


46/51


Los componentes ms relevantes Globus Toolkit que

soportan al OGSA son:

GRAM: Grid Resources Allocation and Management

MDS: Meta Directory Service

GSI: Grid Security Infrastructure

Globus Toolkit

Gl b T lkit


47/51


GRAM Proporciona la administracin ycreacin remota de procesos en forma

segura y confiable

Globus Toolkit

Glob s Toolkit


48/51


MDS Proporciona un marco uniforme para el

descubrimiento y acceso a la configuracin desistemas.

Supervisa el estado de los sistemas de cmputo, la

disponibilidad de las redes y localizacin deconjuntos de datos.

Globus Toolkit

Globus Toolkit


49/51


GSI Se basa en PKI (certificados X.509) y

proporciona servicios de autenticacin nica,proteccin en las comunicaciones y soporte inicialen la delegacin.

Este ltimo trmino se refiere a delegar lascredenciales del usuario de forma restringida a losproxy para que solicite servicios en nombre delusuario.

Globus Toolkit

Algunas Entidades que Trabajan en Grid


50/51


Cactus Code

Algunas Entidades que Trabajan en Grid

Finalmente


51/51


Finalmente

Que los recursos estn disponibles en

cualquier lugar, en cualquier momento, enforma confiable y segura, que la ubicacinde los procesos y datos sea transparenteal usuario, y que el Grid sea fcil de usar,

son metas en las que an se trabajaarduamente.

La implementacin, operacin y

mantenimiento de un Grid no es fcil,pero el software esta madurandorpidamente.

ComputacionGrid

Documents

Transcript of ComputacionGrid