AuverGrid

Formations

Sebastien CIPIERE — 2011-04-06T07:23:47Z

.
.
.
.
.

Formations :

Le cours de grilles ISIMA par Antoine Mahul
ISIMA 2011
1 Introduction
2 Cluster de calcul avec Torque / Maui
3 Infrastructure de la grille européenne EGI
4 Infrastructure de sécurité de la grille (GSI)
5 gLite : Le système d'information de la grille
6 gLite : La gestion des jobs
7 gLite : La gestion des données
8 gLite : La programmation sur grille avec SAGA

Objectifs

Sebastien CIPIERE — 2011-03-18T18:11:31Z

Repousser les limites de la connaissance humaine

Cette vidéo de 15 minutes en anglais, nous explique clairement du point de vue de la physique des particules ce que nous cherchons et pourquoi nous devons disposer de moyens de calcul toujours plus puissant. (à 10:55 nous voyons qu' AuverGrid est l'un des nombreux maillon de cette chaîne qui a pour but de repousser les limites de la connaissance humaine)

Et ceci est transposable à de nombreux autres domaines comme la météorologie ou l'étude du génome humain, notamment.

Glossaire

Sebastien CIPIERE — 2011-03-18T13:35:34Z

-B-

BDII : Berkeley Database Information Index Brique de base du système d'information de la grille.

-C-

CE : Computing Element Ressource de calcul de la grille.

-D-

DPM : Disk Pool Manager Serveur de stockage (SE) accédant a des disques locaux.

-E-

EGI : Europen Grid Initiative Initiative de grille européenne.

-G-

GLUE : Grid Laboratory Uniform Environment Schéma de données de l'OGF pour le système d'information de la grille.

GP-GPU : General Purpose Graphical Processor Unit Processeur graphique pour le calcul scientifique.

GSI : Grid Security Infrastructure Infrastructure de sécurité de la grille : certificats, proxy.

GUID : Grid Unique ID Identifiant unique d'un fichier enregistré dans le LFC.

-J-

JDL : Job Description Language Langage de description d'un job de gLite.

-L-

LB : Logging & Booking Service Service de traçabilité des jobs.

LCG : LHC Computing Grid Grille de calcul du LHC.

LFC : LCG File Catalog Catalogue des fichiers d'une VO.

LFN : Logical File Name Nom logique d'un fichier enregistré dans le LFC.

LHC : Large Hardron Collider Collisionneur du CERN mis en service en 2010.

-M-

MPI : Message Passing Interface Interface de communication entre processus par messages.

-O-

OGF : Open Grid Forum Organisme de standardisation des grilles.

OGSA : Open Grid Services Architecture Architecture orientée service de la grille.

OGSI : Open Grid Services Infrastructure Infrastructure pour déployer OGSA.

-P-

PKI : Public Key Infratructure Infrastructure de sécurité à clé publique.

-S-

SAGA : Simple API for Grid Applications API défini par l'OGF pour le développement d'applications orientées grille.

SE : Storage Element Ressource de stockage de la grille.

SMP : Symmetric Multi Processor Architecture symétrique de machine multiprocesseurs.

SRM : Storage Resource Manager Interface de gestion communes aux différents types de SE.

SURL : Storage URL Identifiant d'un fichier (physique) sur un SE donné.

-T-

TURL : Transport URL Identifiant d'un fichier (physique) sur un SE donné pour un protocole de transfert donné.

-U-

UI :User Interface Serveur de connexion à la grille.

-V-

VO : Virtual Organisation Communauté d'utilisateurs de la grille.

VOMS : VO Membership System Système de gestion des utilisateurs d'une VO et de leurs autorisations .

-W-

WMS : Workload Management System Système de gestion des jobs.

WN : Worker Node Nœud de calcul (faisant partie d'un CE).

Les chiffres

Sebastien CIPIERE — 2011-03-16T17:28:15Z

.
.
.
.
.
.

Quelles sont les ressources potentielles sur les 10 sites ? au 28 mai 2010

Calcul : 1554 Cœurs CPU et 960 GP GPU
Stockage : 271 Téraoctets
Middleware (Job management) : gLite, LRMS (spécifiques)
Stockage : SRM

Quelles sont les ressources de calcul fournies ?

51% LPC
15% LIMOS
11% IUT Montluçon
7% CEMAGREF
5% CIRI
4% OPGC
3% IUT Aurillac
2% LTIM
1% ERIM
1% IUT Le Puy

Quelles sont les ressources de stockage fournies ?

79% LPC
18% CIRI
2% ERIM - IUT Aurillac - IUT Le Puy - IUT Montluçon - LIMOS - LTIM - OPGC
1% CEMAGREF

Ressources en temps réel

Sebastien CIPIERE — 2011-03-16T17:27:52Z

Vous pouvez consulter l'état du site AUVERGRID en temps réel sur le site gstat

ainsi que dans différents outils de visualisation comme GridMap AuverGrid se situe dans la NGI France.

Historique

Sebastien CIPIERE — 2011-03-16T17:27:39Z

.
.
.
.
.
.
.

Réponse à l'appel à grands projets du Conseil Régional d'Auvergne, avec un cofinancement Conseil Régional, FEDER, et fonds propres aux partenaires.

AuverGrid, lancé en 2003 sous le nom d'INSTRUIRE, est un des grands projets retenus par le Conseil Régional d'Auvergne. Son but est de construire en Auvergne une grille de calcul offrant une forte capacité de calcul et de stockage, à destination des acteurs de la recherche et du développement économique. Cette grille s'est constituée progressivement et doit être opérationnelle dans son ensemble fin 2006.
AuverGrid s'appuie sur l'infrastructure de réseau régional AUVERDATA.NET et sert de support à des utilisations telle que le projet LifeGrid. De ce fait, les 3 projets soutenus et financés par le Conseil Régional et l'Europe forment un ensemble cohérent.

AuverGrid constituait un nœud important de la grille européenne EGEE, comme le montrent les résultats de travaux à grande échelle comme le « Data challenge » sur la grippe aviaire (100 ans de calcul réalisés en 6 semaines) ou la capacité de calcul fournie pour les expériences au CERN à Genève.

AuverGrid fait désormais parti de la grille EGI et poursuit ses objectifs :

Déployer un méso-centre de ressources basé sur la technologie des grilles informatiques à l'échelle régionale
Faire bénéficier les partenaires publics et privés des développements technologiques les plus récents
Répondre aux besoins informatiques
- De la recherche
- De l'enseignement
- Des établissements publics
- Des entreprises

source : www.lifegrid.fr

Qu'est ce que la Grille ?

Sebastien CIPIERE — 2011-03-16T17:27:29Z

.
.
.
.
.
.

Évolution de l'informatique

1- Les machines diminuent en taille et se relient en réseaux
2- Les réseaux augmentent

en nombre
en interconnexion

Les besoins des utilisateurs augmentent

Puissance de calcul
Capacité de stockage
Services nouveaux

Qu'est ce qu'une grille de calcul ?

Une grille de calcul est un ensemble formé de plusieurs éléments

Une capacité de calcul de plusieurs milliers de calculateurs
Une capacité de stockage -> des données en masse (petaoctets)
Un réseau à très haut débit interconnectant les sites
Un ensemble logiciel permetant le fonctionnement en grille
Des outils et applications tirant partie de la grille

Elle est particulièrement adaptée pour le calcul intensif dans les applications comme :

La biologie
L'observation de la terre
La physique des hautes énergies

Une grille de calcul se veut l'analogue dun réseau électrique qui fournit à tout utilisateur les ressources dont il a besoin au moyen dune interface simplifiée (comme une prise de courant), à peu près standardisée. La complexité du réseau est complètement cachée L'utilisateur peut faire varier sa consommation sans démarche préalable dans le cadre d'un abonnement.

Fonctionnement d'une grille

L'utilisateur soumet sa requête via une interface appelée UI (User Interface).
La Grille trouve et alloue les ressources nécessaires (calculateurs, stockage).
La Grille gère le déroulement de la requête.
La Grille présente les résultats à l'utilisateur.
L'utilisateur n'a pas à savoir quelles ressources sont mobilisées ni comment les mettre en oeuvre.

Bénéfices :

Puissance de calcul colossale
Exécution de très grandes applications mettant en oeuvre des milliers de calculateurs
Accès transparent à des ressources de haut niveau depuis un poste de travail
Une même manière de présenter et d'utiliser une large gamme de ressources
Une localisation des ressources de calcul et de stockage répartie et indépendante
Securité assurée à travers l'authentification, des autorisations, et la confidentialité

Les ressources de base

Un Storage Element (SE) est une ressource offrant une espace pour stocker des données. Sa taille varie de quelques disques à un vaste système de stockage de masse. Les données sont accessibles aux programmes s'exécutant sur les computing elements. Un storage element peut aussi offrir des prestations annexes comme :
- back up
- accès via de multiple protocoles
- pré-allocation d'espace de stockage

Un Computing Element (CE) est une ressource qui offre de la puissance de calcul via les Worker Nodes qu'il gère.

Exemples :

- Un cluster de PCs avec un batch system
- Un supercomputer pour du parallélisme
- Des machines pour des accès interactifs

Un Resource Broker (RB) est un intergiciel qui transfert l'exécution du travail des clients sous forme de "job" au CE le plus probable dans une environnement de calcul hétérogène. Le RB est en charge de la transmission des requêtes afin de satisfaire les demandes clients, en listant les ressources les plus probables pour l'exécution du job, et la récupération des résultats de sortie de ce job.

Liens externes

Sebastien CIPIERE — 2011-03-16T17:27:17Z

.
.
.
.
.
.
.
.

Qu'est que la grille et France grilles.(par ITespresso.fr) ?

Partenaires

Antoine MAHUL — 2011-01-31T14:30:44Z

Laboratoires

ISIT, Université d'Auvergne
LaMP (OPGC), CNRS UMR 6016 - Université Blaise Pascal
LASMEA, CNRS UMR 6602 - Université Blaise Pascal
LIMOS, CNRS UMR 6158 - Université Blaise Pascal
LISC, CEMAGREF
LMGE, CNRS UMR 6023 - Université Blaise Pascal
LPC, CNRS UMR 6533 - Université Blaise Pascal
TIM, CNRS UMR 6272 - Université Blaise Pascal

Entreprises & Associations

Biopôle Clermont-Limagne, technopôle des sciences du vivant
HealthGrid, Association loi 1901
maatG, PME

Etablissements

CEMAGREF
CRRI du PRES Clermont Université
IUT Montluçon (Université Blaise Pascal)