Ce document décrit le projet HPC-CO2 réalisé à l’ENSAM de Metz. Ce projet a pour but de mesurer l’impact carbone des calculs intensifs, et demande ainsi d’étudier la consommation énergétique du centre de calcul CASSIOPÉE. Il nécessite d’y installer des capteurs pour récolter les données pertinentes. Ce document commence par une description du projet et des résultats attendus, puis liste l’ensemble des équipements de mesure déjà disponibles. Ensuite, les équipements de mesure manquants sont décrits. Les données doivent pouvoir être envoyées vers une plateforme IdO (Internet des Objets). Enfin, la dernière partie illustre comment il est prévu d’exploiter les données.

1) Description du projet

La maîtrise de la consommation énergétique est devenue en enjeu face aux défis actuels pour le climat. Les centres de Calculs Haute Performance (HPC) sont devenus essentiels dans pratiquement tous les domaines de l’ingénierie, et leur consommation énergétique est en forte croissance. À titre d’exemple, en 2018, les centres de données ont représenté 2 % de la consommation électrique mondiale et contribué à 2 % des émissions mondiales de CO₂, soit l’équivalent de l’impact mondial de l’aviation (Nature 561, 163-166, 2018). Pour un centre de calcul, vouloir réduire la consommation énergétique est paradoxal par rapport à sa fonction première. Pourtant, de nombreuses pistes existent qui pourraient permettre de réduire, à temps de calcul égal, la consommation énergétique et l’impact carbone lié aux activités de calcul. Les multiples paramètres associés à ce problème sont liés (i) à la climatisation (températures de consigne, free cooling, rendement, charge globale), (ii) aux paramètres environnementaux (température extérieure, origine de l’électricité), (iii) aux équipements de calcul (durée de vie des équipements, taux d’utilisation, nombre de cœurs par serveur, type de mémoire, type de disque…) et (iv) aux méthodes numériques employées (langage de programmation, type de parallélisation, algorithmes et méthodes numériques).

Le centre de calcul CASSIOPÉE est issu de la mutualisation des ressources de calculs de 12 laboratoires de recherche d’Arts et Métiers. Il compte aujourd’hui plus de 230 comptes utilisateurs qui ont à disposition 2500 cœurs de calculs, 7 TB de mémoire RAM et 146 TB de stockage. La phase de mutualisation a permis de regrouper les moyens de calcul et par cela d’avoir un taux d’utilisation global de 80 %, bien supérieur au taux d’utilisation moyen de ces équipements s’ils avaient été répartis dans les 12 laboratoires concernés et sans ordonnanceur centralisé. Au-delà de l’intérêt financier, le fort taux d’utilisation permet une réduction significative de l’impact carbone des calculs réalisés sur ces équipements. Pourtant, les utilisateurs ont à ce jour peu conscience de l’impact carbone de leur activité numérique. En appui du centre de calcul CASSIOPÉE, l’objectif est de mener une étude complète afin de quantifier l’impact des paramètres du système qui influent dans le calcul de l’impact carbone. La finalité est de pouvoir d’une part associer à chaque calcul un coût énergétique à communiquer aux utilisateurs, et d’autre part de mettre en place des stratégies dans l’ordonnancement des calculs pour minimiser leur impact carbone. La modélisation de l’impact carbone d’une heure de calcul sur un centre de calcul nécessite plusieurs étapes. La première consiste à équiper l’infrastructure (informatique et physique) de l’ensemble des capteurs permettant la collecte de données pertinentes. Une seconde étape vise à définir une stratégie basée sur des études numériques pour mettre en évidence l’influence des paramètres dans des cas représentatifs des calculs exécutés sur les serveurs. Enfin, une troisième étape est de mettre en place le modèle de comportement de l’infrastructure de calcul et de valider son fonctionnement.

Le centre de calcul Cassiopée du basé au campus Arts et Métiers de Metz souhaite ainsi disposer d’une supervision de sa climatisation et de ses serveurs, accessible par Internet. Elle servira notamment à :

– Calculer l’indice de performance énergétique de l’infrastructure informatique PUE = énergie électrique totale (kW.h) / énergie électrique des équipements informatiques (kW.h). Cet indice fait référence dans la communauté du calcul et permet de classifier l’efficacité énergétique de l’installation de climatisation. Il est fortement dépendant de la température extérieure et de la charge en calcul, et n’a de sens que s’il est moyenné sur plusieurs mois.

– Connaître l’impact carbone lié à chaque calcul et de le communiquer à l’utilisateur : consommation électrique, fabrication des pièces, transport.

– Répertorier l’ensemble des paramètres impactant la consommation énergétique et quantifier leur influence. Cela permet d’évaluer l’impact du système de refroidissement, les économies faites en lançant les calculs la nuit lorsqu’il fait plus froid…

– Optimiser les valeurs de paramètres pour réduire l’impact carbone du centre de calcul Cassiopée.

– Être averti lorsque la pression du fluide dans les bouteilles du système d’extinction automatique est en dessous d’un seuil d’alerte, ou lorsqu’une des températures mesurées dépasse un seuil. Cette fonctionnalité n’est pas nécessaire pour l’estimation de l’impact carbone du centre de calcul mais apporte une facilité pour la maintenance prédictive.

– Collecter et stocker des données de mesures (pression, température, vitesse de rotation, débit…) pour les utiliser dans un cadre pédagogique (analyse du cycle de vie, énergétique). Les données recueillies serviront à la mise en place de nouveaux supports pédagogiques avec les étudiants (projets étudiants) et pour les étudiants (enseignements dirigés et travaux pratiques).

2) Équipements de mesure disponibles

Le centre de calcul est équipé d’une climatisation pour refroidir les armoires de calcul étanches. Ce système fonctionne en circuit fermé et comprend un système de ventilation et 18 échangeurs thermiques air/eau (figure 1). Chaque ventilateur (1), placé à l’extérieur de la baie de calcul propulse de l’air frais qui pénètre dans la baie et traverse les différents constituants de géométrie complexe (2). L’air frais atteint ensuite les serveurs (calcul, données, réseau et administration) qui vont le réchauffer (3). Des ventilateurs placés dans les serveurs accélèrent le flux d’air chaud qui se dirige ensuite vers la colonne de l’échangeur thermique (4). Cet échangeur contient un circuit hydraulique, dans lequel de l’eau froide à température asservie circule à un débit variable. L’air chaud traverse l’échangeur et se refroidit progressivement. L’air rafraîchi rejoint ensuite le ventilateur (1) qui propulse à nouveau l’air vers les serveurs de calcul.
Le dispositif réel est présenté en figure 2.

Figure 1 : Schématisation du système de refroidissement de Cassiopée (vue de dessus sur un étage d’une baie de calcul) © Léo THIERCELIN

Figure 2 : Système de refroidissement réel de Cassiopée – 3 armoires de type échangeur pour 6 armoires de serveur (à gauche) – Intérieur d’une armoire de type échangeur avec 6 ventilateurs (à droite)

L’eau en sortie de l’échangeur thermique est refroidie par un groupe froid en toiture ou par free cooling. La future climatisation n’utilisera plus de système de refroidissement par free cooling. Les températures d’air et d’eau et le débit volumique d’eau aux différents niveaux du cycle sont mesurés et utilisés pour l’asservissement. Ils sont également enregistrés et horodatés.

En équipant l’infrastructure de systèmes de mesure de puissance électrique, il sera possible de calculer, d’enregistrer et d’horodater l’énergie électrique consommée en différents points :

– alimentation globale, alimentation des serveurs et du réseau pour le calcul du PUE.
– alimentation de chaque serveur de calcul, d’une façon suffisamment fine pour en déduire le nombre de cœurs utilisés lors de chaque calcul (impact carbone de chaque calcul).

Les équipements de mesure de puissance actuellement disponibles sont représentés en vert, les équipements à ajouter sont en rouge (Figure 3).

Figure 3 : schématisation des équipements de mesure de puissance installés (verts) ou à installer (rouge) dans le cluster de calcul.

Il est à noter que la puissance électrique active P est calculée à partir de l’intensité I, de la tension U et du déphasage φ avec la relation suivante :

P (W) = U (V) x I (A) x cos φ

La mesure de consommation électrique de la future climatisation sera disponible et ne sera pas utilisée pour le calcul du PUE mais servira à vérifier si la puissance totale est bien égale à la somme de toutes les puissances mesurées.

D’autres données, constantes ou récurrentes seront nécessaires pour le calcul de l’impact carbone mais ne nécessitent pas une installation de capteurs. Par exemple la prise en de la fabrication des serveurs (données par le fournisseur) et le recyclage des composants en fin de vie, ou l’impact carbone lié à l’équipe d’administration du centre de calcul.

a) Énergie électrique totale consommée :

Le centre de calcul Cassiopée est directement relié au TGBT du bâtiment. On peut donc mesurer la consommation totale de l’infrastructure avec l’énergimètre et les boucles de Rogowski déjà installés dans le tableau électrique de Cassiopée (Figure 4). Cet énergimètre est communicant (interface Modbus).

Figure 4 : énergimètre présent dans la salle Cassiopée mesurant la consommation totale de la salle (partie informatique et système de climatisation)

b) Température extérieure :

Elle est disponible sur l’interface web de supervision de la climatisation, mesurée au niveau du groupe froid. Le système de refroidissement comportant le groupe froid va être remplacé en février 2024. En attendant, les données relatives à la température extérieure de Metz peuvent être prélevées sur les serveurs de météo France.

c) Température des serveurs :

Les serveurs informatiques sont refroidis par des ventilateurs qui soufflent l’air chaud sur un échangeur air/eau.

Il y a 5 consoles qui nous apportent des informations :

i) La console principale CMCIII (CMC III PU)

Il s’agit de la console principale sur laquelle sont reliées les autres consoles. Elle permet une supervision des grandeurs principales, et communique avec 4 CMCII qui remontent des informations (voir ci-après).

Elles sont aussi consultables sur un logiciel en mode web, et la console offre également la possibilité de communiquer via Modbus TCP et OPC UA. La figure 5 illustre les différents paramètres réseau proposés.

Figure 5 : interface web permettant le pilotage et le contrôle du CMCIII

Les températures sont remontées et des seuils d’alerte définis, les alertes sont transmises par mail à des adresses définies directement dans le CMC3 via l’interface web.

ii) La Console – groupe froid – en toiture

Elle est directement reliée à la console CMCIII. L’ensemble des paramètres de régulation du groupe froid peuvent être imposés et sont modifiés uniquement par la société effectuant la maintenance de la climatisation. Les membres de l’équipe Cassiopée ont accès à ces données, comme illustré en figures 6 et 7. Les autres données sont la température extérieure, et les températures d’eau en entrée et sortie du groupe froid, ainsi que les alarmes liées au groupe froid.

Figure 6 : interface web permettant le pilotage et le contrôle du CMCII du groupe froid présent en toiture

Figure 7 : affichage des pressions des circuits et des températures liées au groupe froid

iii) Les trois consoles CMC2 : trois consoles identiques

Depuis l’interface web, il est possible de relever à un instant t les températures en entrée et en sortie des différents fluides (air et eau) au niveau des échangeurs, ainsi que le débit d’eau froide circulant dans chacun des échangeurs (armoire échangeur), comme illustré à la figure 8. Chaque armoire de type échangeur est alors équipée de thermocouples dont 2 relatifs aux mesures de températures de l’eau (1 entrée et 1 sortie) et 6 à celles de l’air circulant (3 en entrée et 3 en sortie, à différentes hauteurs de l’armoire de type échangeur).

Figure 8 : interface web permettant le pilotage et le contrôle du CMCII des armoires de type échangeur LCP

La configuration des alertes des CMCII porte sur les grandeurs suivantes :

• Server-in-temperature ;
• Server-out-temperature ;
• Water-in-temperature ;
• Water-out-temperature ;
• Waterflow.

L’interface web liée aux CMC II des armoires de type échangeur LCP permet aussi de configurer les seuils d’alerte (par mail) en température et en pression, comme illustré à la figure 9 pour la température de l’air en sortie des serveurs. On peut y voir que la température au moment de la capture était de 29 °C, et que les deux seuils d’alerte (Warning et Critique) sont respectivement à 45 et 50 °C.

Figure 9 : configuration des seuils d’alerte sur le CMCII lié à une armoire de type échangeur – exemple de la température de l’air en sortie des serveurs

La prise de mesures de certaines grandeurs (température, vitesse de rotation des ventilateurs, débit) est déjà effective depuis plusieurs mois et stockée dans une base de données. À titre d’exemple, la figure 10 illustre l’évolution temporelle de la vitesse de rotation du ventilateur 1 du CMCII LCP2 au cours d’une période de 8 jours de fonctionnement.

Figure 10 : évolution temporelle de la vitesse de rotation du ventilateur 1 du CMCII LCP2 au cours d’une période de 8 jours de fonctionnement

La figure 11 illustre l’évolution temporelle de la température d’air en sortie de l’échangeur lors des 8 derniers jours au sein de l’échangeur CMCII LCP2, et la figure 12 recense l’ensemble des données de capteurs déjà enregistrées.

Figure 11 : évolution temporelle de la température d’air en sortie de l’échangeur du ventilateur 1 du CMCII LCP2 au cours d’une période de 8 jours de fonctionnement

Figure 12 : ensemble des données liées aux échangeurs LCP

d) Mesure de consommation électrique des serveurs

Les serveurs sont dotés de capteurs intégrés qui permettent de mesurer la consommation de certains composants, notamment les processeurs qui sont les composants majoritaires dans la consommation électrique. Cette mesure est particulièrement pertinente pour le suivi de l’évolution de l’état du serveur selon niveau de charge du serveur (calcul en cours ou non, nombre de cœurs de calcul sollicités).

3) Équipements de mesure à ajouter

a) Partie électrique

En sortie de l’énergimètre Schneider Electric qui mesure la consommation électrique du centre de calcul, ajouter une passerelle Modbus – Ethernet avec un client MQTT.

Pour la future climatisation, il sera possible de récupérer l’ensemble des données en sortie. La société va nous mettre en relation avec leur expert, il y aura a minima une interface modbus. Il faut voir s’ils ont une solution intégrée comprenant une interface MQTT. Il faut également étudier l’ajout potentiel d’un énergimètre (voir réponse Schneider Electric).

Il serait pertinent d’ajouter des éléments permettant de mesurer les consommations électriques de chaque serveur (calcul, données, réseau, administration) (entre le sous-compteur électrique déjà présent et la mesure fine à l’échelle du processeur). Pour cela, les rails électriques actuels seront remplacés par des rails instrumentés (metered PDU, société SERMES-RITTAL). Les informations électriques, serveur par serveur (câble par câble), pourraient être directement reliées au CMCIII. En sortie, il est possible de communiquer par RS232 et bus CAN. C’est la meilleure solution. Dans ce cas, il faut pouvoir rediriger ces informations vers une interface MQTT.

b) Partie détection incendie

Remplacer les pressostats sur les bouteilles du système d’extinction automatique par une solution avec une interface pour la transmission MQTT. Pour cela, il faudrait pouvoir ajouter des capteurs de pression communicants à chacune des 6 têtes des extincteurs automatiques actuels.

c) Partie climatisation

Instrumenter les ventilateurs qui envoient l’air frais dans les baies de calculs :

i) Ajout de sondes de vitesse de rotation après le ventilateur (de l’échangeur), et si possible après les serveurs.
ii) Capteur de pressions après le ventilateur (de l’échangeur), et si possible après les serveurs.

Pour les points i) et ii), il est à noter qu’il faudra également réfléchir à une solution permettant de répondre aux contraintes d’encombrement : à l’avant des serveurs, l’espace doit être libre (ou libérable) pour permettre de sortir les serveurs en cas de maintenance ou de remplacement. À l’arrière des serveurs, les contraintes d’emplacement sont encore plus fortes, car il ne faut pas entraver le travail des informaticiens lors des câblages, maintenances… Si aucune solution technique n’est trouvée, il est préférable de ne pas installer de capteurs après les serveurs.

iii) Capteur de puissance électrique sur l’arbre du ventilateur

Il serait intéressant pour l’étude de l’échangeur de déterminer la puissance électrique des ventilateurs (ou de certains d’entre eux). Ce besoin est facultatif et dépend fortement du câblage électrique des échangeurs, dont il n’y a pas de schéma existant. Les câbles ne sont pas accessibles et il n’est pas possible de démonter les armoires pendant les périodes de production.

Les fréquences d’échantillonnages seraient idéalement de 6 mesures par minutes.

Un tableau, récapitulant toutes les données d’intérêt, sont répertoriées en annexe, avec leur valeur nominale, leur plage de variation, ainsi que des informations sur les capteurs déjà existants, déjà communicants.

4) Exploitation des données

a) Stratégie numérique

Il est nécessaire de mettre en place une stratégie numérique représentative de l’utilisation réelle du centre de calcul. Cette stratégie doit couvrir les plages de fonctionnement des différents paramètres de l’étude, précédemment listés. Il convient ici de mener une étude bibliographique liant les paramètres numériques et techniques et appliqués aux différents domaines scientifiques (pour élargir la plage de variation des paramètres) : le centre de calcul couvre des domaines différents allant de code de calcul en éléments discrets non parallélisés, jusqu’à l’exécution de code de calcul en mécaniques des fluides massivement parallèles, sur plusieurs centaines de cœurs de calcul. Des projets de recherche hétérogènes sont identifiés pour servir de référence pour la création d’une base de données représentative des différents types de calcul exécutés. Il nécessite de mener des études numériques sur le centre de calcul Cassiopée.

b) Mise en place du modèle de comportement

L’ensemble des données liant les paramètres du système à la consommation énergétique permet de nourrir un modèle de comportement du système. Devant le nombre important de paramètres et grâce à la richesse de la base de données, un modèle d’apprentissage machine sera développé. Une partie de la base de données (autour de 80 %) sera dédiée à l’entraînement d’un modèle, et une autre partie servira à la validation du modèle. Ce modèle permettra (i) de calculer a posteriori l’impact carbone d’un calcul et de communiquer cette donnée à l’utilisateur dès la fin de son calcul, (ii) de mettre en place des règles d’ordonnancement des calculs pour les exécuter aux périodes les plus favorables, notamment vis-à-vis des différents modes de production de l’énergie électrique selon les périodes, minimisant ainsi l’impact carbone global du centre de calcul, et (iii) de mettre en évidence les paramètres les plus influents pour guider les investissements futurs (climatisation versus performance des serveurs…).

Retombées
Les diverses retombées de ce projet sont d’ordre économique, écologique et social, et scientifique. L’optimisation de l’utilisation des ressources de calcul permet une diminution directe de l’énergie électrique consommée, que ce soit pour l’alimentation des serveurs informatiques ou des équipements de climatisation. La consommation énergétique en 2023 sur le centre de calcul Cassiopée est de 126 MW.h pour les serveurs de calcul (autour de 11 M d’heures de temps CPU) soit, avec un indice de performance énergétique estimé à 1,4, une consommation totale de 176,4 MW.h. Selon les tarifs de l’énergie électrique en 2023, cela équivaut à une facture de 44 k€.
L’impact écologique serait encore plus important que l’impact financier. En effet, l’optimisation de l’utilisation des ressources permet une utilisation plus faible à niveau de calcul égal, mais parmi les calculs réalisés, il sera possible de les exécuter dans les périodes les plus favorables : à quantité d’énergie électrique égale, la provenance de cette énergie (données sur https://www.rte-france.com/eco2mix/la-production-delectricite-par-filiere) permettra de réduire l’impact carbone. Enfin, la sensibilisation des utilisateurs à l’impact carbone de leur activité numérique entraînera une prise de conscience et facilitera une optimisation des stratégies de calcul en amont du centre de calcul.
D’un point de vue scientifique, les résultats de cette étude seront publiés dans des journaux de la communauté du calcul intensif et les modèles mis à disposition des autres centres de calcul. Dans un premier temps, ils seront applicables pour les structures de même taille, mais ils pourront par la suite servir de base pour appliquer la même stratégie à d’autres tailles de structure.

c) Application à la pédagogie

Pour l’instant, deux projets sont recensés, mais les données relevées seront ouvertes via la plateforme IdO pour être réutilisées dans d’autres projets :

• Un cours de Stéphane FONTAINE sur l’intégration du cycle de vie dès l’étape de conception d’un produit.
• Une rénovation des enseignements d’énergétique (mécanique des fluides, transferts de chaleur et turbomachines) pour des étudiants de 1^re et 2^e année (ED, TP et projets étudiants) par Léo THIERCELIN : conception d’une maquette miniature (expérimentale et numérique) des échanges des fluides et des transferts de chaleur du système de refroidissement du cluster de calcul Cassiopée. La conception de cette maquette reposera sur l’analyse de la base de données des mesures des capteurs qui instrumenteront Cassiopée par l’usage de modèles physiques associés à des outils d’intelligence artificielle.

5) Annexe : liste des grandeurs à mesurer