Suivi de consammation des ressources

IFB Core Cluster
1

Hello,

Je découvre en ce moment des nouveaux outils et j'aimerais pouvoir un peu suivre leur conso mémoire/CPU pour affiner mes réservations de ressources.
Sur le cluster de Toulouse j'utilise l'outil seff qui est distribué avec SLURM et bien plus lisible que les commande sacct, mais je ne l'ai pas trouvé sur le cluster de l'IFB.

Vous l'avez désactivé/non installé ?

a+

Maria

2 « J'aime »
2

Bonjour Maria,

A vrai dire je découvre seff (https://github.com/SchedMD/slurm/tree/master/contribs).
Il n'est pas installé par défaut ("To have this build you need to do a make contrib/install-contrib").

  seff/              [Tools to include job accounting in email]
     Expand information in job state change notification (e.g. job start, job
     ended, etc.) to include job accounting information in the email. Configure
     Slurm's MailProg to "smail" from this package.

Ca me semble intéressant pour avoir un retour plus simple de la conso des jobs "completed" mais aussi pour les retour par email.

Merci pour l'info, on essaie de regarder ça.

1 « J'aime »
3

Personnellement je n'utilise pas la fonction "email" (je ne sais pas si elle est configuré sur Toulouse.
Mais sur un job terminé voilà ce que ça donne (ça fonctionne partiellement sur le job en cours):

$ seff 18705682
Job ID: 18705682
Cluster: genobull
User/Group: mbernard/SIGENAE
State: COMPLETED (exit code 0)
Cores: 1
CPU Utilized: 00:00:53
CPU Efficiency: 98.15% of 00:00:54 core-walltime
Job Wall-clock time: 00:00:54
Memory Utilized: 80.34 MB
Memory Efficiency: 0.98% of 8.00 GB

On remarquera que j'affine bien mes réservations mémoire !!!

4

Bonjour,
Je plussoie la suggestion d'installation de seff, sans laquelle l'analyse des ressources utilisées notamment de job arrays est un peu un casse tête, on y arrive mais c'est laborieux et on fait moins bien au final qu'avec la simple commande seff :slight_smile:
Merci encore pour ces services plus qu'essentiels !
Amicalement,
Pascal

5

Bonjour,

C'est en cours d'installation:
https://gitlab.com/ifb-elixirfr/cluster/ansible/-/merge_requests/565

Merci de nous confirmer si ça fonctionne comme vous voulez ou pas.

3 « J'aime »
6

Ca marche impec (même si j'avoue j'avais espéré qu'il ferait la somme du CPU time sur l'ensemble de l'array).

7

Ca marche parfaitement. Merci beaucoup pour l'install :slight_smile: