Bonjour,
Je cherche à calculer mon utilisation du cluster pour un projet inferscerevol. Je cherche notamment à estimer le nombre total d'heures de calcul que j'ai pu faire. Mon objectif est de calculer l'empreinte carbone de mon projet (en passant par une approximation via le calculateur: https://calculator.green-algorithms.org/) et de le mettre dans les remarques de mon papier 
J'ai pensé faire un sreport mais ca me met que je n'ai fait aucun calcul.
Voilà ce que je tente: sreport job sizesbyaccount All_Clusters account=inferscerevol Utilization CPUTime start=2020-06-25T00:00:00 end=2024-03-25T00:00:00
Serait-il possible d'avoir ce genre d'information ?
Pour précision, c'est principalement un collaborateur qui est en thèse avec moi qui a lancé les jobs. Donc je cherche le nombre de jobs que moi et les étudiants nous avons lancé. Peut être qu'on a oublié une option dans les fichiers slurm etc. et auquel cas tant pis mais sauriez vous comment faire pour que dans l'avenir je puisse faire ce genre d'estimation ?
Merci d'avance
Fanny Pouyet
1 « J'aime »
Bonjour Fanny,
Super initiative !
Sur l'IFB, l'utilisation de compte (inferscerevol) permets une comptabilité par "projet" (tant que le compte est utilisé: soit par défaut, soit via l'option --account=inferscerevol ou -A inferscerevol lors de la soumission de job).
En revanche, nous avons des doutes sur la base d'accounting (stats) de Slurm (au moins avant 2023), qui fait qu'on est pas confiant sur les chiffres renvoyés. Nous cherchons la solution la plus appropriée (sreport, sacct, status_bars) pour avoir ce genre d'infos et on reviens vers vous.
J'attire également votre attention sur le fait que le calculateur de GreenAlgorithm (https://calculator.green-algorithms.org/) ne prends en compte que la phase d'usage (consommation électrique). Ce qui est très utile pour avoir une estimation (avant ou à la fin d'un projet). Mais il y a aussi une part important dû à la fabrication des équipements qui peut multiplier l'empreinte carbone par 2, 3 voire 4.
Nous avons commencé à traiter le sujet pour l'IFB mais devons encore travailler la question.
1 « J'aime »
Ah oui oui l'utilisation c'est genre 20% de l'empreinte carbone d'un objet et sa fabrication/recylage compte pour 80% d'après l'ADEME! Je veux juste en parler même si la facon dont je l'aborde à des biais . L'idée est d'avoir un ordre de grandeur !
Merci de regarder ca!! J'espère que ca en interessera d'autres que moi 
1 « J'aime »
Bonjour Fanny,
Nous avons encore quelques anomalies et réflexions pour comptabiliser les heure.cpu par projet (ce n'est pas acté).
Une fois que l'on sera fixé, nous devrions mettre à jours status_bars pour renvoyer les heures de calculs par projet (status_bars inferscerevol par exemple) ou par utilisateur.
En attendant, je comptabiliserais les heures.cpu réalisés via sacct (et la colonne CPUTimeRAW qui est égale à Elapsed time * CPU count en "cpu-secondes"):
sacct --allocations -n -P -S 2020-06-25 --format=CPUTimeRaw -u fpouyet,louisxiv -A inferscerevol | awk '{total+=$1} END{total_heure=total/3600; print total_heure}'
Soit 35631.3 heure.cpu pour le projet inferscerevol.
On aimerait à terme améliorer cette partie reporting (en nombre heure.cpu, stockage utilisé, CO2e, etc.).
reporting.add(todo);
Bonne continuation
1 « J'aime »