Bonjour,
Tout d'abord, merci pour tout le travail fourni afin de nous faire profiter de cet outil !
Ensuite, je commence tout juste à utiliser le server (c'est mon 1er post). Aussi, j'aimerai avoir des précisions concernant les bonnes pratiques d'utilisation de la commande sbatch. J'ai lu la doc disponible ici. Cependant, n'ayant personne pour m'expliquer comment les choses fonctionnent, je me tourne vers vous (j'epsère frapper à la bonne porte).
J'ai notamment lu qu'on pouvait avoir un retour sur les caractéristiques du job avec la commande seff
qui me retourne ceci :
$ seff 20878188
Job ID: 20878188
Cluster: core
User/Group: cchevalier/cchevalier
State: COMPLETED (exit code 0)
Nodes: 1
Cores per node: 4
CPU Utilized: 06:33:31
CPU Efficiency: 60.31% of 10:52:32 core-walltime
Job Wall-clock time: 02:43:08
Memory Utilized: 1.11 TB
Memory Efficiency: 455.99% of 250.00 GB
Par ailleurs, voici les paramètres donnés à mon script sbatch
:
#SBATCH --time=12:00:00
#SBATCH --mem=250GB
#SBATCH --ntasks=1
#SBATCH --cpus-per-task=4
Mon job a explosé le quota de mémoire demandé 1,11TB pour 250GB demandé. Pourtant, lorsque j'ai tenté de mettre l'option --mem=500GB
, je n'ai pas pu lancer le job, avec ce message d'erreur :
sbatch: error: Memory specification can not be satisfied
sbatch: error: Batch job submission failed: Requested node configuration is not available
Mes questions :
a) Comment prévoir efficacement la quantité de mémoire nécessaire ?
b) Comment en faire la requête dans les paramètres sbatch
?
c) Faut-il que je demande plus de cores, seulement pour accéder à la mémoire ?
Dans mon script R, je fais bien appelle à plusieurs ẁorkersen utilisant la librairie
future`. Je suis donc content de voir que la durée CPU est bien supérieure au temps d'execution du job.
Bien cordialement,
Céline