Bonjour,
J’essaie depuis de lancer un processus nextflow mais je recoit à chaque fois "killed" ou error 137 qui est du à un manque de mémoire, je ne comprends pas puisque j'ai 700+Gb actuellement
Voici le message reçu:
/var/spool/slurm/slurmd/job34850018/slurm_script: line 14: 66194 Killed nextflow run main.nf --outdir ./test --libtype "paired" --gtf ./Mus_musculus.GRCm39.108.gtf --fasta ./Mus_musculus.GRCm39.dna_sm.primary_assembly.fa -resume
slurmstepd: error: Detected 3 oom-kill event(s) in StepId=34850018.batch cgroup. Some of your processes may have been killed by the cgroup out-of-memory handler.
Merci d'avance
Bonjour Olivier,
En effet, out-of-memory (oom) vient bien d'un manque de mémoire.
Dans le job en question, il y a seulement 2000Mc (2Go/cœur) de demandé, donc seulement 2G de mémoire allouée (1 seul cœur demandé).
2Go/cœur est la valeur allouée par défaut quand la demande de mémoire n'est pas spécifié.
Il faut donc spécifier et demander à Slurm plus de mémoire via l'option --mem ou --mem-per-cpu.
Une fois votre job terminé, je vous invite aussi à utiliser seff pour contrôler et vérifier le bon usage des ressources. Par exemple pour votre job:
$ seff 34850018
Job ID: 34850018
Cluster: core
User/Group: ofeudjio/ofeudjio
State: OUT_OF_MEMORY (exit code 0)
Cores: 1
CPU Utilized: 01:18:49
CPU Efficiency: 98.91% of 01:19:41 core-walltime
Job Wall-clock time: 01:19:41
Memory Utilized: 1.81 GB
Memory Efficiency: 92.55% of 1.95 GB