Snakemake et libdrmaa.so.1.0.8?

IFB Core Cluster Support IFB Core Cluster
1

Bonjour,

Je voudrais lancer un snakemake.

module purge; module load snakemake slurm-drmaa
sbatch --partition long snakemake --cluster-config cluster.conf --drmaa " --mem-per-cpu={cluster.mem} --partition={cluster.qee} --cpus-per-task={cluster.cpupt} "  --use-envmodule -s smk.smk --configfile smk.yml --cores 8 --jobs 8 -p

dont le log termine en :
OSError: /usr/lib64/libdrmaa.so.1.0.8: cannot open shared object file: No such file or directory

Alors qu'un ls -lah /usr/lib64/libdrmaa.so.1.0.8 donne :
-rwxr-xr-x 1 root root 180K 11 mars 2022 /usr/lib64/libdrmaa.so.1.0.8

Qui me paraît incohérent avec la dernière ligne du log smk. Je ne vois pas mon erreur ... d'où ce sujet ...
Merci d'avance pour l'aide !
Claire.

2

Bonjour Claire,
j'ai cette erreur de temps en temps (souvent en utilisant la console du Jupyter Hub, plus rarement en utilisant mon terminal), du coup je relance 2-3 fois et ça finit par passer... Je ne sais pas trop si ça vient d'un noeud en particulier, c'est un peu bizarre. Après slurm-drmaa n'est pas la méthode recommandée, il est préférable d'utiliser --slurm et/ou un profile, voir la doc. Ca me rappelle qu'il faut que je prenne le temps de modifier mes workflows en conséquence...
Bon courage!

Magali

1 « J'aime »
3

Top ! Merci Magali !
En remplaçant le --drmaa par --slurm (j'avais déjà un fichier profile), c'est parti ! Désolée car j'ai bêtement repris une vielle ligne de commande contenant --drmaa ...

4

Du coup, est-ce que vous pourriez partager votre fichier profile, la commande utilisée pour lancer snakemake et un petit exemple de règle? Ca me ferait gagner du temps, et j'imagine que ça servira à d'autres aussi!
Merci!

5

Je partage mais pas sûre que ce soit bon. J'ai (depuis le remplacement --drmaa par --slurm) un problème avec featureCounts de subreads qui ne démarre pas mais revoie : srun: fatal: SLURM_MEM_PER_CPU, SLURM_MEM_PER_GPU, and SLURM_MEM_PER_NODE are mutually exclusive.

Voici mon ${HOME}/.config/snakemake/slurm/config :

jobs: 25
cluster: "sbatch --mem={resources.mem_mb}GB -c {resources.cpus} "
# mem_mb in MB
default-resources: [cpus=1, mem_mb=1]
# limit resources (maximal usable values):
resources: [cpus=80, mem_mb=50]