Problème snakemake: Processus arrêté?

Bonjour,

lorsque je lance mon pipeline snakemake, il s'interrompt avec le message d'erreur suivant:

/shared/ifbstor1/home/vranwez/LRR_ANNOT/GeneModelTransfer/SNAKEMAKE/../bin/create_LRRome.sh /shared/ifbstor1/home/vranwez/LRR_ANNOT/COMBINED_REF_LRROME/IRGSP_SVEVO_2A.fasta /shared/ifbstor1/home/vranwez/LRR_ANNOT/COMBINED_REF_LRROME/IRGSP_SVEVO_2A.gf
f /shared/ifbstor1/home/vranwez/LRR_ANNOT/LRR_TRANSFERT_OUTPUTS_2A NULL /shared/ifbstor1/home/vranwez/LRR_ANNOT/GeneModelTransfer/SNAKEMAKE/../SCRIPT
Activating conda environment: .snakemake/conda/5902bf8fa7e02c4484d338646ab15f21_
/shared/ifbstor1/home/vranwez/LRR_ANNOT/GeneModelTransfer/SNAKEMAKE/../bin/create_LRRome.sh : ligne 80 : 27999 Processus arrêté      python3.11 ${LRR_SCRIPT}/Extract_sequences_from_genome.py -g ${REF_GFF} -f ${REF_GENOME} -o REF_proteins.fasta -t FSp
rot

Si j'active manuellement l'environement conda et que je lance la ligne de commande donnée dans ce message d'erreur, tout se passe bien. Du coup je ne sais pas comment identifier la source du problème. J'utilise la version 7.32.4 de snakemake.

Merci d'avance pour votre aide.

Bonjour,

Vous avez beaucoup de job "Out of Memory" (vous avez besoin de plus de mémoire que les 2Go demandé).

Voir: https://ifb-elixirfr.gitlab.io/cluster/doc/slurm/slurm_user_guide/#job-information-on-ended-job

Je pense donc qu'il faut augmenter la mémoire demandée.

Bonjour,

merci beaucoup pour votre réponse. Effectivement le problème venait de là, avec snakemake/7.15.1 je n'avais pas besoin de spécifier la mémoire mais avec snakemake/7.32.4 cela est devenu nécessaire pour ce pipeline avec les mêmes entrées.

Je fais maintenant face à un autre problème lié à l'interaction conda/snakemake qui fait que biopython n'est pas trouvé alors qu'il est bien présent dans l'environnement. Le pipeline me donne l'erreur:

rule buildLRROme:
input: /shared/ifbstor1/home/vranwez/LRR_ANNOT/COMBINED_REF_LRROME/IRGSP_SVEVO_2A.fasta, /shared/ifbstor1/home/vranwez/LRR_ANNOT/COMBINED_REF_LRROME/IRGSP_SVEVO_2A.gff, /shared/ifbstor1/home/vranwez/LRR_ANNOT/LRR_TRANSFERT_OUTPUTS_2A/input_summar
y.log
output: /shared/ifbstor1/home/vranwez/LRR_ANNOT/LRR_TRANSFERT_OUTPUTS_2A/LRRome, /shared/ifbstor1/home/vranwez/LRR_ANNOT/LRR_TRANSFERT_OUTPUTS_2A/LRRome/REF_proteins.fasta
jobid: 0
reason: Forced execution
resources: mem_mb=2230, mem_mib=2127, disk_mb=2230, disk_mib=2127, tmpdir=/tmp

/shared/ifbstor1/home/vranwez/LRR_ANNOT/GeneModelTransfer/SNAKEMAKE/../bin/create_LRRome.sh /shared/ifbstor1/home/vranwez/LRR_ANNOT/COMBINED_REF_LRROME/IRGSP_SVEVO_2A.fasta /shared/ifbstor1/home/vranwez/LRR_ANNOT/COMBINED_REF_LRROME/IRGSP_SVEVO_2A.gf
f /shared/ifbstor1/home/vranwez/LRR_ANNOT/LRR_TRANSFERT_OUTPUTS_2A NULL /shared/ifbstor1/home/vranwez/LRR_ANNOT/GeneModelTransfer/SNAKEMAKE/../SCRIPT
Activating conda environment: .snakemake/conda/5902bf8fa7e02c4484d338646ab15f21_
Traceback (most recent call last):
File "/shared/ifbstor1/home/vranwez/LRR_ANNOT/GeneModelTransfer/SNAKEMAKE/../SCRIPT/Extract_sequences_from_genome.py", line 12, in
from Bio import SeqIO
ModuleNotFoundError: No module named 'Bio'

Mon problème est que si j’active à la main l’environnement conda .snakemake/conda/5902bf8fa7e02c4484d338646ab15f21_ (indiqué comme activé dans le message d'erreur) et que je lance ensuite la commande indiquée dans ce même message (avec un copier/coller) tout se passe bien (même en étant connecté à un noeud de calculs) et du coup je n’ai aucune idée de comment avancer sur ce problème.

Ce pipeline snakemake fonctionnait avec la version 7.15 de snakemake, mais cette version à un bug qui fait que mon workflow relance les mêmes jobs plusieurs fois et qu’il est donc super lent, le bug a été introduit à la version 7.8 et corrigé à la version 7.16
Regression after 7.7.0 until 7.15.X: rules downstream of a checkpoint aggregation rule keep being re-executed even when all output files exist and nothing upstream has changed · Issue #1818 · snakemake/snakemake · GitHub d'ou le passage à snakemake/7.32.4.

Encore merci pour votre réponse, j'espère que vous pourrez aussi m'aider avec ce nouveau problème