Snakemake scripts non supprimés - disk quota exceeded

IFB Core Cluster
, ,
1

Bonjour,

Je veux faire tourner un workflow snakemake assez volumineux (environ 180000 applications de règles).

Je le lance avec cette ligne de commande:

snakemake --drmaa "-A licorna_experiments --mem=10000" --jobs=300

Et j'ai le problème suivants: les scripts python temporaires générés par snakemake, ceux qui sont dans le répertoire .snakemake/scripts ne sont pas effacés au fur et à mesure de l'application des règles, comme cela devrait être le cas (voir ligne ~390 de https://github.com/snakemake/snakemake/blob/main/snakemake/script.py.

Cela pose problème de par leur taille: à cause d'un gros "préambule" inséré par snakemake, chaque script fait ~15M. Et donc au bout de ~6000-7000 jobs faits sur 180000, j'excède mon quota de disk (avec .snakemake/scripts qui atteint plusieurs dizaines de Go...)

Est-ce que quelqu'un a déjà rencontré ce problème ?

Bertrand Marchand

Screenshot from 2022-07-22 13-07-51
Screenshot from 2022-07-22 13-07-512393×969 177 KB

Screenshot from 2022-07-22 13-26-11
Screenshot from 2022-07-22 13-26-111149×495 59.3 KB

2

Bonjour,
En attendant d'avoir une idée ou une réponse, je me suis permis de monter le quota pour votre projet (si cela peut aider).
Bon après-midi

3

Merci beaucoup :slight_smile: ! ça donne un peu plus de marge, c'est déjà ça.

4

Quick (unsatisfactory) fixes trouvés de mon côté:

  • avoir, en même temps que le workflow snakemake, un script bash qui tourne et supprime manuellement, toutes les ~5 minutes, les éléments de .snakemake/scripts vieux de plus de ~10 min (mes jobs individuels sont plus courts que 10 minutes normalement).

  • ne pas utiliser la directive "script" dans snakemake, mais uniquement "run" et "shell". Mais ça serait dommage, c'est très pratique le "script".