Snakemake : Disk quota exceeded

IFB Core Cluster Support IFB Core Cluster
1

Bonjour,

J'ai un soucis lorsque je lance mon pipeline Snakemake installé dans mon répertoire de projet situé dans /Shared/projects/invalbo/
Le pipeline s'arrête rapidement pour un problème de quota disque qui excède la limite fixée dans mon home. Voici un extrait du log d'un job lancé avec snakemake :
[Errno 122] Disk quota exceeded: '/shared/home/ltalignani/.cache/snakemake/snakemake/source-cache/runtime-cache/tmpms6vcdcv/file/shared/ifbstor1/projects/invalbo/shave2-slurm/workflow/rules/mapping.smku77ejx3y'

J'ai ajouté dans mon script lançant le pipeline une modification de la variable d'environnement export SNAKEMAKE_OUTPUT_CACHE=/shared/projects/invalbo/ mais rien n'y fait. Le cache est toujours dirigé dans mon home.

Comment rediriger la destination du cache de Snakemake vers le répertoire de projet plutôt que mon home ?

Merci d'avance pour votre aide.

Cordialement,

EDIT : Je viens de consulter la taille de mon home à l'aide de la commande

 du -hs /shared/home/ltalignani/

et j'en suis à 24G.

EDIT 2 : il semblerait que j'ai réglé le problème en modifiant la variable d'environnement XDG_CACHE_HOME : export XDG_CACHE_HOME=/shared/projects/invalbo/

2

Bonjour,

En effet, votre espace home ( /shared/home/ltalignani) a dépassé le quota maximum en nombre de fichier (145k / 100k fichiers mas)
Vous pouvez voir le quota et le nombre de fichier via: lfs quota -h -p 162340 /shared/home/ltalignani

Disk quotas for prj 162340 (pid 162340):
     Filesystem    used   quota   limit   grace   files   quota   limit   grace
/shared/home/ltalignani
                 11.68G    100G    150G       -  145700* 100000  150000    none

Ce sont les environnements et packages miniconda/conda qui posent problème (140k dans ~/miniconda3, 71k dans ~/.conda)

Dans tous les cas, je vous invite à faire du ménage dans ces paquets/environnements ou a les déplacer dans votre espace projet puisque cela risque de vous jouer des tours ou de vous bloquer.

3

Ok, je vais faire le ménage dans mes environnements conda.

Merci pour l'info.

Cordialement,