Snakemake Disk quota exceeded

IFB Core Cluster
1

Bonjour,

Depuis cette après midi, je suis dans l'incapacité de pouvoir lancer mes jobs via snakemake.

J’obtiens systématiquement le message suivant :

Traceback (most recent call last):
File "/shared/ifbstor1/software/miniconda/envs/snakemake-5.3.0/bin/snakemake", line 11, in
sys.exit(main())
File "/shared/ifbstor1/software/miniconda/envs/snakemake-5.3.0/lib/python3.6/site-packages/snakemake/init.py", line 1559, in main
export_cwl=args.export_cwl)
File "/shared/ifbstor1/software/miniconda/envs/snakemake-5.3.0/lib/python3.6/site-packages/snakemake/init.py", line 358, in snakemake
logger.setup_logfile()
File "/shared/ifbstor1/software/miniconda/envs/snakemake-5.3.0/lib/python3.6/site-packages/snakemake/logging.py", line 104, in setup_logfile
self.logfile_handler = _logging.FileHandler(self.logfile)
File "/shared/ifbstor1/software/miniconda/envs/snakemake-5.3.0/lib/python3.6/logging/init.py", line 1032, in init
StreamHandler.init(self, self._open())
File "/shared/ifbstor1/software/miniconda/envs/snakemake-5.3.0/lib/python3.6/logging/init.py", line 1061, in _open
return open(self.baseFilename, self.mode, encoding=self.encoding)
OSError: [Errno 122] Disk quota exceeded: '/shared/ifbstor1/home/aguille/.snakemake/log/2021-06-30T213417.453207.snakemake.log'

pourtant

du -hs /shared/home/aguille/
8.9G /shared/home/aguille/

et la commande suivante fonctionne correctement.

dd if=/dev/zero of=/shared/home/aguille/test_file bs=1k count=1000

Je suis à court d'idée.

Merci pour votre aide.

2

J'ai supprimé tous les fichiers de mon dossier .snakemake/log et je peux à nouveau lancer mes jobs via snakemake.

Est ce que par hasard vous limitez le nombre de fichiers par dossier sur le cluster ?

Ça serait un début d'explication.

3

Bonjour Arnaud,

Il y a bien un limite sur le nombre de fichier mais vous ne l'avez pas atteint (commande pour visualiser: lfs quota -h -p 100464 /shared/ifbstor1/home/aguille/).

C'est donc assez étrange.

Rencontrez-vous encore ce souci ?
Pouvez-vous essayer la même commande mais au travers d'un job (srun ou sbatch) ?

4

Bonjour,

Après avoir supprimé pas mal de fichier temporaire, je n'ai plus rencontré ce problème. Je pense que j'ai du dépasser la limite à un moment donnée sur le nombre de fichiers.

Merci pour la commande.

Merci pour votre aide et bonne journée

5

OK. Merci pour votre retour.
Pour info, nous avons discuté d'intégrer/afficher la limite sur les fichiers à la commande status_bars. Ca viendra donc probablement.

Bonne soirée