Bonjour,
Je travaille actuellement sur le projet detox_analyses et je dois réaliser plusieurs assemblages avec Trinity. Malheureusement, je n'arrive pas à les paralléliser car Trinity génère une très grande quantité de fichiers qui provoque un dépassement du quota. Quelle serait la meilleure solution ?
Voici quelques précisions et résultats de la commande "lfsgetquota" :
$ lfsgetquota detox_analyses
Disk quotas for prj 164447 (pid 164447):
Filesystem used quota limit grace files quota limit grace
/shared/projects/detox_analyses
164.8G 4.883T 7.324T - 17499 5000000 7500000 -
Et voici ce que j'obtiens avec Trinity:
mkdir: cannot create directory '/shared/ifbstor1/projects/detox_analyses/monoplex/0521_112_S18/trinity_out_dir': No space left on device
Error, cmd: mkdir -p /shared/ifbstor1/projects/detox_analyses/monoplex/0521_112_S18/trinity_out_dir died with ret 256 at /shared/ifbstor1/software/miniconda/envs/trinity-2.15.1/bin/Trinity line 2919.
main::process_cmd("mkdir -p /shared/ifbstor1/projects/detox_analyses/monoplex/05"...) called at /shared/ifbstor1/software/miniconda/envs/trinity-2.15.1/bin/Trinity line 1315
Surprenant... J'ai doublé la taille de votre projet mais quelque chose me dis qu'il ya anguille sous roche.
Pouvez-vous retester et nous dire ce qu'il en est (en nous indiquant le n° de job et le fichier de sortie) ?
PS: il y a aussi des disques locaux sur les noeuds de calcul de qqes To (de 1 à 3To suivant les noueds) mais à priori ça ne résoudra pas le pb.
job n°37153321
fichier de log: /shared/projects/detox_analyses/monoplex/slurm-37153321.out
Cette fois, le programme Trinity ne semble pas s'arrêter, mais il génère cette erreur en continu :
Error, cmd: mkdir -p /shared/ifbstor1/projects/detox_analyses/monoplex/1020_21_S5/trinity_out_dir/read_partitions/Fb_1/CBin_1454/c145483.trinity.reads.fa.out died with ret 256 at /shared/ifbstor1/software/miniconda/envs/trinity-2.15.1/opt/trinity-2.15.1/util/support_scripts/../../Trinity line 2919.
main::process_cmd("mkdir -p /shared/ifbstor1/projects/detox_analyses/monoplex/10"...) called at /shared/ifbstor1/software/miniconda/envs/trinity-2.15.1/opt/trinity-2.15.1/util/support_scripts/../../Trinity line 1315
warning, cmd: /shared/ifbstor1/software/miniconda/envs/trinity-2.15.1/opt/trinity-2.15.1/util/support_scripts/../../Trinity --single "/shared/ifbstor1/projects/detox_analyses/monoplex/1020_21_S5/trinity_out_dir/read_partitions/Fb_1/CBin_1454/c145483.trinity.reads.fa" --output "/shared/ifbstor1/projects/detox_analyses/monoplex/1020_21_S5/trinity_out_dir/read_partitions/Fb_1/CBin_1454/c145483.trinity.reads.fa.out" --CPU 1 --max_memory 1G --run_as_paired --seqType fa --trinity_complete --full_cleanup --no_salmon failed with ret: 512, going to retry.
mkdir: cannot create directory '/shared/ifbstor1/projects/detox_analyses/monoplex/1020_21_S5/trinity_out_dir/read_partitions/Fb_0/CBin_329/c32965.trinity.reads.fa.out': No space left on device
Nous pensons avoir compris d'où vient votre problème initial.
Afin de régler définitivement ce dernier, vous serez-t-il possible d'arrêter le job trinity et nettoyer les fichiers ?
Nous appliquerons alors une modification et nous vous ferons signe pour relancer le job.
Vous ne devriez plus rencontrer de problème (nous avons transféré votre dossier projet sur un nouvel espace de stockage des inodes).
Mais si ce n'était pas le cas, revenez bien-sûr vers nous.
Vous pouvez relancer votre job et merci encore pour votre compréhension.
J'ai relancé mes jobs, mais malheureusement maintenant Trinity génère une erreur: Can't locate DB_File.pm in @INC (you may need to install the DB_File module) (@INC contains: /shared/ifbstor1/software/miniconda/envs/trinity-2.15.1/opt/trinity-2.15.1/util/../PerlLib /shared/ifbstor1/software/miniconda/envs/blast-2.14.0/lib/perl5/5.32/site_perl /shared/ifbstor1/software/miniconda/envs/blast-2.14.0/lib/perl5/site_perl /shared/ifbstor1/software/miniconda/envs/blast-2.14.0/lib/perl5/5.32/vendor_perl /shared/ifbstor1/software/miniconda/envs/blast-2.14.0/lib/perl5/vendor_perl /shared/ifbstor1/software/miniconda/envs/blast-2.14.0/lib/perl5/5.32/core_perl /shared/ifbstor1/software/miniconda/envs/blast-2.14.0/lib/perl5/core_perl .) at /shared/ifbstor1/software/miniconda/envs/trinity-2.15.1/opt/trinity-2.15.1/util/insilico_read_normalization.pl line 19.
Je ne reproduis pas l'erreur (la commande Trinity que vous lancé fonctionne pour moi).
Avez-vous changé quelque chose dans votre script (les modules chargés) ou votre environnement ?
Pouvez-vous réessayer en relançant une session (en vous déconnectant/reconnectant) ?