Bonjour,
Je travaille actuellement sur le projet detox_analyses et je dois réaliser plusieurs assemblages avec Trinity. Malheureusement, je n'arrive pas à les paralléliser car Trinity génère une très grande quantité de fichiers qui provoque un dépassement du quota. Quelle serait la meilleure solution ?
Merci d'avance,
Allan.
Voici quelques précisions et résultats de la commande "lfsgetquota" :
$ lfsgetquota detox_analyses
Disk quotas for prj 164447 (pid 164447):
Filesystem used quota limit grace files quota limit grace
/shared/projects/detox_analyses
164.8G 4.883T 7.324T - 17499 5000000 7500000 -
Et voici ce que j'obtiens avec Trinity:
mkdir: cannot create directory '/shared/ifbstor1/projects/detox_analyses/monoplex/0521_112_S18/trinity_out_dir': No space left on device
Error, cmd: mkdir -p /shared/ifbstor1/projects/detox_analyses/monoplex/0521_112_S18/trinity_out_dir died with ret 256 at /shared/ifbstor1/software/miniconda/envs/trinity-2.15.1/bin/Trinity line 2919.
main::process_cmd("mkdir -p /shared/ifbstor1/projects/detox_analyses/monoplex/05"...) called at /shared/ifbstor1/software/miniconda/envs/trinity-2.15.1/bin/Trinity line 1315
Merci par avance,
Allan
Bonjour Allan,
Surprenant... J'ai doublé la taille de votre projet mais quelque chose me dis qu'il ya anguille sous roche.
Pouvez-vous retester et nous dire ce qu'il en est (en nous indiquant le n° de job et le fichier de sortie) ?
PS: il y a aussi des disques locaux sur les noeuds de calcul de qqes To (de 1 à 3To suivant les noueds) mais à priori ça ne résoudra pas le pb.
Bonjour,
job n°37153321
fichier de log: /shared/projects/detox_analyses/monoplex/slurm-37153321.out
Cette fois, le programme Trinity ne semble pas s'arrêter, mais il génère cette erreur en continu :
Error, cmd: mkdir -p /shared/ifbstor1/projects/detox_analyses/monoplex/1020_21_S5/trinity_out_dir/read_partitions/Fb_1/CBin_1454/c145483.trinity.reads.fa.out died with ret 256 at /shared/ifbstor1/software/miniconda/envs/trinity-2.15.1/opt/trinity-2.15.1/util/support_scripts/../../Trinity line 2919.
main::process_cmd("mkdir -p /shared/ifbstor1/projects/detox_analyses/monoplex/10"...) called at /shared/ifbstor1/software/miniconda/envs/trinity-2.15.1/opt/trinity-2.15.1/util/support_scripts/../../Trinity line 1315
warning, cmd: /shared/ifbstor1/software/miniconda/envs/trinity-2.15.1/opt/trinity-2.15.1/util/support_scripts/../../Trinity --single "/shared/ifbstor1/projects/detox_analyses/monoplex/1020_21_S5/trinity_out_dir/read_partitions/Fb_1/CBin_1454/c145483.trinity.reads.fa" --output "/shared/ifbstor1/projects/detox_analyses/monoplex/1020_21_S5/trinity_out_dir/read_partitions/Fb_1/CBin_1454/c145483.trinity.reads.fa.out" --CPU 1 --max_memory 1G --run_as_paired --seqType fa --trinity_complete --full_cleanup --no_salmon failed with ret: 512, going to retry.
mkdir: cannot create directory '/shared/ifbstor1/projects/detox_analyses/monoplex/1020_21_S5/trinity_out_dir/read_partitions/Fb_0/CBin_329/c32965.trinity.reads.fa.out': No space left on device
Merci encore,
Allan
Bonjour,
Nous rencontrons un problème avec le stockage (d'où votre erreur), qui est je pense directement lié à votre problème initiale.
Nous travaillons dessus. On revient vers vous dès que possible
Le probleme de stockage est résolu
Bonjour @aringeval
Nous pensons avoir compris d'où vient votre problème initial.
Afin de régler définitivement ce dernier, vous serez-t-il possible d'arrêter le job trinity et nettoyer les fichiers ?
Nous appliquerons alors une modification et nous vous ferons signe pour relancer le job.
Bonjour,
Je viens d'arrêter le job et j'ai également nettoyé l'ensemble des fichiers qu'il avait créés.
Bonne journée,
Allan
Merci @aringeval et désolé pour le désagrément.
Vous ne devriez plus rencontrer de problème (nous avons transféré votre dossier projet sur un nouvel espace de stockage des inodes).
Mais si ce n'était pas le cas, revenez bien-sûr vers nous.
Vous pouvez relancer votre job et merci encore pour votre compréhension.
Bonjour,
J'ai relancé mes jobs, mais malheureusement maintenant Trinity génère une erreur: Can't locate DB_File.pm in @INC (you may need to install the DB_File module) (@INC contains: /shared/ifbstor1/software/miniconda/envs/trinity-2.15.1/opt/trinity-2.15.1/util/../PerlLib /shared/ifbstor1/software/miniconda/envs/blast-2.14.0/lib/perl5/5.32/site_perl /shared/ifbstor1/software/miniconda/envs/blast-2.14.0/lib/perl5/site_perl /shared/ifbstor1/software/miniconda/envs/blast-2.14.0/lib/perl5/5.32/vendor_perl /shared/ifbstor1/software/miniconda/envs/blast-2.14.0/lib/perl5/vendor_perl /shared/ifbstor1/software/miniconda/envs/blast-2.14.0/lib/perl5/5.32/core_perl /shared/ifbstor1/software/miniconda/envs/blast-2.14.0/lib/perl5/core_perl .) at /shared/ifbstor1/software/miniconda/envs/trinity-2.15.1/opt/trinity-2.15.1/util/insilico_read_normalization.pl line 19.
jobs id: 37176726
Merci pour votre aide,
Allan
Bonjour,
Je ne reproduis pas l'erreur (la commande Trinity que vous lancé fonctionne pour moi).
Avez-vous changé quelque chose dans votre script (les modules chargés) ou votre environnement ?
Pouvez-vous réessayer en relançant une session (en vous déconnectant/reconnectant) ?