Bonjour,
J'ai lancé l'assemblage de 96 transcriptomes sur le projet "detox_analyses". Cependant, il se trouve que certains assemblages fonctionnent sans problème tandis que d'autres se terminent avec, par exemple, cette erreur :
(base) [aringeval@core-login2 0521_95]$ tail slurm-38128286.out
File "/shared/ifbstor1/software/miniconda/envs/trinity-2.15.1/lib/python3.10/site-packages/numpy/init.py", line 156, in
from . import polynomial
File "/shared/ifbstor1/software/miniconda/envs/trinity-2.15.1/lib/python3.10/site-packages/numpy/polynomial/init.py", line 119, in
from .hermite import Hermite
ImportError: cannot import name 'Hermite' from 'numpy.polynomial.hermite' (/shared/ifbstor1/software/miniconda/envs/trinity-2.15.1/lib/python3.10/site-packages/numpy/polynomial/hermite.py)
--->
Trinity run failed. Must investigate error above.
warning, cmd: /shared/ifbstor1/software/miniconda/envs/trinity-2.15.1/opt/trinity-2.15.1/util/support_scripts/../../Trinity --single "/shared/ifbstor1/projects/detox_analyses/New_Sept_2023/0521_95/trinity_out_dir/read_partitions/Fb_0/CBin_814/c81517.trinity.reads.fa" --output "/shared/ifbstor1/projects/detox_analyses/New_Sept_2023/0521_95/trinity_out_dir/read_partitions/Fb_0/CBin_814/c81517.trinity.reads.fa.out" --CPU 1 --max_memory 1G --run_as_paired --seqType fa --trinity_complete --full_cleanup --no_salmon failed with ret: 65280, going to retry.
Or les assemblages ont été lancés avec le même script slurm. Je me demande ce que j'ai mal effectué pour provoquer une variation dans l'exécution des outils.
Exemple qui a fonctionné: /shared/projects/detox_analyses/New_Sept_2023/0922_143 (38128290)
Exemple qui n'a pas fonctionné: /shared/projects/detox_analyses/New_Sept_2023/0521_95 (38128286)
Merci par avance,
Allan
Bonjour,
Avant toute chose, il me semble un peu étrange de charger autant de module si vous n'utilisez que trinity.
Cela peut engendrer quelques problèmes, voir https://community.france-bioinformatique.fr/t/erreur-de-module-lie-a-lutilisation-de-trinity/3972/4
Dans votre cas, je me demande si l'erreur renvoyé corresponds vraiment au problème.
Je soupçonne en effet, un problème d'espace disque. Pas sur la taille occupé mais sur le nombre de fichiers.
En effet, vous stockez 14 millions de fichiers (14225003). Ce qui dépasse le quota de 10 millions.
Pour visualiser: lfs quota -h -p 164447 /shared/projects/detox_analyses
Disk quotas for prj 164447 (pid 164447):
Filesystem used quota limit grace files quota limit grace
/shared/projects/detox_analyses
3.248T 9.766T 14.65T - 14225003* 10000000 15000000 5d12h10m56s
Au vu de l'espace occupé, je vous invite avant toute chose à nettoyer au maximum (suppression des fichiers temporaires, logs, etc.), à archiver/compresser (pour éviter la myriade de petits fichiers, etc).
Particulièrement les dossiers trinity_out_dir/read_partitions des dossiers New_Sept_2023/0521_95 (8.2 millions de fichiers) et New_Sept_2023/0922_158 (2.8 millions de fichiers).
Revenez vers nous si besoin
1 « J'aime »
Bonjour,
Merci pour votre réponse. J'aimerais consulter le lien que vous avez indiqué, mais il génère une erreur "Cette page n'existe pas ou est privée."
Allan
Bonjour @aringeval
La discussion était privé. On vient de la rendre publique. Le lien est maintenant accessible.
Bonne journée
1 « J'aime »
Bonjour @dbenaben,
Merci pour l'accès à la discussion. J'ai modifié mon script slurm afin d'importer uniquement le module Trinity/2.15.1. Seulement, mes assemblages obtiennent cette erreur :
job ID: 38403476_2 (/shared/projects/detox_analyses/New_Sept_2023)
Trinity run failed. Must investigate error above.
warning, cmd: /shared/ifbstor1/software/miniconda/envs/trinity-2.15.1/opt/trinity-2.15.1/util/support_scripts/../../Trinity --single "/shared/ifbstor1/projects/detox_analyses/New_Sept_2023/0922_421/trinity_out_dir/read_partitions/Fb_0/CBin_13/c1340.trinity.reads.fa" --output "/shared/ifbstor1/projects/detox_analyses/New_Sept_2023/0922_421/trinity_out_dir/read_partitions/Fb_0/CBin_13/c1340.trinity.reads.fa.out" --CPU 1 --max_memory 1G --run_as_paired --seqType fa --trinity_complete --full_cleanup --no_salmon failed with ret: 65280, going to retry.
Error encountered:: <!----
CMD: /shared/ifbstor1/software/miniconda/envs/trinity-2.15.1/opt/trinity-2.15.1/Analysis/SuperTranscripts/Trinity_gene_splice_modeler.py --trinity_fasta /shared/ifbstor1/projects/detox_analyses/New_Sept_2023/0922_421/trinity_out_dir/read_partitions/Fb_0/CBin_36/c3636.trinity.reads.fa.out/Trinity.tmp.fasta --out_prefix /shared/ifbstor1/projects/detox_analyses/New_Sept_2023/0922_421/trinity_out_dir/read_partitions/Fb_0/CBin_36/c3636.trinity.reads.fa.out/Trinity.tmp.fasta.ST --incl_cdna 2>tmp.4042712.1710503243.stderr
Errmsg:
Traceback (most recent call last):
File "/shared/ifbstor1/software/miniconda/envs/trinity-2.15.1/opt/trinity-2.15.1/Analysis/SuperTranscripts/Trinity_gene_splice_modeler.py", line 11, in <module>
import numpy
File "/shared/ifbstor1/software/miniconda/envs/trinity-2.15.1/lib/python3.10/site-packages/numpy/__init__.py", line 156, in <module>
from . import polynomial
File "/shared/ifbstor1/software/miniconda/envs/trinity-2.15.1/lib/python3.10/site-packages/numpy/polynomial/__init__.py", line 117, in <module>
from .chebyshev import Chebyshev
ImportError: cannot import name 'Chebyshev' from 'numpy.polynomial.chebyshev' (/shared/ifbstor1/software/miniconda/envs/trinity-2.15.1/lib/python3.10/site-packages/numpy/polynomial/chebyshev.py)
J'ai vérifié et je n'ai pas dépassé mon quota. Il semble que cette erreur apparaît dès que Trinity lance la phase 2. Cette erreur n'interrompt pas le job ni le programme.
Merci par avance,
Allan
Bonjour Allan,
Je sèche (le module numpy.polynomial.chebyshev est bien dispo).
Peut-être contacter les développeurs ? Pour info, le module est installé à l'aide de conda (Trinity :: Anaconda.org).