Mise a disposition de nouvelles banques pour FROGS

Bonjour,

Pourriez-vous intégrer à l’outil FROGS 4.1 Taxonomic affiliation, les banques de données

l'outil d'installation:
https://toolshed.g2.bx.psu.edu/repository?repository_id=e38ae51e86e196b2&changeset_revision=7403d6c4f510

les paramètres:

|20230926|16S-ITS-23S|GTDB||08-RS214|16S-ITS-23S_GTDB_08-RS214|http://genoweb.toulouse.inra.fr/frogs_databanks/assignation/GTDB/16S-ITS-23S-DB_GTDB_08-RS214.tar.gz|

|20230726|16S|REFseq|Bacteria|20230726|16S_REFseq_Bacteria_20230726|http://genoweb.toulouse.inra.fr/frogs_databanks/assignation/REFSeq/NCBIdb_bacteria_16S_v1.20230726.tar.gz|

|20230331|16S|REFseq|Archaea|20230726|16S_REFseq_Archaea_20230726|http://genoweb.toulouse.inra.fr/frogs_databanks/assignation/REFSeq/NCBIdb_archaea_16S_v1.20230726.tar.gz|

http://genoweb.toulouse.inra.fr/frogs_databanks/assignation/FROGS_databases.tsv

Merci bcp,
Géraldine.

Bonjour @geraldinepascal,

Est ce que tu peux me donner les informations suivantes, ce sont les informations demandées par votre datamanager et je ne suis pas sûr de savoir les identifier dans les paramètres que tu m'as fourni

  • La date de ta plus ancienne banque

    • Select databases uploaded later than this date. Please enter a date at the following format: YYYYMMDD, else leave 0.
  • les amplicons voulus

    • Write amplicons names separated by ","; example: "COI,ITS,16S" or "23S"
  • les noms des banques voulues

    • Write base names separated by ","; example: "SILVA,PR2,MIDAS" or "BOLD"
  • les noms des filtres voulus

    • Write filter names separated by ",";example: "Pintail100,Fungi"

Thomas

oui bien sur.
En fait ce sont les 4 premières colonnes du fichier http://genoweb.toulouse.inra.fr/frogs_databanks/assignation/FROGS_databases.tsv

#date amplicon base filters

20230926 16S-ITS-23S GTDB (ici filters est vide)

20230726 16S REFseq Bacteria

20230331 16S REFseq Archaea

Est ce que ca te va?

C'est en cours de téléchargement/installation

Thomas

Merci Thomas

Bonjour @tchaussepied ,
le preprocess de FROGS 4.1 ne fonctionne pas. J'ai ca comme message "Unable to run job due to a misconfiguration of the Galaxy job running system. Please contact a site administrator."

je ne sais pas si tu as fais qqchose entre temps mais j'ai simplement relancé mon historique et ca a fonctionné...

Bonjour @tchaussepied ,
Je ne vois pas les 3 nouvelles banques sur https://metabarcoding.usegalaxy.fr.
Sais -tu pourquoi?
++

@tchaussepied , j'ai vu que les 3 banques étaient dispo, l'affiliation fonctionne avec 16S REFseq Archaea, mais ni avec 16S REFseq Bacteria, ni avec 16S-ITS-23S GTDB .

Mais la bq archea est presente 1 fois, alors que les bq 16S REFseq Bacteria et 16S-ITS-23S GTDB sont presentes anormalement 2 fois dans le menu déroulement

voici les messages d'erreur:

Traceback (most recent call last):
File "/shared/ifbstor1/galaxy/mutable-data/dependencies/_conda/envs/mulled-v1-241f09bfa701b3f2b8e255e0d2f26cfe062347b70bcbf621296812400efba12e/bin/taxonomic_affiliation.py", line 552, in
taxonomy = open(args.reference).readline()[1:].strip().split(None, 1)[1]
FileNotFoundError: [Errno 2] No such file or directory: '/shared/ifbstor1/galaxy/mutable-data/tool-data/frogs_db/NCBIdb_bacteria_16S_v1.20230726/NCBIdb_bacteria_16S_v1.20230726.fasta,/shared/ifbstor1/galaxy/mutable-data/tool-data/frogs_db/NCBIdb_bacteria_16S_v1.20230726/NCBIdb_bacteria_16S_v1.20230726.fasta'

Traceback (most recent call last):
File "/shared/ifbstor1/galaxy/mutable-data/dependencies/_conda/envs/mulled-v1-241f09bfa701b3f2b8e255e0d2f26cfe062347b70bcbf621296812400efba12e/bin/taxonomic_affiliation.py", line 552, in
taxonomy = open(args.reference).readline()[1:].strip().split(None, 1)[1]
FileNotFoundError: [Errno 2] No such file or directory: '/shared/ifbstor1/galaxy/mutable-data/tool-data/frogs_db/16S-ITS-23S-DB_GTDB_08-RS214/16S-ITS-23S-DB_GTDB_08-RS214.fasta,/shared/ifbstor1/galaxy/mutable-data/tool-data/frogs_db/16S-ITS-23S-DB_GTDB_08-RS214/16S-ITS-23S-DB_GTDB_08-RS214.fasta'

Merci Thomas,
Géraldine.

Bonjour @tchaussepied ,

Je me permets de te relancer sur la question des 2 banques de données non-fonctionnelles car la formation débute ce lundi et que je dois finir mes historiques et mes diapo.
Merci
Géraldine.

Bonjour Géraldine,

Je vois ce que je peux faire au plus vite.

  • Je ne vois pas de banques dupliquées avec l'outil Taxonomc Affiliation Galaxy | Tool Shed
  • Pour les message d'erreur, de ce que j'en comprends, il y a un bug dans ton outil,
    • ton outil ne "trouve" pas certains fichiers fasta. Je suis allé vérifier, ils sont bien installés sur le cluster.
    • je pense que ça vient du code de l'outil.
open(args.reference).readline()[1:].strip().split(None, 1)[1]

Il veut spliter une liste de fichiers
/shared/ifbstor1/galaxy/mutable-data/tool-data/frogs_db/16S-ITS-23S-DB_GTDB_08-RS214/16S-ITS-23S-DB_GTDB_08-RS214.fasta
et
/shared/ifbstor1/galaxy/mutable-data/tool-data/frogs_db/16S-ITS-23S-DB_GTDB_08-RS214/16S-ITS-23S-DB_GTDB_08-RS214.fasta
mais visiblement il ne le fait pas bien donc il chercher un fichier inexistant qui s'appelle /shared/ifbstor1/galaxy/mutable-data/tool-data/frogs_db/16S-ITS-23S-DB_GTDB_08-RS214/16S-ITS-23S-DB_GTDB_08-RS214.fasta,/shared/ifbstor1/galaxy/mutable-data/tool-data/frogs_db/16S-ITS-23S-DB_GTDB_08-RS214/16S-ITS-23S-DB_GTDB_08-RS214.fasta
et ce fichier ne peut pas exister ...

Thomas

ping @geraldinepascal

je demande à @mariabernard de regarder.

et sinon, depuis que tu avais ajouté les banques, elles étaient bien proposées pour 2 d'entre elles en double dans la liste mais ce matin quand j'ai regardé à nouveau, elles avaient complètement disparues.

Bonjour @tchaussepied

JE pense que le diagnostic initial de Géraldine était le bon. Nous avons eu ça sur notre serveur dans un autre contexte.
Si une base est présente 2 fois dans un .loc alors les path sont concaténés par une "," et forcément le open(Path) retourne un File Not Found.

Il s'avère que quand on regarde maintenant les 3 bases ont été supprimées ...

Est ce que vous pourriez relancer 2 fois le FROGS datamanager avec tout simplement

  • Select database by name = GTDB
  • Select database by name = REFseq

Cela suffira à installer les 3 bases.

a+

Maria

Les jobs viennent d'être lancés

Thomas

Bonjour @tchaussepied ,

Tout fonctionne très bien.
Merci pour la mise en place.
Bon week-end,
Géraldine.

Bonjour @team.galaxy

Je me permets de rouvrir ce post pour l'installation de nouvelles bases de données FROGS.

Via le FROGS Data Manager, il suffit d'indiquer Download only most recent databases la date 20240408 ce qui permettra d'installer les bases:12S_vertebrate_personnal_042024 et trnl_plant_personnal_042024

En vous remerciant par avance.

Bonne journée

Maria