Ajouter apps dans UseGalaxy.fr

Bonjour,

Nous avons créé un ensemble d'outils pour l'analyse des réseaux métaboliques (metexplore / met4j · GitLab) et développé des wrappers pour Galaxy. Nous aimerions maintenant les intégrer dans UseGalaxy. Comment faire ? Quels sont les pré-requis ?

Bien cordialement,
Ludovic Cottret, INRAE Toulouse

Bonjour @Ludo_Cottret ,

Dans le principe, pas de soucis pour installer vos outils sur usegalaxy.fr. Vous êtes les bienvenues !

Grossièrement :

  1. Une gestion des dépendances via Conda de préférence (sinon Singularity). Aucune lib n'est installé sur le serveur par ailleurs
  2. Des wrappers Galaxy disponiblent sur un Git[Lab|Hub] qui respectent un ensemble de bonnes pratiques. La référence étant éditée par la communauté IUC: IUC Best Pratices
  3. Disponibilité des wrappers sur le Galaxy ToolShed
  4. Participation au support utilisateur :+1:

Si vous pensez les intégrer au sub-domaine workflow4metabolomics.usegalaxy.fr :

  1. La demande d'intégration sera étudiée par le CoPil du projet (mais j'imagine que vous y avez quelques contacts :wink: )

ping @team.galaxy, si vous avez un complément à apporter !

Bonjour,

Merci pour votre réponse rapide !
J'étais content d'etre arrivé après quelques heures de souffrance à lancer mes apps via Docker sur Galaxy, ça ne conviendrait pas ?
Sinon, on a aussi une image singularity de notre app, je peux aussi essayer avec cette solution, si vous avez un lien vers un wrapper qui utilise singularity, pour l'exemple.

Pour l'intégration avec W4M, je pense que ce serait mieux d'avoir notre propre sub-domaine (si c'est possible), on a pas mal d'apps et ça risque de devenir très confus sinon.

Hello

S'il s'agit d'un galaxy interactive tool (GxIT), alors ce n'est pas le premier qui aurait été intégré à usegalaxy fr. C'est dont tout à fait possible.

Il me semble qu'il est possible de déposer l'xml sur un le toolshed et de déployer l'outils comme n'importe quel autre outils tant que l'image docker est accessible publiquement. Cependant, comme la plupart des outils sont gérés par slurm pour être dispatché sur les noeuds du cluster, je me demande si ça fonctionnerait tel quel (au vue de la nécessité de forwarder les requêtes) - il me semble que non.

Cependant, ça a déjà été fait en déployant l'outils "à la main" (à moitié), mais cela implique que l'outils n'est pas dispo' sur le sous-domaine W4M.... (et que l'image docker soit dispo' publiquement, par exemple sur hub.docker.com)

Si cela convient, tu peux faire une MR vers ce repo: Institut Français de Bioinformatique / usegalaxy.fr / galaxy · GitLab (branche "release_22.01_ifb" ; ou vers la branche "dev" si tu as accès à l'instance de dev de usegalaxy)
en plaçant le xml dans tools/interactive/interactive_tool_name.xml

Nous réservons Docker pour les GxIT.
Pour les autres outils, priorité Conda sinon Singularity.

Salut !

Merci pour vos réponses. Mon outil n'est pas un "GxIT", je vais donc passer par la solution "singularity". @abretaud m'a déjà indiqué des pistes, je devrais m'en sortir. Sinon, je continuerai de vous embêter :-).

Bonne journée !
Ludo

Grace à vous 3, la solution singularity fonctionne aussi. GRAND MERCI !

Je suis maintenant en train de créer un repo pour les wrappers. @gildaslecorguille j'ai découvert ce cicd que tu as réalisé pour w4m : https://github.com/workflow4metabolomics/tools-metabolomics/blob/master/.github/workflows/pr.yaml .

Ouaouh ! Comme mon dépôt est sous giltab, connais tu un équivalent utilisant le CICD de gitlab ?

Comment penses-tu livrer l'image singularity ?

Oui Ouaouh mais je me suis contenté de pomper sur GitHub - galaxyproject/tools-iuc: Tool Shed repositories maintained by the Intergalactic Utilities Commission.
Il est de plus en plus complexe.
Donc, non, je ne connais pas l'équivalent en gitlab-ci.

As-tu envisager de le déposer sur https://github.com/workflow4metabolomics/tools-metabolomics ou https://github.com/galaxyproject/tools-iuc ?

J'y vois quelques avantages :

  • Pas besoin de t'occuper du CI
  • Il sera review par une communauté exigente
  • Meilleur visibilité
    • Des développeurs
    • Des admin qui voudront installer ton outil
  • Meilleur support dans le temps

Salut !

Merci pour les précisions, on va discuter de tout ça pour voir ce qui est le mieux. Pour le CICD, j'ai les etapes de lint, de test, je n'ai plus que l'etape du toolshed à ajouter (quand tous mes tests seront au vert). CICD minimaliste mais qui semble suffire, à voir.
Je vous tiens au courant !

Salut,

Les toolsheds test et officiel met4j sont maintenant disponibles.

Officiel:
https://toolshed.g2.bx.psu.edu/view/lcottret/met4j/3cdcfdae8bd2

Test:
https://testtoolshed.g2.bx.psu.edu/view/lcottret/met4j/fac8f58aec34

Le repo est ici :

Le lint et le test passent. (il manque juste les citations, mais ca sera apres le papier met4j).
J'ai encore des soucis sur le CI mais rien de bloquant.

@gildaslecorguille Par rapport aux pré-requis que tu avais indiqués au début de la conversation, je pense qu'on est bons. Du coup, ça m'irait bien de partir sur cette base, sans plus d'integration vers w4m ou galaxy. Est ce que ça vous conviendrait comme ça ? Quelle est la suite de la marche à suivre ?

Je n'ai pas vu de test vert :confused:

Pour le linting, je crois que tu peux te contenter de

<citations />

Cool

Dommage, c'est pourtant un vrai plus d'intégrer un repo plus large que son projet. Beaucoup le regret après coup et ont du mal à revenir sur cette voie par manque de temps

Sache qu'un changement de owner au niveau Galaxy signifie un autre outil.

Tu pourras ajouter tes outils dans ce repo : Institut Français de Bioinformatique / usegalaxy.fr / tools · GitLab

Merci Gildas pour toutes ces précisions.
J'ai lancé une MR par mail (normal que ça prenne du temps ?). J'ai vu les fichiers à transformer dans le README.md.
Si j'ai bien compris, comme met4j est une suite d'outils, je vais donc créer un fichier met4j.yml dans files et compléter le tool_conf.xml avec les sections (vides ?) correspondantes.
Pas bien compris ce qu'il faut indiquer dans le fichier .schema.yaml par contre.
Et aussi, j'imagine que c'est vous qui indiquez quelque part qu'il faut télécharger le repository galaxy met4j ?

Salut,

Toujours pas de MR créée après mon mail du 10/06, c'est normal ?

Bonne journée,
Ludo

Un MR par mail :thinking:

Désole mais je ne saisi pas

J'ai cliqué sur le bouton :-). Il y a un autre moyen ?

Bonjour,

Alors, est ce qu'il faut une autorisation spéciale pour déposer cette MR ? Comment faire ?

Ludo

Désolé, je ne vois toujours pas ton MR.
Normalement, il te faut :

  1. Faire un fork de notre repo
  2. Travailler sur une branche sur ton repo
  3. Soumettre un MR via l'interface web. Normalement, GitLab te propose un bouton depuis ta fork pour faire un MR sur notre fork

Est-ce que nous metterions Met4J dans une rubrique Metabolic Networks ?

Merci ! Ok, désolé, je n'avais pas compris la procédure.
La MR apparait bien. Ce que j'ai fait pour l'instant, c'est juste ajouter dans files un fichier met4j.yml contenant la liste des applis.
En effet, une rubrique Metabolic Networks avec dedans met4j en menu déroulant serait parfait. Mais ça par contre, je ne sais pas le faire, j'aurai besoin d'aide.