Installation d'outils pour l'ecole thématique Elements Transposable - 28/9 au 02/10

Bonjour

J'aurais besoin de vérifier si ces différents outils sont bien installé sur le cluster pour l'ecole thématique bioinfoTE

De plus, nous faudrait un espace data partagé accessibles aux apprenants pour
récupérer les données initiales, en 755 si possible (sinon je mettrais
dans mon propre /home)

Merci d'avance

Francois

C'est noté @francoissabot, nous allons faire au mieux avec cette liste la semaine prochaine (cette semaine a été déjà pas mal chargé en installation pour d'autres formations)

Ping @team.software

Bonjour,

Un petit tableau qui va être mis à jour au fur et a mesure que c'est fait ou pas:

Outil Version Installé sur le cluster Commentaires
samtools 1.10 1.3.1 1.5 1.9
bowtie2 1.2.2 1.2.3
bwa 0.7.17
TEtools 1.0.0 https://gitlab.com/ifb-elixirfr/cluster/tools/-/merge_requests/263 et https://gitlab.com/ifb-elixirfr/cluster/tools/-/merge_requests/265 Pour Galaxy ?
dnapipeTE NA Licence des données ?
phyML 3.3.20180621 3.3.20190909
Mafft 7.407
trimAL 1.4.1
seaview NA
REPET 3.0 https://gitlab.com/ifb-elixirfr/cluster/tools/-/merge_requests/261
RepeatModeler 2.0.1 Dans l'env tetools/1.2 https://gitlab.com/ifb-elixirfr/cluster/tools/-/merge_requests/253
McClintock NA https://gitlab.com/ifb-elixirfr/cluster/tools/-/merge_requests/260
TrEMOLO 0.1 https://gitlab.com/ifb-elixirfr/cluster/tools/-/merge_requests/257
Python 3.6+ 2.7 3.7
R 3.3+ 3.6.3 4.0.2
BLAST 2.2+ 2.2.31 2.7.1 2.9.0
Bedtools 2.26.0 2.27.1 2.29.2
Assemblytics 1.2.1 https://gitlab.com/ifb-elixirfr/cluster/tools/-/merge_requests/252
RaGOO NA
Snakemake 5.5.2+ 5.19.2 5.3.0 5.7.4
Sniffles 1.0.10+ 1.0.10 1.0.11
package R Version Installé sur le cluster Commentaires
ggplot2 3.3.2 Pour les 2 envs (R 3.6.3 et R 4.0.2)
RColorBrewer 1.1.2 Pour les 2 envs (R 3.6.3 et R 4.0.2)
extrafont 0.17 Pour les 2 envs (R 3.6.3 et R 4.0.2) - https://gitlab.com/ifb-elixirfr/cluster/r-packages/-/merge_requests/54
Package Python Version Installé sur le cluster Commentaires
Biopython 1.76 Dans l'env Python 3.7
Pandas 1.0.3 Dans l'env Python 3.7
Numpy 1.18.4 Dans l'env Python 3.7
pylab 3.1.1 (matplotlib) Dans l'env Python 3.7 matplotlib dans conda à l'air de fournir pylab et pyplot, ca conviendrait ?
tkinter tk dans conda fourni les librairies tcl et tk, on pourrait y rajouter le module python tkinter (installé avec pip), ca conviendrait ? (Attention tcl et tk sont des librairies graphiques)
1 J'aime

Bonjour

TEtools est en mode docker normalement c'est celui qui nous faudrait si possible

Pylab: a priori oui ca ira (version python3.6+)

tkinter: c'est bon aussi via conda

Merci encore de votre aide :smiley:

@francoissabot Avez-vous déjà testé un singularity pull pour voir si ça pourrait fonctionner ?

singularity pull docker://urgi/docker_vre_aio

Car vu qu'on est root dans un container, beaucoup de dévelopeur de container garde cette logique jusqu'au bout et vont considérer que l'utilitsateur est root dans le container. Hors, ça n'est pas le cas sous singularity (et c'est pour ça qu'on l':heart:).
D'autre vont espérer d'ouvrir un shell dans le container pour l'utiliser ...

Si c'est bon, on pourra vous proposer une image singularity sans soucis si vous nous donner la liste des exécutables auxquels vous faite appel.

Je reviens sur une remarque de @Francois, actuellement, le x11 n'est pas disponible sur le cluster. Vous pensez y faire appel ?

Non Gildas c'est juste pour tracer des images en png. Merci ^^

On va probablement vous demander de faire la même chose sur le l'IFB core cluster.

L'installation demande un login et un mot de passe pour acceder à la base de donnée Repbase:

Je n'ai pas vraiment trouver d'information concernant la permission ou non de diffuser cette base de donnée, cependant sur leur site ils ont l'air un peu énervé:
image

Du coup et à priori, nous ne sommes pas autorisés à la mettre a disposition de nos utilisateurs sur le cluster.

Oui Repbase est un souci, mais en fait on utilisera une autre base sur dnaPipeTE. Donc pas de probleme

@francoissabot un espace /shared/projects/bioinfo_te_2020 a été créé. Seuls les apprenants doivent y avoir accès ? De combien d'espace avez vous besoin ?
Les étudiants peuvent ils conserver le stockage par défaut hard limit: 150 GB sur leurs home?

Bonjour

150Go par user sera suffisant
Le projet shared sera parfait. Les apprenants et les profs doivent y avoir acces

Je vais commencer à charger les données demain
Merci encore

Bonjour @francoissabot,

Si vous reprenez le tableau récapitulatif quelques messages plus haut ^ ^ ^

Vous verrez dans la colonne "Commentaires" des liens vers Gitlab.
Ces liens indiques que l'outil est installé sur le cluster de l'IFB core.

Si vous pouvez commencer à tester ces outils, et nous remonter les éventuelles souci, merci d'avance.

J'ai essayé de tester les outils TEtools (TEcount.py et TEdiff.R)
Je n'arrive pas à les lancer. Peut etre que je ne le fais pas correctement ?
Le 1er est un script python3 et l'autre un script R.

Merci d'avance pour votre aide !

Bonjour @Emmanuelle_L,

Attention Il y a deux Tetool différent, c'est seulement le deuxième qui est installé pour l'instant

vous pouvez préciser s'il vous plait ? Je ne suis pas sure de comprendre.

Dans le premier message de @francoissabot, il y'a :


et

Qui porte le même nom, mais visiblement ne sont pas les même projet.

oui en effet. En ce qui me concerne, c'est l'outil de Laurent Modolo dont j'ai besoin. Il est utilisable en ligne de commande bien qu'il existe comme wrapper galaxy.

J'ai installé l'autre :frowning:

REPET
At least, désolé mais c’est quand même un très gros docker.
Par contre, comme je ne connais pas le fonctionnement de REPET, je ne sais pas si il est fonctionnel

module load repet/3.0
srun TEannot.py --version

Pour info, le MR avec le singularity def file : https://gitlab.com/ifb-elixirfr/cluster/tools/-/merge_requests/261

Il n’est pas encore passé à cause de la taille du docker mais je l’ai tout de même installé en directe.

Désolé pour le délais de livraison mais nous avons pas mal de formation à ce lancer en même temps sur l’IFB ou sur nos infra respectives.

Bon courage

merci !
Juste une question bête. Il est à quel endroit que je puisse tester ? :blush: