Participez à l'évolution des services et infrastructures de calcul de l'IFB

De nombreux travaux sont en cours au sein de la Task-force NNCR en charge de la gestion de l'infrastructure de calcul de l'IFB.
La Taskforce NNCR est ouverte à toutes contributions ainsi, nous vous proposons un rapide tour d'horizon des « choses à faire » afin que vous puissiez donner de votre temps et partager vos compétences pour aider à faire évoluer nos services et nos infrastructures.

Pour l'ensemble de ces tâches nous sommes prêts à vous accompagner et vous former afin que votre contribution se déroule dans la douceur et la sérénité.

Animation du support communautaire

Afin d'insuffler une dynamique au sein de la nouvelle communauté d'utilisateurs de l'infrastructure cluster IFB, nous avons besoin d'animateurs pouvant guider les utilisateurs et les accompagner dans la résolution de leurs problèmes ou leurs demandes (qu'elle soient techniques ou autour de la bioinformatique).

Déploiement d'outil de bioinformatique

Nous sommes régulièrement amenés à déployer de nouveaux outils sur l'infrastructure de calcul en nous appuyant sur conda, ansible (rstudio) et bientôt Singularity. Nous avons besoin de votre aide pour préparer de nouveaux déploiements et tester ces outils.

Documentation utilisateur

Dès l'ouverture de l'infrastructure aux premiers utilisateurs nous avons proposé quelques pages de documentation notamment sur SLURM. Cette documentation doit être complétée et améliorée afin d'être compréhensible et utile pour un large panel d'utilisateurs, du débutant jusqu'à l'expert. Nous avons besoin de votre aide pour relire, compléter, corriger cette documentation et surtout l'étendre sur de nouveaux sujets (RStudio, Snakemake, parallélisation, utilisation des ressources, etc.).

Support environnement Debian/Ubuntu

Les rôles Ansible utilisés par la TaskForce sont actuellement spécialisés pour un environnement Centos.
Nous devons faire évoluer une partie de ces rôles (notamment les rôles communs à l'environnement IFB) afin de les rendre compatibles avec un environnement Debian/Ubuntu.

Déploiement d'instances thématique Galaxy

L'infrastructure cluster de l'IFB a pour objectif de déployer et de maintenir des instances thématiques de Galaxy au travers de mécanismes d'intégration continue et de rôles Ansible. Nous avons besoin d'aide pour la définition et la mise en place de ces mécanismes afin de permettre une gestion collaborative de ces instances.

Demande de compte pour l'accès à l'infrastructure

Actuellement, la TaskForce s'appuie sur un formulaire Drupal pour recueillir les demandes de compte ou d'espace projet pour l'infrastructure cluster. Nous devons mettre en place une solution propre à l'IFB que ce soit au travers du CMS du site de l'IFB ou d'une application dédiée. Idéalement, cette application devrait permettre de faire un suivi sur le traitement des demandes et éventuellement d'automatiser la création du compte.

Support de l'authentification EduGain

Afin de simplifier l'accès aux différents services du cluster IFB, nous souhaitons étudier la possibilité de s'appuyer sur le service de fédération d'identité EduGain de Renater.
Voici un rappel des services actuellement actifs ainsi que le mode d'authentification associé :

  • SSH/Slurm : PAM -> SSSD -> LDAP
  • RStudio : PAM -> SSSD -> LDAP
  • Gitlab : LDAP
  • Discourse : base de données locale

Nous avons besoin d'aide pour envisager sur chacun de ces services un mode d'authentification au travers de la fédération d'identité EduGain.

Stockage de données

Une réflexion est en cours pour augmenter significativement la capacité de stockage de l'infrastructure Core Cluster. Actuellement plusieurs solutions sont à l'étude comme MooseFS, GlusterFS ou encore IBM Spectrum Scale (anciennement GPFS). Des retours d'expériences, des conseils et toutes les bonnes idées sont les bienvenus pour mettre en place une solution de qualité pour nos utilisateurs.

Si l'un de ces sujets vous intéresse, n'hésitez pas à nous en faire part dans ce fil de discussion.

1 « J'aime »

beegfs pour du scratch? …

Bonjour @tru,
Bienvenue sur community.cluster.france-bioinformatique.fr, pouvez-vous vous introduire un peu plus ?

Nous n’avons en effet pas encore de scratch sur le cluster, nous devons au préalable faire l’acquisition de stockage. Pouvez-vous développer votre proposition pour le beegfs ?

Je suis sysadmin dans le groupe de recherche de M. Nilges (Pasteur, UMR3528 et USR 3756): j’y gère les ressources propres de l’unité (soft/hard: 1500c/100TO+) ainsi que le “gpulab” pour le programme INCEPTION (Avenir grant ANR-16-CONV-0005).
On a mis en test beegfs sur 8 noeuds sur les 56 noeuds du cluster (pour compléter notre serveur NFS) et uniquement pour du scratch dans notre cluster “ERC Baycells” sous CentOS-6 il y a quelques années, ca marche et c’est simple à mettre en place.

Bonjour,

Très bonne initiative! Etant développeur d’application et demandeur des ressources de calcul de la plateforme, je ne peux pas contribuer aux taches administratives du système. Par contre, je suis partant pour participer à la la documentation sur l’accès et l’utilisation des ressources.

A+

Juhui

@jwang
Super, n’hésites donc pas à te connecter au gitlab via tes identifiants cluster pour proposer des modifications sur la documentation.

Je veux bien apporter ma contribution sur la partie système dans la limite de mes compétences et de ma disponibilité. J’ai de l’expérience notamment sur les achats matériels, la mise en place et la gestion d’un cluster de calcul SLURM et sur les infrastructures de stockage SPECTRUM SCALE.

1 « J'aime »

Bonjour @dlaborie
Bienvenue sur le Cluster Community Support !

Je vois que tu vas pouvoir contribuer à de nombreux sujets. On se voit à la prochaine réunion de la Task-Force.

Bonjour à tous,

Moi je suis très très très intéressée par votre projet d'instance Galaxy.
Je veux bien être beta testeuse avec la suite d'outils FROGS

:wink:

1 « J'aime »