Facturation et Expiration des Comptes et Projets Cluster/Rstudio/Jupyter

Bonjour,

On va activer l'expiration des comptes utilisateurs et projets sur le cluster (donc aussi rstudio et jupyter).

A priori cette semaine.

On commence doucement, et pour l'instant aucune donnée ne sera supprimée.

Cependant vous allez peut-être recevoir des e-mails vous indiquant que votre compte ou votre projet a expiré, dans ce cas, vous pouvez vous connecter sur my:

https://my.cluster.france-bioinformatique.fr

1. Si c'est votre compte

Cliquez sur "My profile", dans la bar de menu en haut à droite:

Et ensuite cliquer sur "Extend Validity", en haut au milieu en dessous de la barre de menu:

2. Si c'est votre projet

Alors le mieux c'est de nous contacter, soit sur le forum, soit par mail, parce qu'il n'y a pas encore de bouton "self service" dans my pour ça (et il n'y aura probablement jamais de bouton pour ça)

Voila

Si vous avez des questions, un avis, ou si vous rencontrez des soucis, n’hésitez pas à répondre a ce message.

2 « J'aime »

A noter aussi que l'account slurm par default va changer, tout les comptes seront associé à l'account "demo" qui est limité en terme de temps cpu.

Ca sera fait automatiquement pour tout les nouveaux compte et progressivement pour les comptes existants.

Pour contourner cette limite, il faudra avoir un projet et utiliser le nom du projet comme account slurm avec l'option -A de srun et sbatch

srun -A mon_projet ma_commande

Bonjour

merci pour cette info.

Du coup, l'attribution de temps de calcul se fera exclusivement sur appel à projet à durée limitée?
De la paperasse à prévoir ?
Estimation du temps de calcul nécessaire a priori?

Qu'est ce qui a motivé ce changement de fonctionnement?

Merci pour les infos et pour tout le travail que vous faites derrière.
Guillaume

Bonjour @Guillaume ,

Désolé pour ce silence. Pleins de bonnes questions, auxquelles je vais tacher de répondre.

Qu'est ce qui a motivé ce changement de fonctionnement?

Nos financeurs, le MESRI, l'ARN, nous demande en tant qu'infrastructure un modèle économique comprenant de l'autofinancement sous forme de prestations tarifées.

Au delà de ça, en tant qu'administrateur de plateforme, nous trouvons qu'il y a un cercle vertueux. Avant une demande d'extension de quota, qui pour le moment ne consiste qu'à un message sur le forum, l'utilisateur se posera peut-être la question du tri dans ces données ou du bon usage des resources de calcul.

Nous prévoyons quoiqu'il arrive un projet gratuit comprenant 250GB d'espace disque et 10000h de calcul par porteur de projet. Cela correspond à l'heure actuelle à une grand majorité des besoins.

Pour les plus gros à très usager, il n'est pas aberrant de les faire participer à l'infrastructure de calcul. Les infrastructures de calcul comme celles des plateformes IFB sont couteuses au même titre qu'un séquenceur. Inclure du financement dans les ANR pour le calcul devrait être un réflexe au même titre que la campagne d'échantillonnage ou le séquençage. A titre d'exemple, le renouvellement de notre stockage sur l'IFB a coûté 400k€ et est à renouveler tous les 6 ans à la hausse.

Evidemment, nous avons d'autres sources de financement, nous n'avons pas pour cible de répercuter ce coût à nos utilisateurs mais d'initier cette part d'autofinancement. Notons que tous les plateformes IFB ont vocation à moyen terme à mettre en place cette tarification si ça n'est pas déjà le cas.

Du coup, l'attribution de temps de calcul se fera exclusivement sur appel à projet à durée limitée?

Nous ne fonctionnerons pas par appel à projet. Mais souhaitons proposer un système de packages, comme des forfaits, des comprenant des calculs et du stockage pour des bailles d'un an renouvelable.

Estimation du temps de calcul nécessaire a priori?

Les packages comprendrons des sauts et pourront être étendu sur demande au package au dessus. Nous allons éviter l'ajustement au Giga Octets ou à la 100aine d'heure de calcul pour éviter les micro-gestions qui nous feraient perdre du temps ingénieurs au détriment du maintien du service.

De la paperasse à prévoir ?

En effet, mais comme expliqué plus haut, un premier package permet d'accéder aux ressources gratuitement.

Nous ne sommes pas plus intéressés par la paperasse (ni même par ce côté VRP). @Francois est justement en train de mettre en place les premières briques pour qu'il y ait le moins d'intervention possible pour faciliter la vie de tous : utilisateur, administratifs côté utilisateur, administratifs côté plateforme, administrateur des ressources.

Nous nous tenons prêt à échanger sur ce sujet.

2 « J'aime »

Hello,

J'ai plusieurs questions / remarques concernant la gestion des comptes sur le cluster.

Tout d'abord, concernant l'aspect financier. Le modèle économique de l'utilisation du cluster est un vieux serpent de mer qui est en discussion à l'IFB depuis plusieurs années. Même si je trouve dérangeant que l'accès à cette ressource devienne payant (alors que ce n'est pas le cas pour les ressources de calcul du GENCI), je comprends votre raisonnement face à la pression de vos financeurs. Concrètement, quand cette grille tarifaire sera-t-elle publiée ?

J'imagine que lorsqu'un forfait stockage / CPU sera acheté pour un projet, celui-ci sera valable jusqu'à la fin du projet ou l'épuisement du quota de ressources acheté. Pouvez-vous me le confirmer ?

Les utilisateurs devront alors gérer plus finement leurs ressources, ce qui n'est finalement pas un mal. Pour cela, serait-il possible de retrouver l'information renvoyée par status_bar lorsqu'on se connecte en SSH sur le cluster directement dans l'interface My ? Ce serait plus pratique, notamment pour les utilisateurs qui se connectent au cluster via les interfaces JupyterHub ou RStudio.

À ce propos, quel account est utilisé quand on lance une instance JupyterHub ou RStudio ? Sera-t-il possible de le changer quand on travaille sur deux projets en même temps (par exemple, en spécifiant l'account juste avant de lancer l'instance ou en changeant l'account par défaut dans My) ?

Pour terminer, avez-vous documenté des règles de décision pour la fin des projets et des formations non renouvelés / échus ? Que se passe-t-il concrètement pour les utilisateurs associés à ce projet ? Que se passe-t-il pour les données stockées ?

D'avance merci pour vos lumières :sparkles: et bonnes fêtes :gift: :tada:

Pierre

Je me permets de relancer le sujet. Ping @gildaslecorguille / @Francois

Nous en parlons souvent de te répondre :slight_smile:

Nous en avons discuté en comité de direction au sein de l'IFB. La question est : pourquoi GENCI serait exempt d'obligation de présenter une tarification de ses services ?

Notre grille tarifaire envisagée et calcul sur la base des coûts complets : 2020-02-IFB Core Cluster-Grille tarifaire.pdf. Elle a été construite en concertation avec plusieurs plateformes de bioinformatique de l'IFB pour qu'il n'y ait pas trop d'écart et une concurrence entre elles.

Oui, c'est bien ça. Le forfait est prévu pour avoir une limite de ressource dans un temps donné.

@Francois est en train de nous développer ça. J'ai pu voir les premiers rendus :+1:

Il y a en effet du développement à faire côté JupyterHub pour pouvoir y indiquer son account SLURM. @julien pourra peut-être t'en dire plus.

Nous n'avons en effet pas documenté la fin de vie des projets. Mais notre plan est qu'à l'échéance du projet, l'accès en écriture (w) est temporairement retiré aux utilisateurs. Une période de grâce est en effet prévue avant suppression des données.

2 « J'aime »

Merci pour ta réponse @gildaslecorguille :pray:
La question par rapport au GENCI me semble effectivement critique...
@Francois et @julien n'hésitez pas à compléter si besoin.