Bonjour,
Merci de m'avoir créé un projet.
Comme mentionné dans la description, je voudrais faire tourner une analyse nécessitant de lancer 1760 jobs en parallèle. Chaque jobs tourne 3 jours (avec une mémoire de 4Gb & 1 CPU par task) et fourni un fichier de 180 MB.
J'ai vu que les paramètres par défaut sont de 300 jobs en parallèle.
Est-ce qu'il est possible de les modifier afin de faire tourner ces 1760 jobs en parallèle pendant 3 jours sur le cluster?
Bien cordialement,
Laura
Bonjour Laura,
Ce paramètre permets d'avoir un usage équitable du cluster entre chaque utilisateur.
Si l'on autorisé vos 1760 jobs en parallèle pendant 3 jours, ~ 10% du cluster serait monopolisé pour vous. Ce qui acceptable seulement et seulement si il n'y a pas d'autres utilisateurs qui font de même. Dans le cas contraire on bloquerait les autres utilisateurs (du cluster, de Galaxy, de JupyterHUB, etc), voire les formations en cours.
Il n'est pas simple de trouver le bon réglage. Nous pensons avoir trouvé un bon compromis.
Mais peut-être que l'on pourrait doubler cette limite avec l'ajout des nouvelles machines dernièrement.
Un avis @team.ifbcorecluster ?
Si vous avez besoin de cette puissance en parallèle, je vous invite à regarder également d'autre plateforme de bioinformatique (IFB Clusters - IFB), mais ces dernières ont également des limites (par exemple pour GenoToul Bioinfo: Default resources - genotoul-bioinfo)
Ou peut-être regarder du côté des Mésocentres (Les mésocentres en France). Un Mésocentre fournit des moyens de calcul pour les communautés scientifiques de la région (EPST, Universités, etc). C'est souvent très accessible et puissant.
Bonjour,
Merci pour votre réponse.
Est-ce que les paramètres par défaut de 300 jobs en parallèle sont par utilisateur ou par projet?
Si c'est par projet, est-ce possible d'augmenter le nombre de jobs pouvant être lancé en parallèle pour avoir 300 jobs en parallèle par projet (sur au moins 2 de mes projets) svp?
Bien cordialement,
Laura
Bonjour,
C'est par utilisateur: SLURM at IFB Core - IFB Core Cluster Documentation
Je précise quand même que vous pouvez lancer vos 1760 jobs d'un coup. Il n'y aura que 300 jobs running à un instant t, mais dès qu'un job se termine le suivant est automatiquement lancé. Actuellement, vos jobs passeraient en 17 jours (en fait probablement moins si 3j est le temps max pour un job).