Probleme sur noeuds gpu

IFB Core Cluster
1

Bonjour,

Je semble rencontrer un probleme avec les noeuds gpu.

J'utilise un pipeline snakemake qui fonctionne habituellement sans problème, et l'une des etapes (basecalling) fait appel à un noeud gpu (j'utilise tout le même) via le paramètre slurm_extra="--gres=gpu:3g.20gb:1" mais j'obtient actuellement l'erreur suivante :

SLURM job submission failed. The error message was sbatch: error: Batch job submission failed: Requested node configuration is not available

J'ai aussi essayé en demandant: --gres=gpu:7g:40gb:1 et même erreur.

Le seul qui semble fonctionner de prime abord c'est --gres=gpu:2g:10gb:1 mais quand je regarde le job avec squeue je vois :
52174530 gpu c404b386 fbernard PD 0:00 1 (ReqNodeNotAvail, May be reserved for other job)

J'imagine donc qu'il ne va jamais démarrer.

Pourriez vous me dire s'il y a un soucis sur les noeuds gpu et/ou si ça vient de moi ?

Merci par avance.

2

Bonjour,

Les noeuds GPU ont dû être réservé jusqu'au 24 au soir, et ne sont donc pas disponibles immédiatement (d'où le Requested node configuration is not available).
Dès que les noeuds seront a nouveau disponibles (le 24 en soirée), les jobs partiront.

Désolé pour ce désagrément :confused:

3

D'accord, pas de soucis, je vous remercie pour la réponse.
Bonne journée

4

Bonjour, il me semble que j'ai le problème ce jour. Est ce normal?

5

Bonjour,

Les jobs tournent sur les noeuds GPU.

Il semble que ce soit votre script ou les paramètre de votre script qui échouent (FAILED, code erreur 1).

Bonne journée