Temps limite partition long

IFB Core Cluster
, ,
1

Bonjour, j'ai une question concernant RStudio Server: Core sur ondemand.

Number of hours est limité à 12 heures même si on choisit la Partition long, est-ce normal ?

Merci !
Alexis

2

Bonjour Alexis,

Oui tout à fait.
Mais il est vrai que cela n'a pas beaucoup de sens de pouvoir sélectionner la partition long dans ce cas.

RStudio / JupyterHUB / etc. sont des applications interactives (pour interagir avec l'utilisateur, visualiser des plots, faire quelques traitements, etc.)
Au-delà d'un calcul de plusieurs heures, il nous semble opportun de basculer sur un usage "batch" via R/RScript.
C'est expliqué ici: Migrate from RStudio 2 R/Rscript

Dites-nous si on loupe qquechose (si ça ne réponds pas à votre besoin).

3

Je comprends ! merci !

Mais j'ai un autre problème avec le sbatch file ci dessous :
#!/bin/bash

#SBATCH -o slurm.%N.%j.out
#SBATCH -e slurm.%N.%j.err

#SBATCH --partition fast
#SBATCH --mem 800GB
#SBATCH --cpus-per-task 200
module load r/4.2.3
Rscript test_script1.R

Avec la partition long j'obtiens Batch job submission failed: Invalid account or account/partition combination specified

Avec la partition fast, ca tourne !

Merci pour votre aide précieuse,
Bien à vous
Alexis

4

[Edit: correction]

200 cœurs est bien atteignable mais dans ce cas c'est une limite qui est atteinte "Max CPU per user" (QOSMaxCpuPerUserLimit).
Ce qui ne me choque pas (pour partager les ressources).
Mais elle devrait être à 300... on revient vers vous pour vous dire.

5

En effet il me semblait dans la doc avoir vu 300 cpu max par utilisateur.. j’attends votre retour !

Est-ce mon fichier sbatch est mal paramètré par ailleurs ?

Merci

6

Bonjour Alexis,

Je viens de refaire un test à tête reposé et ça fonctionne bien même sur la partition long.
Il y a une limite du nombre CPU utilisé simultanément par utilisateur (300) mais si on a pas d'autre job, on peut lancer ce type de job sur la partition long.

Pensez-à bien contrôler l'usage des ressources d'autant que l'on mobilise beaucoup de ressources:
Job information on ended job
How to use resources wisely

Bonne journée