Problème pipe Nextflow killed

IFB Core Cluster
1

Bonjour,

J'essaye de lancer mon pipe Nextflow sur mon projet 'pdacrna' via un sbatch :

#SBATCH --partition=fast
#SBATCH --nodes=1
#SBATCH --ntasks-per-node=1
#SBATCH --mem-per-cpu=5GB
#SBATCH -c 1
#SBATCH -t 24:00:00

Quand je le lance pour 3 échantillons le pipe fonctionne. Quand je lance pour 135 échantillons j'ai une erreur sur mon process doOnlySTARnCount :

"Process doOnlySTARnCount (4) terminated for an unknown reason -- Likely it has been terminated by the external system"

As t -on une limite de consommation de cpu par projet ? par utilisateur ?
merci, bonne journée.
Camille

1 « J'aime »
2

Bonjour Camille,

Un utilisateur peut mobiliser à un instant donné 300 CPU et 1500Go de RAM pour l'ensemble de ses jobs en cours d’exécution.

Chaque job est limité aux ressources correspondant à votre réservation. En l’occurrence, votre script sera limité à 1 CPU et 5Go de RAM. Vous pouvez lancer 300 fois ce job en parallèle avant d'occuper l'ensemble des ressources que vous pouvez mobiliser à un instant donné. Les jobs supplémentaire seront mis en attente dans la fil SLURM jusqu'à ce que un ou plusieurs de vos jobs en cours se terminent.

Êtes-vous sûr que 5 Go de RAM sont suffisantes pour l’exécution de votre process doOnlySTARnCount ?
Utilisez-vous l'executor SLURM de Nextflow ?

3

Merci, pour votre réponse.
Mon process doOnlySTARnCount fonctionne quand je le lance sur un autre projet avec 1CPU et 5Go de RAM.
Dans les config du Nextflow je lui précise

executor {
    name = 'slurm'
    queueSize = 20
}

J'ai donc lancer l'intégralité du pipe sur un autre projet et cela fonctionne.
J'ai également remarqué en faisant sshare -U le projet 'pdacrna' est a 164442777 sec de RawUsage je ne sais pas si c'est ceci le facteur bloquant ?
Merci, bonne journée.