Bonjour,
Je cherche a lancer un job assez gourmand en mémoire et malgré les performances que je demande :
cpus-per-task: "28"
N: "1"
time : "24:00:00"
partition : "long"
mem : "256000"
Je dépasse la limite de mémoire (avant d'atteindre les 256 000) :
slurmstepd: error: Job 4316451 exceeded memory limit (68764796 > 57344000), being killed
slurmstepd: error: *** JOB 4316451 ON cpu-node-16 CANCELLED AT 2020-01-17T15:41:33 ***
slurmstepd: error: Exceeded job memory limit
Que me conseillez vous pour eviter ça ?
Merci d'avance !
Adrien
Bonjour @AdrienM,
Peux-tu nous donner les premières lignes de paramètres pour Slurm de ton script avec les instructions #SBATCH ou ta ligne de commande sbatch ?
Nous pensons que ta réservation de mémoire n'est pas pris en compte par Slurm.
Bonjour,
Ce job est lancé par un snakemake :
snakemake -j 7
-ps /shared/projects/scRNA_HSPC_Aging/sinCellHSPCAging_herault_all/Snakefile_final.py
--configfile /shared/projects/scRNA_HSPC_Aging/sinCellHSPCAging_herault_all/config/single_cell_snakemake_final.yml
--use-conda
--cluster-config /shared/projects/scRNA_HSPC_Aging/sinCellHSPCAging_herault_all/config/cluster.yml
--cluster "sbatch -A {cluster.account}
-p {cluster.partition}
-N {cluster.N}
-t {cluster.time}
--job-name {cluster.name}
--cpus-per-task {cluster.cpus-per-task}
--output {cluster.output}
--error {cluster.error}"
Et voici les options pour cette règle en particulier :
ordering_from_seurat3Integrated_results_all:
cpus-per-task: "28"
N: "1"
time : "24:00:00"
name: "{rule}"
partition : "long"
account : "scRNA_HSPC_Aging"
mem : "256000"
output : "/shared/projects/scRNA_HSPC_Aging/sinCellHSPCAging_herault_all/cluster/snakemake/{rule}.output"
error : "/shared/projects/scRNA_HSPC_Aging/sinCellHSPCAging_herault_all/cluster/snakemake/{rule}.error"
Nous pensons que ta réservation de mémoire n'est pas pris en compte par Slurm.
En regardant ma commande snakemake je viens de me rendre compte que je ne faisais aucun appel au paramètre "mem"
J'ai donc rajouté la ligne --mem {cluster.mem}.
J'imagine que le problème viens de la ?
Bonjour Adrien,
En regardant ma commande snakemake je viens de me rendre compte que je ne faisais aucun appel au paramètre "mem"
J'ai donc rajouté la ligne --mem {cluster.mem}.
J'imagine que le problème viens de la ?
Oui tout a fait, nous pensons aussi.
N'hésitez pas à revenir vers nous si ce n'était pas le cas.
Bonne journée