OUT_OF_MEMORY: 2000M de RAM alloués à mon job alors que je précise 16Gb lors de l'utilisation de RSEM

Bonjour,

j'essaie d'utiliser l'outil RSEM version 1.3.2 sur le cluster de l'IFB. À chaque fois que je lance ce script, où je précise 16 Go de RAM, mon job est tué à cause de la mémoire insuffisante:

#!/bin/bash 

export LC_ALL=C
export LANG=C

#SBATCH --partition=fast
#SBATCH --ntasks=1
#SBATCH --nodes=1
#SBATCH --cpus-per-task=10
#SBATCH --mem=16GB
#SBATCH --time=12:00:00
#SBATCH --output=/shared/projects/transcriptome_gorgones/gorpol/data/g_index-%j.out
#SBATCH --job-name=g_quant_rsem
#SBATCH --mail-type END
#SBATCH --mail-user mohamed-abderrahmane.HALLAL@etu.univ-amu.fr

module load rsem/1.3.2
module load bowtie2/2.5.1
module load samtools/1.18

mkdir lib
cd lib
ln -s /shared/ifbstor1/software/miniconda/envs/samtools-1.13/lib/libcrypto.so libcrypto.so.1.0.0
export LD_LIBRARY_PATH=$(pwd) 
samtools --version
cd ..
rsem-calculate-expression /shared/projects/transcriptome_gorgones/gorpol/data/ECC1-DC1_S1_merged_R1.fastq /shared/projects/transcriptome_gorgones/gorpol/data/gorpol_index /shared/projects/transcriptome_gorgones/gorpol/data/gorpol_quant_rsem --bowtie2 -p 10

Lorsque je vérifie avec sacct, je constate qu'en réalité, seulement 2000 Mo de mémoire ont été alloués au job :

38691109     rsem_quan+         mhallal       fast        1      2000M OUT_OF_ME+ 2024-04-03T10:26:12 2024-04-03T10:38:41   00:12:29   00:12:29            
38691109.ba+      batch                                   1            OUT_OF_ME+ 2024-04-03T10:26:12 2024-04-03T10:38:41   00:12:29   00:12:29   1800640K

Et voila ce que seff donne:

$ seff 38691109
Use of uninitialized value $FindBin::Bin in concatenation (.) or string at /usr/local/bin/seff line 11.
Name "FindBin::Bin" used only once: possible typo at /usr/local/bin/seff line 11, <DATA> line 604.
Job ID: 38691109
Cluster: core
User/Group: mhallal/mhallal
State: OUT_OF_MEMORY (exit code 0)
Cores: 1
CPU Utilized: 00:12:25
CPU Efficiency: 99.47% of 00:12:29 core-walltime
Job Wall-clock time: 00:12:29
Memory Utilized: 1.72 GB
Memory Efficiency: 87.92% of 1.95 GB

Est ce qu'il y a quelqu'un qui peut me guider sur comment résoudre ce probléme s'il vous plait?

Cordialement,
Mohamed.

Bonjour Mohamed,

Les directives #SBATCH <..> doivent absolument être en début de script, avant toutes commandes, pour être prisent en compte.

Il faut donc de placer vos commandes export <...> juste après les #SBATCH.

https://slurm.schedmd.com/sbatch.html#SECTION_DESCRIPTION

The batch script may contain options preceded with "#SBATCH" before any executable commands in the script. sbatch will stop processing further #SBATCH directives once the first non-comment non-whitespace line has been reached in the script.

Bonne journée

1 « J'aime »

Ah oui, effectivement, c'est moi qui ai fait la bêtise. Merci beaucoup pour votre retour.

Bonne journée à vous également.
Cordialement,
Mohamed.