Bonjour,
J'ai essayé de lancer un job mais il m'a donné (out_of_memory)(avec une précision de mémoire et sans précision de mémoire) alors que quand je fais (lfs quota -h -p 100290 /shared/home/zrammal) il me donne que le limit est 150 GB et que j'ai utilisé 15.58GB, donc dans ce cas, est ce que je pourrais demander plus de mémoire?
Je sais que j'avais quelques jobs qui ont été surdimensionné, je résoudre cette problème.
Merci en avance.
Zeinab
Bonjour @zrammal, est-ce que vous avez bien utilisé l'option --mem=xxxxx pour votre job ? Est-ce que vous pouvez partager les instructions slurm de fichier sbatch (qui commencent par #SBATCH) ou la commande que vous lancez ?
oui j'ai précisez les slurms options qu'il me faut, c'est un script pour tester la ligne de commande sur un seul file afin que je puisse faire un loop après.
#!/bin/bash
################################ Slurm options #################################
### Limit run time "hours:minutes:seconds" (default: 365 days)
#SBATCH --time=4:00:00
#SBATCH -A betacat_chipseq
#SBATCH --nodes=1
#SBATCH --ntasks-per-node=1
#SBATCH --mem-per-cpu=30GB
################################################################################
# testing bedtools for one sample
bedtools intersect -wo -f 0.3 -r -abam Si_B-Catenin_Mut_S3_Invi_71-2700_sorted_rmdup.bam -b Si_B-Catenin_HepG2_S3_Invi_71-2700_sorted_rmdup.bam -bed > Si_B-Catenin_S3_Invi_blacklist.bed
"GB" n'est pas une unité de mémoire reconnue par slurm, essayez avec --mem-per-cpu=30G, c'est probable que l'erreur OOM vienne de la.
j'ai fais ça et pareille il n'a pas fonctionné. ça ce qu'il a donné
(/var/spool/slurm/slurmd/job38711554/slurm_script: line 13: 46848 Killed bedtools intersect -wo -f 0.3 -r -abam Si_B-Catenin_Mut_S3_Invi_71-2700_sorted_rmdup.bam -b Si_B-Catenin_HepG2_S3_Invi_71-2700_sorted_rmdup.bam -bed > Si_B-Catenin_S3_Invi_blacklist.bed
slurmstepd: error: Detected 1 oom-kill event(s) in StepId=38711554.batch. Some of your processes may have been killed by the cgroup out-of-memory handler.)
Bonjour @zrammal
Il faut demandé plus de mémoire. Votre traitement a besoin de plus de 30G (il échoue donc avec une erreur "Out of memory" par manque de mémoire disponible pour ce job).
Attention, on parle ici de mémoire vive (RAM) pas de stockage (/shared/home/zrammal).
Essayez par exemple en doublant la mémoire: --mem=60G
en fait, il a marché sur un autre script mais quand je veux utiliser le script avec bedtools intersect et --mem=60G il donne toujours le meme erreur.
@zrammal il existe apparemment l'option -sorted qui permettrait de réduire la mémoire nécessaire, est-ce que vous pouvez essayer avec ca ?