Accès partition bigmem gros assemblages

IFB Core Cluster
1

Bonjour,

Je souhaite utiliser la partition bigmem pour faire plusieurs assemblages (avec de préférence metaspades). J'ai testé en demandant 250GB et 50 threads mais ça ne marche pas et c'est normal . Pour chaque assemblage j'ai entre 600 millions de reads et 2 milliards de reads .... donc pour l' assemblage le "plus petit" d'environ 600 millions de reads je devrais avoir besoin entre 500 et 600GB de RAM et pour le plus lourds avec 2 milliards de reads j'estime que j'ai besoin de 2000 GB de RAM. Bien sur je vais les faire 1 par 1 ou max 2 à la fois car les ressources en RAM sont énormes.

2

Bonjour,

J'ai peur de mal interpreter mais je ne vois pas de jobs en erreurs à cause de la mémoire.
Les jobs ne semble pas utiliser toute la mémoire mais semble se terminer avec le code erreur 12:

task 0 (18514) exited with exit code 12.
task/cgroup: _oom_event_monitor: No oom events detected.

Quelle est l'erreur rencontrée ?

3

J'ai relancé un script mais ça ne vas pas marcher avec 250 GB de mémoire c'est trop peu. Je devrais avoir l'erreur au bout de 8 heures. Voici quelques infos du script:

#SBATCH --mem 250GB
#SBATCH --cpus-per-task=50

module load spades/

nom_analyse=$1

assembly_dir=$nom_analyse/3_assembly

spades.py --meta --phred-offset 33 -t $SLURM_CPUS_PER_TASK -o $assembly_dir/CAP20 -k auto --dataset $assembly_dir/CAP20/list.yaml

Vers la fin du log d'un test précédent j'ai eu cette erreur par exemple:
Reason: Cannot allocate memory. Error code: 12

4

OK, l'erreur est explicite... je comprends mieux.
Merci pour le retour.

Vous avez maintenant accès à la partition bigmem.
Pensez à le demander explicitement lors de la soumission de job (--partition bigmem).

5

Merci. Je vous tiens au courant dès que je n'ai plus besoin de cette partition.