Demande accès à la partition bigmem

IFB Core Cluster Gestion de comptes et de projets
1

Bonjour,
J'aurais besoin d'accéder à la partition bigmem pour terminer une analyse qui utilise un snakefile. J'ai essayé en mettant --mem=250G mais cela n'a pas fonctionné.

Je vous remercie,
Thomas K.

2

Bonjour Thomas,

A priori ce n'est pas un problème de mémoire (sinon on obtient une erreur "Out Of Memory").
Une fois le jobs terminé, vous pouvez d'ailleurs contrôler les ressources utilisées avec l'outil seff.
Dans votre cas, on voit que l'outil n'a pas fonctionné (quasiment pas de CPU utilisé, ni de mémoire) et s'est terminé avec une erreur ("exit code 1").
Il faut donc analyser l'erreur (voir les logs notamment) et retenter.

Faites-nous signe si besoin

3

Hello @dbenaben
en fait, avec @tkaczmarek on essaie de lancer KMC3 en utilisant un container singularity
on s'est mis sur le node 44 et reservé un peu de mem (--mem 30G et 18 coeurs)
puis lancé le singularity et les commandes suivantes depuis ce dossier /shared/ifbstor1/projects/fonio_rawdata/results/first_dataset_VCF/ikiss/FONIO/ikiss_OUTPUT/LOGS/1.KMERS_MODULE/IfDlon12/

[tkaczmarek@cpu-node-44 IfDlon12]$ singularity shell /shared/ifbstor1/home/tkaczmarek/.local/lib/python3.9/site-packages/ikiss/containers/Singularity.ikiss_tools.sif
Singularity> kmc_v3 -t18 -k31 -ci2 @IfDlon12_files.txt IfDlon12_kmc3_canon ./ 1> /shared/ifbstor1/projects/fonio_rawdata/results/first_dataset_VCF/ikiss/FONIO/ikiss_OUTPUT/LOGS/1.KMERS_MODULE/IfDlon12/IfDlon12_KMERS_MODULE.e 2> /shared/ifbstor1/projects/fonio_rawdata/results/first_dataset_VCF/ikiss/FONIO/ikiss_OUTPUT/LOGS/1.KMERS_MODULE/IfDlon12/IfDlon12_KMERS_MODULE.o
Segmentation fault (core dumped)

on a un probleme de core dumper :S

4

Oui, ca corresponds bien. Un Segmentation fault (core dumped) ne vient pas, à priori, d'un manque de mémoire. Cela peut être une erreur de programmation, un problème dans les fichiers d'entrées, un problème dans les paramètres...
Cela fait partie des erreurs assez compliqué à analyser.

A préalable p'têtre tester avec un jeu de test, votre jeu de données mais raccourci, etc.

Est-ce qu'il s'agit de ce logiciel : GitHub - refresh-bio/KMC: Fast and frugal disk based k-mer counter ?
Si c'est le cas, vous pouvez p'têtre tester en utilisant directement le binaire:

wget https://github.com/refresh-bio/KMC/releases/download/v3.2.2/KMC3.2.2.linux.x64.tar.gz
tar -xzvf KMC3.2.2.linux.x64.tar.gz 
./bin/kmc
5

ok, on a trouvé le problème. On a un fichier des reads corrompu, surement après un mauvais transfert :shushing_face:.
Merci pour le soutien!
Julie

1 « J'aime »
6

Ca marche. Merci pour le retour.

Bonne continuation