Bonjour,
pourrais-je utiliser temporairement bigmem pour le projet sordanlr s'il vous plait ?
en effet j'essaie depuis plusieurs jours d'utiliser exonerate mais mes jobs plantent sans arrêt pour des problèmes (semble-t-il) de mémoire.
En vous remerciant,
Cordialement,
Lucas Bonometti
Bonjour,
Vous avez maintenant accès à la partition bigmem pour le projet sordanlr.
Pensez à le demander explicitement lors de la soumission de job (--partition bigmem).
Bonne fin de journée
Hello,
I would like to have access to the bigmem partition with my project "Analysis of Coffea Genomes using Deep Neural Networks". Could I be included?
Thank you!!
Have a nice day
Hello,
Please, before, could you try to use all memory from the standard nodes ("250G") ?
Most of the time, it's sufficient.
Bonjour,
je n'ai a priori plus besoin de bigmem avant un moment. Si vous le souhaitez, vous pouvez donc retirer mon accès.
Cordialement,
Lucas Bonometti
Bonjour,
pourrais-je utiliser temporairement bigmem pour le projet c_butyricum_clinical_isolates s'il vous plait ?
En vous remerciant.
Bien cordialement,
Bonjour @vmesaschein
Vous avez maintenant accès à bigmem pour ce projet.
Toutefois, avec l'arrivée de nouveau noeud (Cluster description - IFB Core Cluster Documentation) et leur 2Go RAM, tout utilisateur du cluster peut demander jusqu'à 1500G pour un job (sans autorisation particulière, SLURM at {{ platform.name }} - IFB Core Cluster Documentation).
Bonjour,
J'essaie d'utiliser exonerate depuis plusieurs semaines maintenant, mais je dois le relancer continuellement car il s'interrompt à chaque fois pour des problèmes de mémoire en ne terminant qu'un faible nombre de job (j'en ai 240 jobs en tout et à force de relancer je ne suis qu'à 108 terminés...). J'ai essayé avec 250 GB de mémoire et ça plante rapidement, puis avec 1500 Gb pour un job (mais c'est très long car j'ai 140 jobs pour un node à faire et ça finit par planter). Serait-il possible d'avoir accès à big-mem pour le projet coralgenome?
Exemple de message d'erreur:
GLib:ERROR:../glib/gtree.c:540:g_tree_insert_internal: assertion failed: (!bparent || bparent->left == node || bparent->right == node)
/var/spool/slurm/slurmd/job42399314/slurm_script: line 9: 361774 Aborted exonerate --model est2genome --percent 80 --showtargetgff -q BD_corallines_noDup.fasta -t $1 -c 28 > $2
Je pense que bigmem ne vous aidera pas.
Pour avoir essayé et avoir eu des problèmes similaires, je pense que c'est le mode multi-threads de exonerate qui est buggé. Pour des jobs identiques, il plante certaines fois, et d'autres pas. Et en bigmem, j'avais essayé avec des quantités de mémoire disproportionnées par rapport à la tâche à exécuter. Avec deux coeurs ça plantait là où avec un seul coeur et une quantité de mémoire beaucoup plus faible, non.
Je vous suggère plutôt, si vous le pouvez, de découper vos tâches en plusieurs jobs de 1 coeur (par ex. en divisant un jeu de séquences et plusieurs sous-jeux).
Bon courage !
Merci de votre réponse!
Alors je ne sais pas si cela est possible, je vous explique plus en détails mon problème : j'utilise exonerate pour mapper des génomes assemblés (240 qui correspondent aux 240 jobs) sur une base de données constitués de plusieurs séquences comprenant plusieurs versions de différents gènes mito et chloro. Dans mon cas je ne vois pas comme fragmenter les génomes?
Merci @bonospora pour ces infos !
@cmaridakis je doute également que le problème vienne de la mémoire. Lorsque qu'on regarde les jobs qui se sont bien terminés (ou ceux qui ont échoués), l'usage de la mémoire est très faible (https://ifb-elixirfr.gitlab.io/cluster/doc/slurm/slurm_efficiency/#post-mortem-analysis). De plus l'erreur n'indique pas de problème mémoire ("out of memory" ou autre).
A noter que par défaut, même sans bigmem, vous pouvez demander jusqu'à 1500Go de mémoire (https://ifb-elixirfr.gitlab.io/cluster/doc/slurm/slurm_at/)
peut-être par chromosome ?
Ou alors diviser la base de données ?
Merci! Sauf que mes génomes ne sont pas subdivisés (génomes organellaires de mitochondrie et chloroplaste). Il ne me reste plus qu'à essayer de couper ma base de données... Pensez-vous qu'en réduisant le nombre de job cela puisse change qq chose?
en subdivisant la base de données, vous pourrez avoir plus de jobs, mais qui devraient tourner moins longtemps chacun
ce n'est pas une solution idéale, mais ça devrait permettre de faire tourner l'analyse en un temps relativement court
après, si vos génomes sont déjà plutôt petits (ce dont j'ai l'impression) et votre base de données pas trop grande non plus, peut-être qu'en faisant tourner sur un seul coeur chaque génome sur la base de données entière, votre analyse pourrait se faire en un temps raisonnable
Je vais essayer la deuxième option dans un premier temps, un seul coeur et du coup 250 GB (puisque la mémoire ne semble pas limitante). Je vous tiens informé! Merci beaucoup de votre aide!
Effectivement ma base de donnée comporte 12000 séquences mais de 1000 pb en moyenne.
Bonjour,
Je reviens après quelque temps. Je confirme bien que le bug d'exonerate peut être éviter en faisant tourner en un seul coeur. Les analyses ne s'arrêtent pas et la majorité des jobs se terminent! Merci pour tout!