Bonjour
J'ai des data brutes très volumineuses (Fastq.gz de 120Go x4) à traiter et pour lesquelles j'ai demandé un espace de stockage temporaire de 2To.
Cependant, le traitement et les tests de ces données sont très chronophages, malgré 10 threads
Afin de finaliser ces étapes et de libérer de l'espace, serait-il possible d'avoir un accès bigmem temporaire aussi ?
En vous remerciant d'avance
Cordialement
Thibaut
Bonjour Thibault,
De nouveaux noeuds ont été intégrés au cluster depuis peu (Cluster description - IFB Core Cluster Documentation) permettant de demander jusqu'à 2To de mémoire sur les noeuds standards.
Si ce n'est pas suffisant, nous pourrons vous donner accès à bigmem.
10 threads, ce n'est pas tant que ça. Vous pouvez monté à bien plus si c'est le nombre de threads qui est bloquant. Les noeuds standards acceptent jusqu'à 54 threads, et même 254 threads pour les nouveaux noeuds).
La difficulté est de savoir quel est le goulet d'étranglement: la puissance CPU (nombre de threads), la mémoire (quantité de RAM) ou les I/O (lecture/écriture sur le stockage).
Pour ça, la commande seff <jobid> peut vous aider en vous permettant de savoir, une fois votre job terminé, si vous avez utilisé ou non tous les CPU et la mémoire allouée (c'est d'ailleurs une bonne pratique de vérifier).
Bonne journée