Bonjour,
J'aurais besoin de pouvoir accéder à la partition bigmem pour faire tourner des analyses qui demande beaucoup de RAM
Est t'il possible d'y avoir accès sur le projet annotation_fijiensism2 ?
Merci par avance
Bonjour @thdurand
Les noeuds standards disposent actuellement de 250Go de mémoire.
A préalable, pourriez-vous essayer sur ces noeuds en demandant toute ou partie de la mémoire (--mem=250G).
Si cela suffit, cela permets de bénéficier de plus de noeuds, dans le cas contraire dites-nous qu'on vous ouvre la partition.
Bonjour je viens d'essayer cependant comme je manipule plusieurs dataframes (300) de très grande taille le job ne va pas jusqu'au bout.
J'ai calculé et je vais avoir environ besoin d'environ de 500G pour pas que le job ne s'arrête.
J'aimerai donc pouvoir accéder à la partition bigmem.
Merci d'avance.
Je voudrais être sûr qu'il n'y pas une anomalie, puisque je vois un job réussit ayant consommé 66Go et d'autre annulés ayant consommé entre 3 et 5 Go.
Êtes vous sûr que le problème vient de la mémoire ? Quelle est l'erreur rencontré (cela nous permettrais de mieux comprendre ce qui se passe) ?
Bonjour @dbenaben ,
Effectivement mon job n'avait pas fini de tourner mais je savais qu'il allait planter.
Il a traité 138/266 dataframes avant d'être en out of memory : Vous pouvez verifier avec un seff de ce Jobid : 26218038
Il me faudrait donc a peu près le double de mémoire c'est pour cela que j'aurai besoin de bigmem
Merci d'avance.
Bonjour,
Merci pour ce retour et désolé pour toutes ces précautions.
Vous avez maintenant accès à la partition bigmem pour le projet annotation_fijiensism2.
Pensez à le demander explicitement lors de la soumission de job (--partition bigmem).
Bonne journée