Bonjour,
Est-il possible d'avoir accès à la partition bigmem SVP ? Trop de data, ça core-dump sur les "smallmem"... Ce sera pour des calculs assez courts (plus en minutes qu'en heures), et pas avec bcp de cpu (1-4).
Merci !
Amicalement,
Pascal
Bonjour Pascal,
J'ai pas l'impression que ce soit un problème de quantité de mémoire disponible.
Les deniers jobs semblent plafonner à 25Go sur les 96Go demandés.
L'erreur renvoyé par slurm n'indique pas non plus de dépassement mémoire: Killed by signal 6 (core dumped) avec (No oom events detected).
Je penche donc pour un autre problème.
Est- il possible de vérifier sur un autre jeu de données (ou sur un set bcp plus petit) ?
Ou bien simplement en demandant 250Go de mémoire (la quantité max de mémoire sur les noeuds standards) ?
Bonjour David, et merci d'avoir investigué !
J'ai refait des tests et je confirme qu'en effet ça n'est pas lié à la RAM. Je n'arrive pas vraiment à cerner le soucis, j'ai l'impression que le calcul se fait mais que ça core dump au moment d'écrire les résultats sur le disque. Les runs sont tous identiques sur les inputs, ceux qui semblent planter sont ceux paramétrés pour renvoyer un grand nombre de résultats (au lieu de tronquer la liste des hits).
Dans tous les cas je pense avoir l'essentiel de résultats dont j'ai besoin, je ne vais pas aller plus loin sur ce calcul.
Amicalement,
Pascal
1 « J'aime »