W4M xcms retcor :This job was terminated because it used more memory than it was allocated

Bonjour,

Sur la base des caractéristiques des données de @Ludovic, j'ai fait quelques tests pour essayer d'estimer comme je peux les besoins en mémoire pour xcms_merge pour son projet (qui suite à un correctif doit d'ores et déjà pouvoir passer), mais aussi pour la suite du workflow XCMS en anticipation. J'ai aussi essayé d'estimer, en partant du principe de données aux caractéristiques similaires, les besoins que pourrait nécessiter le passage du projet à 2000 échantillons (là aussi pour anticiper). Ce ne sont que des estimations (sous forme de range de valeurs), mais c'est déjà un début :

Outils Estimation besoin projet actuel (~1000ech) Estimation projet à venir (~2000ech)
xcms_merge entre 16 et 21 GB entre 30 et 41 GB
xcms_group entre 11 et 13 GB entre 17 et 20 GB
xcms_retcor entre 10 et 14 GB entre 18 et 20 GB
xcms_fillpeaks entre 10 et 21 GB entre 10 et 31 GB
camera_annotate entre 7 et 12 GB entre 7 et 15 GB

Avec les caractéristiques actuelles et le système de relance à 1.5, normalement le projet de 1000 devrait pouvoir passer à l'exception de group qui risque d'être à peine juste à la relance.

Pour la perspective du projet de 2000, si la relance à 2 n'est pas dispo, ça risque d'être juste pour merge. Pour group, de fait ça ne passera pas. Pour les autres normalement, avec ce projet-là ça doit passer.

Du coup ma recommandation serait d'augmenter au moins group, et éventuellement merge encore en fonction des perspectives pour la relance à 2. J'espère que ces estimations vous aideront pour ajuster les quotas au mieux :slightly_smiling:

1 « J'aime »

Bonjour,

Merci beaucoup pour votre aide ! J'ai relancé le merge pour confirmer la résolution de ce problème.
La capacité mémoire des autres outils a-t-elle été augmentée suite à vos recommandations ?

Cordialement

Bonjour,

Le xset.merged.RData est passé avec les modifications effectuées. J'ai tenté de lancer la totalité du workflow pour voir s'il était possible de traiter l'ensemble : plantage pour problème mémoire à l'étape suivante (voir capture)

Comme prévu par @melpetera , l'outil group semble poser problème.

Cordialement

Ping @team.galaxy, est-ce que l'un d'entre vous peux vérifier qu'on est bon sur les conf actuelles pour ces outils ?

Bonjour,

Avez-vous des nouvelles à nous apporter concernant la modification des outils ? Pouvons-nous de nouveau travailler avec des grosses cohortes d'échantillons (+1000) ?

Merci beaucoup

Cordialement

Bonjour,

@team.galaxy , je vous confirme que l'outil xcms_group dysfonctionne toujours pour les grosses cohortes d'échantillons.
Nous allons avoir une nouvelle cohorte de 1000 échantillons dont nous aurons les données au mois de mars. Pouvez-vous faire le nécessaire afin que nous puissions les traiter ?

Merci d'avance

Cordialement