W4M xcms retcor :This job was terminated because it used more memory than it was allocated

Hello,
I wanted to perform the retention time correction on my xset.merged.groupChromPeaks.RData ( build on a list of 107 full scan) but I had those two error messages :
An error occurred while running the tool toolshed.g2.bx.psu.edu/repos/lecorguille/xcms_retcor/abims_xcms_retcor/3.6.1+galaxy1.
and
This job was terminated because it used more memory than it was allocated.
Please click the bug icon to report this problem if you need help.

The job API ID is 6c2aa51cf3051ac4

As the reporting seems to be desactivated for this galaxy instance I wanted to know what are the solutions to this issue.

Thank you a lot for your time and help.

Thomas

Hi @ThomasY,

On our side, we will increase the among of memory that could be used by xcms_retcor.

It should be ok now.
xcms adjustRtime (retcor) can now use 96 GB of RAM. I hope that it will be enough :crossed_fingers:

1 « J'aime »

Bonjour,
Merci pour l’augmentation de la capacité.
J'ai une seconde erreur due cette fois-ci à l'outil CAMERA

" An error occurred while running the tool toolshed.g2.bx.psu.edu/repos/lecorguille/camera_annotate/abims_CAMERA_annotateDiffreport/2.2.6+camera1.46.0-galaxy0."

voici le message obtenu :

This job was terminated because it used more memory than it was allocated.
Please click the bug icon to report this problem if you need help.

Job API ID: 9091d40b7c5cd403

Serait-il possible d'augmenter également la RAM sur l'outil CAMERA ?

Merci beaucoup pour votre aide,

Cordialement,
Thomas YON (Ifremer Nantes)

Ping @team.galaxy :slight_smile:

Je passe annotateDiffreport à 96Go aussi, ça vous va?

1 « J'aime »

Merci ! Je relance le calcul.

@ThomasY désolé pour la confusion mais les modifications de @Lain ne sont actives que depuis quelques minutes.

Bonjour,

Je me permet de m'incruster dans ce sujet afin d'éviter de créer un doublon. Je rencontre le même message d'erreur :

This job was terminated because it used more memory than it was allocated.
Please click the bug icon to report this problem if you need help.

Il plante avec l'outil suivant : An error occurred while running the tool toolshed.g2.bx.psu.edu/repos/lecorguille/xcms_merge/xcms_merge/3.12.0+galaxy0 .

Faut-il également augmenter la RAM alloué pour cet outil ?

Merci d'avance

Cordialement

Bonjour Ludovic

Effectivement votre projet ayant plus de 1000 fichiers je pense qu'une augmentation de la RAM serait une bonne option.
ping @team.galaxy

Bonne journée

Bonjour,

@yguitton merci pour retour.
@team.galaxy , pourrez-vous me faire signe lorsque la modification sera effective ?

Encore merci pour votre aide !

Bonne journée

Bonjour @Ludovic,
Une augmentation de la RAM est en cours.

Faites nous savoir si ça a résolu le problème
Cordialement

Bonjour,

@team.galaxy , j'ai relancé l'outil hier soir mais celui-ci a de nouveau planté avec le même message d'erreur. L'augmentation de la RAM est-elle effective ou dois-je patienter ?
J'ai relancé ce matin.

Merci d'avance

Cordialement

Bonjour @Ludovic,

L'augmentation n'est pas encore effective. On a eu un problème de lors de son déploiement.
On vous ​préviendra quand ce sera résolu.

Bonne journée

Rebonjour @Ludovic

C'est bon.
Dites nous si l'erreur persiste.

Cordialement

Bonjour,

@team.galaxy , l'outil a de nouveau planté avec le même message d'erreur : "This job was terminated because it used more memory than it was allocated."

Merci d'avance pour votre aide

Cordialement

Bonjour,
@Ludovic Serait-il possible que vous partagiez votre historique (à minima nominativement avec moi si jamais les données sont sensibles - melanie.petera[at]inrae.fr) ? Cela me permettrait d'essayer d'évaluer le volume de données en entrée du module. L'étape findChromPeak merger n'est normalement pas une des plus RAM-phage, avoir un aperçu des "quantités" pourrait également aider à anticiper la suite du workflow. J'ai eu l'occasion de faire tourner des analyses à ~1250 échantillons cette année, donc en théorie le nombre d'échantillons en soit ne devrait pas être la limite en soit pour cette étape, mais tout dépend probablement de la quantité d'info qui s’agrège.
Mélanie

Bonjour,

@melpetera Je vous ai partagé mon historique directement via votre adresse mail. Nous avions également lancé des XCMS avec plus de 1000 échantillons et nous arrivions à lancer le Workflow complet.
Début d'année prochaine, nous devrons lancer l'XCMS d'une gosse cohorte avec presque 2000 échantillons. Galaxy pourra-t-il supporter la charge ?

Merci pour votre aide

Cordialement

Bonjour à vous deux, @Ludovic @melpetera ,

Avez-vous pu estimer la quantité de RAM nécessaire pour xcms_merge ?

Cordialement

Bonjour, @gildaslecorguille

Après quelques échanges avec @melpetera , il a été identifié qu'il y a eu des changements de limites de RAM dans les outils XCMS.
Le problème semble à ce jour toujours en cours d'investigation.

Cordialement