This job was terminated because it used more memory than it was allocated

Bonjour,
Je débute sur Galaxy et ne pense pas que mes questions intéressent toute la communauté à ce stade.
J'ai chargé un fichier CRAM de 15 Mo et un fichier FASTA de 3 Mo pour la séquence de référence, et je souhaite convertir ce fichier CRAM en BAM pour ensuite faire un VCF avec le plus d'annotations possibles. In fine j'aurai 5 fichier VCF à comparer.
J'ai le message d'erreur suivant: tool error, This job was terminated because it used more memory than it was allocated. Je ne comprends pas car je n'utilise que 16% des 100 Mo qui me sont attribués.
Un grand merci pour votre aide,
Mathilde

Bonjour @MVarret,
Cette question est interessante pour la communinauté :slight_smile:
Car c'est un problème classique et un autre utilisateur peut trouver intéressant nos futurs échanges.

Signifie que le job a consommé plus de RAM que ce que nous lui avons autorisé à utiliser. Nous ne parlons pas de quota d'usage disque que consomme votre historique.

Pouvez-vous me donner le nom de l'outil en question ?
Je pourrais ainsi lui autoriser plus de mémoire.

Merci, je veux bien partager cette discussion alors, mais ne suis pas très à l'aide avec l'outils de communication!
L'outil est Samtools view .

Avec le message d'erreur il y a une note : "The job creating this dataset has been resubmitted."
Est-ce que ça veut dire que le job a été remis en file d'attente?
Dois-je relancer?
MERCI

C'est en cours de déploiement.
Samtools view pourra re-soumettre avec 10GB de RAM contre 3GB actuellement.

Ca devrait être bon désormais.
Bonne continuation

(Merci @nc-support pour le support)

MERCI, j'ai relancé le job ...
Bon WE

1 J'aime

Le problème persiste: tool error, This job was terminated because it used more memory than it was allocated, dans la fenêtre history.
Et quand je vais sur "View data" il est indiqué:
Could not display BAM file, error was:
file has no sequences defined (mode='rb') - is it SAM/BAM format? Consider opening with check_sq=False

Pouvez-vous me donner le Job API ID indiqué quand vous cliquez sur le i au niveau de votre dataset ?

bb02dd51a7365f93

Je suis désolé mais finalement, pouvez partager votre historique avec moi lecorguille@sb-roscoff.fr ?
Merci d'avance

Voilà qui est fait.
Merci de votre aide

En effet, le job a dépassé les 10GB.
Je vais doubler la mise pour qu'il puisse ressoumettre si il dépasse 10GB avec 20GB.

Merci, désolée mes fichiers sont gros car ce sont des WGS!
Je vais lancer un nouveau job.

Vous pouvez retenter.
Par contre, ça peut être un peu plus long. Galaxy va d'abord tenter avec 2GB, puis 10GB et enfin 20GB.

Désolée, mais ça n'a pas fonctionné:

Dataset Error

An error occurred while running the tool toolshed.g2.bx.psu.edu/repos/iuc/samtools_view/samtools_view/1.9+galaxy1.

Troubleshoot This Error

There are a number of help resources to self diagnose and correct problems. Start here: My job ended with an error. What can I do?

Report This Error

Usually the local Galaxy administrators regularly review errors that occur on the server However, if you would like to provide additional information (such as what you were trying to do when the error occurred) and a contact e-mail address, we will be better able to investigate your problem and get back to you.

Galaxy Tool ID: toolshed.g2.bx.psu.edu/repos/iuc/samtools_view/samtools_view/1.9+galaxy1
Galaxy Tool Version: 1.9+galaxy1
Tool Version: None
Tool Standard Output: stdout
Tool Standard Error: stderr
Tool Exit Code: None
History Content API ID: 5014f5213560ae26
Job API ID: 568b394117528d8a
History API ID: 88d6a052d5b989d8
UUID: 07109495-bf9d-438a-9de1-9b53bdf0ca6d

C'est noté, je regarde ça.

@team.dnaseq, c'est normal pour vous, une consommation en RAM > 20Gb pour samtools view

       JobID    JobName            User  Partition  ReqCPUS     ReqMem      State               Start                 End    CPUTime  MaxVMSize
------------ ---------- --------------- ---------- -------- ---------- ---------- ------------------- ------------------- ---------- ----------
13521191     g269020_s+          galaxy       fast        5    20000Mn CANCELLED+ 2020-10-26T15:36:52 2020-10-26T16:36:22   04:57:30
13521191.ba+      batch                                   5    20000Mn  CANCELLED 2020-10-26T15:36:52 2020-10-26T16:36:22   04:57:30  83702156K

On dirait même que 80GB ne suffirait pas.

Quelle est la solution?
Ces fichiers CRAM sont très gros car issus de WGS, si Galaxy arrive quand même à en faire des fichiers BAM, pourrais-je ensuite les annoter en VCF?
Sinon que faire?
MERCI