This job was terminated because it used more memory than it was allocated

MVarret · Octobre 16, 2020, 8:15

Bonjour,
Je débute sur Galaxy et ne pense pas que mes questions intéressent toute la communauté à ce stade.
J'ai chargé un fichier CRAM de 15 Mo et un fichier FASTA de 3 Mo pour la séquence de référence, et je souhaite convertir ce fichier CRAM en BAM pour ensuite faire un VCF avec le plus d'annotations possibles. In fine j'aurai 5 fichier VCF à comparer.
J'ai le message d'erreur suivant: tool error, This job was terminated because it used more memory than it was allocated. Je ne comprends pas car je n'utilise que 16% des 100 Mo qui me sont attribués.
Un grand merci pour votre aide,
Mathilde

gildaslecorguille · Octobre 16, 2020, 9:32

Bonjour @MVarret,
Cette question est interessante pour la communinauté
Car c'est un problème classique et un autre utilisateur peut trouver intéressant nos futurs échanges.

Signifie que le job a consommé plus de RAM que ce que nous lui avons autorisé à utiliser. Nous ne parlons pas de quota d'usage disque que consomme votre historique.

Pouvez-vous me donner le nom de l'outil en question ?
Je pourrais ainsi lui autoriser plus de mémoire.

MVarret · Octobre 16, 2020, 9:58

Merci, je veux bien partager cette discussion alors, mais ne suis pas très à l'aide avec l'outils de communication!
L'outil est Samtools view .

gildaslecorguille · Octobre 16, 2020, 10:02

MVarret · Octobre 16, 2020, 11:40

Avec le message d'erreur il y a une note : "The job creating this dataset has been resubmitted."
Est-ce que ça veut dire que le job a été remis en file d'attente?
Dois-je relancer?
MERCI

gildaslecorguille · Octobre 16, 2020, 12:19

C'est en cours de déploiement.
Samtools view pourra re-soumettre avec 10GB de RAM contre 3GB actuellement.

gildaslecorguille · Octobre 16, 2020, 1:55

Ca devrait être bon désormais.
Bonne continuation

(Merci @nc-support pour le support)

MVarret · Octobre 16, 2020, 2:21

MERCI, j'ai relancé le job ...
Bon WE

MVarret · Octobre 19, 2020, 8:16

Le problème persiste: tool error, This job was terminated because it used more memory than it was allocated, dans la fenêtre history.
Et quand je vais sur "View data" il est indiqué:
Could not display BAM file, error was:
file has no sequences defined (mode='rb') - is it SAM/BAM format? Consider opening with check_sq=False

gildaslecorguille · Octobre 19, 2020, 9:08

Pouvez-vous me donner le Job API ID indiqué quand vous cliquez sur le i au niveau de votre dataset ?

MVarret · Octobre 19, 2020, 10:52

bb02dd51a7365f93

gildaslecorguille · Octobre 20, 2020, 9:16

Je suis désolé mais finalement, pouvez partager votre historique avec moi lecorguille@sb-roscoff.fr ?
Merci d'avance

MVarret · Octobre 20, 2020, 10:04

Voilà qui est fait.
Merci de votre aide

gildaslecorguille · Octobre 21, 2020, 7:33

En effet, le job a dépassé les 10GB.
Je vais doubler la mise pour qu'il puisse ressoumettre si il dépasse 10GB avec 20GB.

MVarret · Octobre 21, 2020, 7:57

Merci, désolée mes fichiers sont gros car ce sont des WGS!
Je vais lancer un nouveau job.

gildaslecorguille · Octobre 21, 2020, 11:51

Vous pouvez retenter.
Par contre, ça peut être un peu plus long. Galaxy va d'abord tenter avec 2GB, puis 10GB et enfin 20GB.

MVarret · Octobre 23, 2020, 9:14

Désolée, mais ça n'a pas fonctionné:

Dataset Error

An error occurred while running the tool toolshed.g2.bx.psu.edu/repos/iuc/samtools_view/samtools_view/1.9+galaxy1.

Troubleshoot This Error

There are a number of help resources to self diagnose and correct problems. Start here: My job ended with an error. What can I do?

Report This Error

Usually the local Galaxy administrators regularly review errors that occur on the server However, if you would like to provide additional information (such as what you were trying to do when the error occurred) and a contact e-mail address, we will be better able to investigate your problem and get back to you.

Galaxy Tool ID:	toolshed.g2.bx.psu.edu/repos/iuc/samtools_view/samtools_view/1.9+galaxy1
Galaxy Tool Version:	1.9+galaxy1
Tool Version:	None
Tool Standard Output:	stdout
Tool Standard Error:	stderr
Tool Exit Code:	None
History Content API ID:	5014f5213560ae26
Job API ID:	568b394117528d8a
History API ID:	88d6a052d5b989d8
UUID:	07109495-bf9d-438a-9de1-9b53bdf0ca6d

gildaslecorguille · Octobre 26, 2020, 11:20

C'est noté, je regarde ça.

gildaslecorguille · Octobre 26, 2020, 3:46

@team.dnaseq, c'est normal pour vous, une consommation en RAM > 20Gb pour samtools view

       JobID    JobName            User  Partition  ReqCPUS     ReqMem      State               Start                 End    CPUTime  MaxVMSize
------------ ---------- --------------- ---------- -------- ---------- ---------- ------------------- ------------------- ---------- ----------
13521191     g269020_s+          galaxy       fast        5    20000Mn CANCELLED+ 2020-10-26T15:36:52 2020-10-26T16:36:22   04:57:30
13521191.ba+      batch                                   5    20000Mn  CANCELLED 2020-10-26T15:36:52 2020-10-26T16:36:22   04:57:30  83702156K

On dirait même que 80GB ne suffirait pas.

MVarret · Octobre 26, 2020, 4:29

Quelle est la solution?
Ces fichiers CRAM sont très gros car issus de WGS, si Galaxy arrive quand même à en faire des fichiers BAM, pourrais-je ensuite les annoter en VCF?
Sinon que faire?
MERCI