Cat: erreur d'écriture: Ne peut allouer de la mémoire

Bonjour,
j'ai une erreur en écriture et je sais pas trop d'où ça vient. A priori il y a de la place dans le projet. Est-ce que ça vient de la RAM ou du fait que j'ai trop de jobs en parallèle qui écrivent au même endroit?

Je vous mets la sortie de snakemake:

Building DAG of jobs...
Using shell: /usr/bin/bash
Provided cores: 1 (use --cores to define parallelism)
Rules claiming more threads will be scaled down.
Job counts:
	count	jobs
	1	mergeGTF
	1

[Thu Jul 29 12:38:29 2021]
rule mergeGTF:
    input: /shared/projects/bi4edc/mm39/gencode.vM27.annotation.gtf
    output: /shared/projects/repeats/RASflow_IFB/results/Dnmt1/mapping_HISAT2/repeats_featureCounts/merge_genes_te.gtf, /shared/projects/repeats/RASflow_IFB/results/Dnmt1/mapping_HISAT2/repeats_featureCountsNgenes.txt
    jobid: 0

cat: erreur d'écriture: Ne peut allouer de la mémoire
[Thu Jul 29 12:38:42 2021]
Error in rule mergeGTF:
    jobid: 0
    output: /shared/projects/repeats/RASflow_IFB/results/Dnmt1/mapping_HISAT2/repeats_featureCounts/merge_genes_te.gtf, /shared/projects/repeats/RASflow_IFB/results/Dnmt1/mapping_HISAT2/repeats_featureCountsNgenes.txt
    shell:
        
                mkdir -p /shared/projects/repeats/RASflow_IFB/results/Dnmt1/mapping_HISAT2/repeats_featureCounts
                cat /shared/projects/bi4edc/mm39/gencode.vM27.annotation.gtf /shared/projects/bi4edc/mm39/mm39_TE_rmsk.gtf > /shared/projects/repeats/RASflow_IFB/results/Dnmt1/mapping_HISAT2/repeats_featureCounts/merge_genes_te.gtf
                awk  '$3=="gene"' /shared/projects/bi4edc/mm39/gencode.vM27.annotation.gtf | wc -l > /shared/projects/repeats/RASflow_IFB/results/Dnmt1/mapping_HISAT2/repeats_featureCountsNgenes.txt
                
        (one of the commands exited with non-zero exit code; note that snakemake uses bash strict mode!)

Removing output files of failed job mergeGTF since they might be corrupted:
/shared/projects/repeats/RASflow_IFB/results/Dnmt1/mapping_HISAT2/repeats_featureCounts/merge_genes_te.gtf
Shutting down, this might take some time.
Exiting because a job execution failed. Look above for error message

Merci de votre aide!

Magali

Bonjour Magali,

L'erreur semble bien indiquer un problème de RAM mais je trouve ça étonnant et n'arrive pas à reproduire le problème.

Il existe une limite sur le nombre max de fichiers que l'on peut créer dans les espaces projets. Actuellement vous n'avez pas atteint cette limite mais peut-être que lors des traitements cela a été le cas ? Pour visualiser cette limite:

lfs quota -h -p 161017 /shared/projects/repeats

Nombre de fichier actuel: 834329, limite: 1000000

Peut-être que d'autres personnes auront des pistes/idées.