Selection account process nextflow

Scientific support Nextflow
,
1

Bonjour,

J'aimerai pouvoir lancer mon pipe nextflow sur un account(projet) spécifique sans changer mon account par défaut.

image
image578×213 5.07 KB

Si, je lance mon projet en faisant un sbatch -A 'pdacallpipe' run_nextflow.sh (ce job est long en partition).
Quand je fais un sacct (voir le screen), j'ai bien ce job 44348714 sur ce projet mais tous les jobs suivants qui sont lancer par mon pipe nextflow sont lancés sur mon projet par défaut qui est 'pdacrna'.

J'ai testé d'ajouter à mon .config nextflow dans executor, un clusterOptions comme suivant :

    name = 'slurm'
    queueSize = 20
    clusterOptions = '-A pdacallpipe'
}

j'ai toujours les process lancés par Nextflow sur mon account par defaut "pdacrna".

Comment je peux attribuer un account spécifique a mes process de mon pipe Nextflow sans changer mon account par défaut ?

Merci, bonne journée.
Camille Pignolet.

2

Bonjour, pouvez-vous partager votre run_nextflow.sh et vos fichiers de configuration?

3

Bonjour,

Je run le nextflow en faisant :

sbatch -A pdacallpipe /shared/projects/pdacallpipe/RNApipeline/runIFBjob.sh /shared/projects/pdacallpipe/RNApipeline/fullPairedEnd.nf /shared/projects/pdacallpipe/RNApipeline/av_pdac_mdn.config /shared/projects/pdacallpipe/RNApipeline/allsamlist.txt

via mon runIFBjob.sh qui est :

#SBATCH --partition=long
#SBATCH --nodes=1
#SBATCH --ntasks-per-node=1
#SBATCH --mem-per-cpu=5GB
#SBATCH -c 1


module load nextflow/24.04.1

ROOTDIR="/shared/projects/pdacrna/"
PROJECTID="exemple"
INPUT_FQ_DIR=$ROOTDIR"/fastq_merged_lanes"
REZ_DIR=$ROOTDIR"/Results/"$PROJECTID"/"
REF="/shared/projects/pdacrna/ensembl_v113_GRCh38"`
nextflow -c $2 run $1 -resume -with-report --sampleInputDir $INPUT_FQ_DIR --ref $REF --outputdir $REZ_DIR --sampleList $3

et mon config nextflow :

process {
      withName: doSTAR{
        cpus = 12
        container = 'genehetx/genehetx-rnaseq:v1.6.0'
        memory = 70.GB
        disk = 500.GB
    }
     withName:fastqc{
        cpus = 4
        container = 'quay.io/biocontainers/fastqc:0.12.1--hdfd78af_0'
        memory = 8.GB
        disk = 200.GB
    }

        errorStrategy = { task.exitStatus==14 ? 'retry' : 'terminate' }
    maxRetries = 2

}
// Enable sigularity here
singularity {
    enabled = true
    singularity.autoMounts = true
    cacheDir = "singularity/"
    path = "/usr/bin/singularity"
}
report.enabled = true

executor {
    name = 'slurm'
    queueSize = 20
    clusterOptions = '-A rnapipe'
}

Le nextflow lance la totalité des process sur mon projet par défaut qui est pdacrna alors que je fais un sbatch -A pdacallpipe.
Seul le job qui lance le nextflow se lance sur le pdacallpipe.

Merci, bonne journée.
Camille Pignolet.