Snakemake 8 et snakemake-executor-plugin-slurm

IFB Core Cluster Demande de logiciel ou de banque de données
,
1

Bonjour @team.software,

Merci d'avoir ajouté snakemake/8.0.1 aux modules !

Cette version de snakemake introduit un breaking change quant à la façon de lancer des jobs (execution backends, voir le guide de migration):

  • jadis, on utilisait "cluster" (exemple)
  • récemment, on utilisait "drmaa" et le module "slurm-drmaa"
  • et maintenant (snakemake 8.0) la communication avec le back-end est censée passer par des plugins dédiés, notamment le plugin snakemake-executor-plugin-slurm qui nous concerne car dédié à SLURM.

Serait-il possible d'ajouter ce plugin au module snakemake >=8 ?

Merci !

1 « J'aime »
2

WIP :

3

Ca devrait être bon :slight_smile:

1 « J'aime »
4

Notre pour plus tard.

Si ce plugin venait à ne pas être intégré aux prochaines releases de Snakemake, n'hésitez pas à le réclamer à l'équipe support.

5

Bonjour,

Je confirme que le plugin fonctionne bien avec snakemake/8.0.1 :tada: . Merci !

Pour info, et au cas où ça peut aider quelqu'un, avec ce plugin et snakemake 8+ mon fichier profile/config.yaml ressemble à ça:

executor: "slurm"
default-resources:
  slurm_account: "username"
  slurm_partition: "fast"
  runtime: 120  # in minutes
  cpus_per_task: 1
  nodes: 1
  tasks: 1
  mem_mb: 1000
jobs: 100
use-envmodules: true
use-conda: true
max-jobs-per-second: 1
max-status-checks-per-second: 1
local-cores: 1
latency-wait: 60

# Rules configuration
set-resources:
  my_rule:
    cpus_per_task: 10
    mem_mb: 4000
config:
  my_parameter_list:
    - 'item_0'
    - 'item_1'

Et j’appelle snakemake avec :

module purge && module load snakemake/8.0.1 conda
snakemake --workflow-profile profile --dry-run
2 « J'aime »