Installation de module depuis github

Bonjour
Nous souhaiterions utiliser les outils publiés sur cette référence Redirecting,
Notamment la suite FrEIA, disponible sur le github suivant : GitHub - mouliere-lab/FrEIA: Fragment End Integrated Analysis tool
Est il possible de l'installer pour accès dans les modules ? ou avons nous les droits et/ou est il préférable de récupérer les scripts de notre coté pour les faire tourner hors modules dispo à la communauté?
Merci par avance
Guillaume Beinse

même question pour le github GitHub - shendurelab/cfDNA: Analysis of epigenetic signals captured by fragmentation patterns of cell-free DNA

merci+++ !

Bonjour à tous @team.software @team.bank @team.ifbcorecluster
J'espère que vous avez passé de bonnes fêtes!
Je reviens sur le message concernant le github GitHub - shendurelab/cfDNA: Analysis of epigenetic signals captured by fragmentation patterns of cell-free DNA. Bon j'ai fini par comprendre que c'est un simple repository de script et non un "package" prêt (mes excuses).
J'ai une difficulté pour faire tourner les scripts, pour ce que je comprend être des raisons d'environnement, essentiellement reposant sur d'anciennes versions:
python/2.7.3
numpy/1.7.0
pysam/0.7.5
bx-python/0.6.0
je suis un peu perdu sur la façon dont m'y prendre pour lancer les commandes comme "python2 script.py input.bam" dans un script SLURM avec sbatch en étant sûr que cette commande s'execute dans le bon environnement (privé versus partagé).
merci de votre aide++
bonne année à tous
Guillaume

Bonjour @gbeinse ,

Désolé, nous sommes passés à côté de votre demande.

Dans le premier cas, en effet, il n'y a pas de manière évidente d'installer un workflow snakemake comme on le fait avec un package classique. Mais snakemake sait géré l'installation des dépenses si c'est géré comme c'est le cas ici via des env conda.
Un peu de doc si besoin : Perform a quality check on raw sequencing data with Snakemake and Conda

Pour le second cas, avez-vous tenter de charger :

module load python/2.7

Cordialement

Bonjour @gbeinse ,

Je reviens vers vous concernant l'installation de FrEIA et de cfDNA :

  • FrEIA-20240423

Pour installer les fichiers du workflow dans votre home :

wget https://github.com/mouliere-lab/FrEIA/archive/refs/heads/main.zip
unzip main.zip
mv FrEIA-main FrEIA-20240423
rm main.zip

ATTENTION ! Actuellement, la version la plus récente de snakemake installée sur le cluster (8.27.1) n'est pas compatible avec la version de Conda actuelle (22.9.0). Je vous conseille d'utiliser la version 8.9.0 de Snakemake pour exécuter FrEIA.

#!/bin/bash

# Options Slurm
# ...

# 01: Chargement de Conda et de Snakemake
module load conda
module load snakemake/8.9.0

# 02.01: Exécution de l'étape 1 de FrEIA (Trimming) sur un nœud de calcul
cd FrEIA-20240423/workflow/rules/1_preprocessing/
srun snakemake --use-conda \
               --cores 8 \
               [-options] \
               -s 1_trimming.smk

# 02.02: Exécution de l'étape 2 de FrEIA (Mapping) sur un nœud de calcul
cd FrEIA-20240423/workflow/rules/1_preprocessing/
srun snakemake --use-conda \
               --cores 8 \
               [-options] \
               -s 2_mapping.smk

# 02.03: Exécution de l'étape 3 de FrEIA (Preprocessing) sur un nœud de calcul
cd FrEIA-20240423/workflow/rules/2_FrEIA/
srun snakemake --use-conda \
               --cores 8 \
               [-options] \
               -s 1_preprocessing.smk

# 02.04: Exécution de l'étape 4 de FrEIA (FrEIA) sur un nœud de calcul
cd FrEIA-20240423/workflow/rules/2_FrEIA/
srun snakemake --use-conda \
               --cores 8 \
               [-options] \
               -s 2_FrEIA.smk
  • cfDNA-20200722

Comme vous le précisez, cet outil est composé de différents scripts, utilisant des anciennes versions de langages et d'outils (python 2.7.3, numpy 1.7.0, R 3.1.0, etc...).
J'ai pu créer un environnement Conda contenant l'ensemble des dépendances utilisés par les scripts :

name: cfDNA-20200722
channels:
  - conda-forge
  - bioconda
dependencies:
  - _libgcc_mutex=0.1=conda_forge
  - _openmp_mutex=4.5=2_gnu
  - _r-mutex=1.0.1=anacondar_1
  - binutils_impl_linux-64=2.36.1=h193b22a_2
  - binutils_linux-64=2.36=hf3e587d_33
  - blas=1.1=openblas
  - bwidget=1.10.1=ha770c72_0
  - bx-python=0.8.9=py27h54ae540_2
  - bzip2=1.0.8=h4bc722e_7
  - c-ares=1.34.4=hb9d3cd8_0
  - ca-certificates=2025.1.31=hbcca054_0
  - cairo=1.16.0=h9f066cc_1006
  - certifi=2019.11.28=py27h8c360ce_1
  - curl=7.76.1=h979ede3_1
  - expat=2.6.4=h5888daf_0
  - fontconfig=2.14.2=h14ed4e7_0
  - freetype=2.12.1=h267a509_2
  - fribidi=1.0.10=h36c2ea0_0
  - gcc_impl_linux-64=7.5.0=habd7529_20
  - gcc_linux-64=7.5.0=h47867f9_33
  - gettext=0.23.1=h5888daf_0
  - gettext-tools=0.23.1=h5888daf_0
  - gfortran_impl_linux-64=7.5.0=h56cb351_20
  - gfortran_linux-64=7.5.0=h78c8a43_33
  - graphite2=1.3.13=h59595ed_1003
  - gsl=2.6=he838d99_2
  - gxx_impl_linux-64=7.5.0=hd0bb8aa_20
  - gxx_linux-64=7.5.0=h555fc39_33
  - harfbuzz=2.7.2=ha5b49bf_1
  - htslib=1.12=h9093b5e_1
  - icu=67.1=he1b5a44_0
  - jpeg=9e=h0b41bf4_3
  - kernel-headers_linux-64=3.10.0=he073ed8_18
  - krb5=1.17.2=h926e7f8_0
  - ld_impl_linux-64=2.36.1=hea4e1c9_2
  - libasprintf=0.23.1=h8e693c7_0
  - libasprintf-devel=0.23.1=h8e693c7_0
  - libblas=3.9.0=1_h6e990d7_netlib
  - libcblas=3.9.0=3_h893e4fe_netlib
  - libcurl=7.76.1=hc4aaa36_1
  - libdeflate=1.23=h4ddbbb0_0
  - libedit=3.1.20191231=he28a2e2_2
  - libev=4.33=hd590300_2
  - libexpat=2.6.4=h5888daf_0
  - libffi=3.2.1=he1b5a44_1007
  - libgcc=14.2.0=h77fa898_1
  - libgcc-devel_linux-64=7.5.0=hda03d7c_20
  - libgcc-ng=14.2.0=h69a702a_1
  - libgettextpo=0.23.1=h5888daf_0
  - libgettextpo-devel=0.23.1=h5888daf_0
  - libgfortran=3.0.0=1
  - libgfortran-ng=7.5.0=h14aa051_20
  - libgfortran4=7.5.0=h14aa051_20
  - libglib=2.66.3=hbe7bbb4_0
  - libgomp=14.2.0=h77fa898_1
  - libiconv=1.18=h4ce23a2_0
  - liblapack=3.9.0=3_h893e4fe_netlib
  - libnghttp2=1.51.0=hdcd2b5c_0
  - libopenssl-static=3.0.7=h0b41bf4_1
  - libpng=1.6.43=h2797004_0
  - libssh2=1.10.0=haa6b8db_3
  - libstdcxx=14.2.0=hc0a3c3a_1
  - libstdcxx-devel_linux-64=7.5.0=hb016644_20
  - libstdcxx-ng=14.2.0=h4852527_1
  - libtiff=4.2.0=hf544144_3
  - libuuid=2.38.1=h0b41bf4_0
  - libwebp-base=1.5.0=h851e524_0
  - libxcb=1.17.0=h8a09558_0
  - libxml2=2.9.10=h68273f3_2
  - libzlib=1.2.13=h4ab18f5_6
  - lzo=2.10=hd590300_1001
  - make=4.4.1=hb9d3cd8_2
  - mysql-connector-c=6.1.11=h6eb9d5d_1007
  - ncurses=6.2=h58526e2_4
  - numpy=1.7.2=py27_blas_openblas_202
  - openblas=0.2.19=2
  - openssl=1.1.1w=hd590300_0
  - pango=1.42.4=h69149e4_5
  - pcre=8.45=h9c3ff4c_0
  - pip=20.1.1=pyh9f0ad1d_0
  - pixman=0.44.2=h29eaf8c_0
  - pthread-stubs=0.4=hb9d3cd8_1002
  - pysam=0.7.7=py27h2b63b92_6
  - python=2.7.15=h5a48372_1011_cpython
  - python-lzo=1.12=py27h42e1302_1001
  - python_abi=2.7=1_cp27mu
  - r-base=3.6.3=hd272fe0_4
  - readline=8.1=h46c0cb4_0
  - samtools=1.12=h9aed4be_1
  - sed=4.8=he412f7d_0
  - setuptools=44.0.0=py27_0
  - six=1.16.0=pyh6c4a22f_0
  - sqlite=3.37.0=h9cd32fc_0
  - sysroot_linux-64=2.17=h0157908_18
  - tabix=1.11=hdfd78af_0
  - tk=8.6.13=noxft_h4845f30_101
  - tktable=2.10=h8bc8fbc_6
  - tzdata=2025a=h78e105d_0
  - ucsc-bedtobigbed=473=he8037a5_0
  - ucsc-bigbedinfo=469=h9b8f530_0
  - ucsc-bigbedsummary=469=h9b8f530_0
  - ucsc-bigwigaverageoverbed=469=h9b8f530_0
  - ucsc-bigwiginfo=469=h9b8f530_0
  - ucsc-bigwigsummary=469=h9b8f530_0
  - ucsc-bigwigtobedgraph=469=h9b8f530_0
  - ucsc-stringify=472=he8037a5_0
  - ucsc-wigtobigwig=472=h9b8f530_1
  - wheel=0.37.1=pyhd8ed1ab_0
  - xorg-libice=1.1.2=hb9d3cd8_0
  - xorg-libsm=1.2.5=he73a12e_0
  - xorg-libx11=1.8.11=h4f16b4b_0
  - xorg-libxau=1.0.12=hb9d3cd8_0
  - xorg-libxdmcp=1.1.5=hb9d3cd8_0
  - xorg-libxext=1.3.6=hb9d3cd8_0
  - xorg-libxrender=0.9.12=hb9d3cd8_0
  - xz=5.2.6=h166bdaf_0
  - zlib=1.2.13=h4ab18f5_6
  - zstd=1.5.6=ha6fb4c9_0
  - pip:
    - sortedcontainers==2.4.0

Pour installer cet environnement Conda dans votre home :

module load conda
conda env create -f cfDNA-20200722.yml

Pour installer les scripts dans votre home :

wget https://github.com/shendurelab/cfDNA/archive/refs/heads/master.zip
unzip main.zip
mv cfDNA-main cfDNA-20200722
rm main.zip

Pour utiliser cfDNA-20200722 :

#!/bin/bash

# Options Slurm
# ...

# 01: Chargement des modules
module load conda

# 02: Initialisation de l'environnement Conda
conda activate cfDNA-20200722

# 03: Se déplacer dans le répertoire contenant les scripts
cd cfDNA-20200722/

# 04: Appel des scripts
./BAM2FragmentationPatterns.py [-options]
./BAM_RG_Length.py [-options]
./FilterUniqueBAM.py [-options]
./callPeaks.py [-options]
./extractReadStartsFromBAM2Wig.py [-options]
./normalizeWPSwigs.py [-options]

# 05: Initialisation de l'environnement Conda
conda deactivate

Bonne journée,

1 « J'aime »