Guppy basecaller (GPU)

Bonjour,
Serait-il possible d'installer Guppy ?
C'est l'application d'Oxford Nanopore qui permet de décoder les fast5 (signaux électriques) en séquences de nucléotides (fastQ).
Les liens pour l'installation sont sur le site de la communauté Nanopore (Log in - Oxford Nanopore Technologies). La version qui utilise les GPU est supposément la plus rapide.
Je me tiens à disposition si nécessaire,
Cdlt,
Fred Chaux

Je crains qu'on soit passé à côté de cette demande.
@team.software si vous avez un peu de temps ?

Bonjour,
Guppy étant sous licence et seulement accessible via une authentification pour télécharger les sources, cela va demander un peu de travail pour générer une image singularity.

Nous allons attaquer ça au plus vite.

1 « J'aime »

Hop:

$ module avail guppy
------------------------------- /shared/software/modulefiles -------------------------------
guppy/6.1.1-cpu  guppy/6.1.1-gpu

Merci beaucoup !
Bonne journee a vous,
Cdlt,
Frederic Chaux

1 « J'aime »

Bonjour,

Suite à ta demande d'installation de Guppy, est-ce que tu as pu le faire tourner en mode GPU ?

Quels paramètres as-tu utilisé ?

J'ai quelques difficultés...

Merci d'avance !

Je me permets de "pinguer" @fredchaux directement

Bonjour,
Non de notre cote ca ne fonctionne pas non plus, plusieurs collegues ont egalement essaye mais non. Comme nous sommes novices nous n'avons pas identifie le probleme, desole.
Bon courage,
Fred Chaux

Bonjour,
Serait-il possible d'installer la toute dernière version de Guppy (v6.4.2) en mode GPU ?
Je ne suis pas parvenu à l'installer sur mon Home, alors que j'ai pu le faire pour la version CPU (voir ci- dessous).

https://cdn.oxfordnanoportal.com/software/analysis/ont-guppy_6.4.2_linux64.tar.gz

Merci d'avance.

v="6.4.2" ; cd /shared/ifbstor1/home/dfilloux/program ; wget "https://mirror.oxfordnanoportal.com/software/analysis/ont-guppy_"$v"_linux64.tar.gz" ; tar -xf "ont-guppy_"$v"linux64.tar.gz" ; rm "ont-guppy"$v"linux64.tar.gz" ; > "/shared/ifbstor1/home/dfilloux/program/ont-guppy/ont-guppy-gpu"$v".txt" ; /shared/ifbstor1/home/dfilloux/program/ont-guppy/bin/guppy_basecaller --help
--2023-01-24 10:30:47-- https://mirror.oxfordnanoportal.com/software/analysis/ont-guppy_6.4.2_linux64.tar.gz
Resolving mirror.oxfordnanoportal.com (mirror.oxfordnanoportal.com)... 178.79.175.200
Connecting to mirror.oxfordnanoportal.com (mirror.oxfordnanoportal.com)|178.79.175.200|:443... connected.
HTTP request sent, awaiting response... 301 Moved Permanently
Location: https://europe.oxfordnanoportal.com/software/analysis/ont-guppy_6.4.2_linux64.tar.gz [following]
--2023-01-24 10:30:47-- https://europe.oxfordnanoportal.com/software/analysis/ont-guppy_6.4.2_linux64.tar.gz
Resolving europe.oxfordnanoportal.com (europe.oxfordnanoportal.com)... 178.79.175.200
Connecting to europe.oxfordnanoportal.com (europe.oxfordnanoportal.com)|178.79.175.200|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 1669334522 (1.6G) [application/x-tar]
Saving to: ‘ont-guppy_6.4.2_linux64.tar.gz’

100%[==================================================================================================================>] 1,669,334,522 24.9MB/s in 65s

2023-01-24 10:31:53 (24.4 MB/s) - ‘ont-guppy_6.4.2_linux64.tar.gz’ saved [1669334522/1669334522]

/shared/ifbstor1/home/dfilloux/program/ont-guppy/bin/guppy_basecaller: error while loading shared libraries: libcuda.so.1: cannot open shared object file: No such file or directory

Bonjour,

Je me permet de réactiver ce sujet car je suis confronté à une erreur qui semble être lié à l'installation GPU avec les versions guppy 6.1.1 et 6.4.6.

A noter que je travail sur le cluster de Roscoff, et que les fast5 que je tente de traduire ont été "basecallé" avec succès en utilisant la version CPU de guppy 6.1.1.

Mon script :

#!/bin/bash
#SBATCH -p gpu
#SBATCH --account=adaptive_sampling
#SBATCH --gres=gpu:k80:1
#SBATCH --ntasks=1
#SBATCH --cpus-per-task=10
#SBATCH --mem=20G
#SBATCH --mail-user=godfroy@sb-roscoff.fr
#SBATCH --mail-type=ALL

cd /shared/projects/adaptive_sampling
module load guppy/6.4.6-gpu
guppy_basecaller --recursive -i ./archive/fast5/ -s ./input/fastq-gpu3/  --num_callers $SLURM_CPUS_PER_TASK --gpu_runners_per_device $SLURM_CPUS_PER_TASK --device auto --flowcell FLO-MIN106 --kit SQK-LSK110 --compress_fastq

L'erreur en retour :


Loading guppy/6.4.6-gpu
  Loading requirement: singularity
INFO:    underlay of /etc/localtime required more than 50 (83) bind mounts
INFO:    underlay of /usr/bin/nvidia-smi required more than 50 (312) bind mounts
[1812776:1812778:20230314,093831.025911:ERROR file_io_posix.cc:152] open ./input/fastq-gpu3/guppy_basecaller-core-dump-db/pending/d73da61f-2228-4ce8-ad25-96a4c0bb416a.lock: File exists (17)
ONT Guppy basecalling software version 6.4.6+ae70e8f, minimap2 version 2.24-r1122
config file:        /opt/ont/guppy/data/dna_r9.4.1_450bps_hac.cfg
model file:         /opt/ont/guppy/data/template_r9.4.1_450bps_hac.jsn
input path:         ./archive/fast5/
save path:          ./input/fastq-gpu3/
chunk size:         2000
chunks per runner:  256
minimum qscore:     9
records per file:   4000
fastq compression:  ON
num basecallers:    10
gpu device:         auto
kernel path:        
runners per device: 10

Use of this software is permitted solely under the terms of the end user license agreement (EULA).
By running, copying or accessing this software, you are demonstrating your acceptance of the EULA.
The EULA may be found in /opt/ont/guppy/bin
[guppy/error] *common::LoadModuleFromFatbin: Loading fatbin file shared.fatbin failed with: CUDA error at /builds/ofan/ont_core_cpp/ont_core/common/cuda_common.cpp:100: CUDA_ERROR_NO_BINARY_FOR_GPU
/shared/software/singularity/wrappers/guppy/6.4.6-gpu/guppy_basecaller: line 2: 1812721 Segmentation fault      (core dumped) singularity exec --nv /shared/software/singularity/images/guppy-6.4.6-gpu.sif guppy_b
asecaller $@

Merci d'avance et surtout bon courage,
Olivier

sur sa demande je me permet @lgueguen

Bonjour,

Pas sûr de pouvoir vous aider...

Peut-être un problème de mémoire comme l'indique le message "Segmentation fault (core dumped)" ?

Sinon, inspirez-vous de ma commande indiquée ici :
"guppy_basecaller - #14 par Denis_Filloux"