Probléme avec l'installation de PodiumASM

IFB Core Cluster
#1

Bonjour, Je me permets de vous écrire car depuis vendredi j’essaye d'utiliser podiumASM mais à chaque fois j'ai ça comme erreur :

"ModuleNotFoundError in line 7 of /shared/ifbstor1/projects/annotation_fusarium/lestTest/PodiumASM/podiumASM/snakefiles/Snakefile:
No module named 'podiumASM'
File "/shared/ifbstor1/projects/annotation_fusarium/lestTest/PodiumASM/podiumASM/snakefiles/Snakefile", line 7, in "

J'ai pourant suivis la doctumentation https://podiumasm.readthedocs.io/en/latest/INSTALL.html#steps-for-hpc-distributed-cluster-installation
j'ai entrer ces commandes :

git clone GitHub - thdurand4/PodiumASM: Workflow to choose the best assembly
cd PodiumASM
python3 -m pip install -e .
podiumASM --help
podiumASM install_cluster --scheduler slurm --env modules --create_envmodule -m ./envModule
( j'ai bien config le fichier config.yaml).
PS : mon collégue a suivi les mêmes étapes et ça marche trés bien pour lui
Donc je vous écrit pour savoir si c'est un problème avec mon compte s'il vous plaît. Merci

#2

Bonjour,

J'ai pu installer PodiumASM de mon côté sans aucun soucis avec la doc de l'outil indiquée dans le post précédent.

Ayant accès au projet de ymestiri, j'ai essayé d'y copier mes fichiers de PodiumASM, au cas ou le probleme viendraient des siens. Cela n'a rien changé de son côté. Personnellement, je peux le lancer sans soucis (une erreur m'empeche de le faire tourner, mais c'en est une autre, surement lié au nom des fichiers, donc rien a voir).

Nous essayons de le lancer via un script .sh comme suivant :

#!/bin/sh
################################ Slurm options #################################


### Job name
#SBATCH --job-name=podiumASM

### Requirements
#SBATCH --partition=long



### Output
#SBATCH --output=/shared/home/pvendloczki/annotation_fusarium/PodiumASM/log_assembly.out
#SBATCH --error=/shared/home/pvendloczki/annotation_fusarium/PodiumASM/log_assembly.err
module purge
module load r/3.6.3
module load python/3.9


podiumASM run_cluster -c /shared/home/pvendloczki/annotation_fusarium/PodiumASM/config/config.yaml

Et mon erreur est la suivante (juste pour que vous puissiez voir que ce n'est pas la meme):

(base) [pvendloczki@cpu-node-18 PodiumASM]$ sh run_workflow.sh 

    Welcome to PodiumASM version: 1.0.0! Created on January 2022
    @author: Sebastien Ravel (CIRAD), Theo Durand (CIRAD), Simon Bache (CIRAD)
    @email: sebastien.ravel@cirad.fr theo.durand@cirad.fr 
       
    Please cite our github: https://github.com/thdurand4/podiumASM
    Licencied under CeCill-C (http://www.cecill.info/licences/Licence_CeCILL-C_V1-en.html)
    and GPLv3 Intellectual property belongs to CIRAD and authors.
    Documentation avail at: `https://podiumASM.readthedocs.io/en/latest/
    
    ** NOTE: There aren’t any releases at the moment

    Profile file: /shared/ifbstor1/projects/annotation_fijiensism2/PODIUM_ASM_TEST/test_peter/PodiumASM/podiumASM/default_profile
    Config file: /shared/ifbstor1/projects/annotation_fusarium/PodiumASM/config/config.yaml
    Cluster config file load: /shared/home/pvendloczki/.config/podiumASM/cluster_config.yaml
    Tools Path file: /shared/ifbstor1/projects/annotation_fijiensism2/PODIUM_ASM_TEST/test_peter/PodiumASM/podiumASM/install_files/tools_path.yaml

    snakemake --show-failed-logs -p -s /shared/ifbstor1/projects/annotation_fijiensism2/PODIUM_ASM_TEST/test_peter/PodiumASM/podiumASM/snakefiles/Snakefile --configfile /shared/ifbstor1/projects/annotation_fusarium/PodiumASM/config/config.yaml --profile /shared/ifbstor1/projects/annotation_fijiensism2/PODIUM_ASM_TEST/test_peter/PodiumASM/podiumASM/default_profile --cluster-config /shared/home/pvendloczki/.config/podiumASM/cluster_config.yaml 

Building DAG of jobs...
MissingInputException in rule quast_full_contigs in file /shared/ifbstor1/projects/annotation_fijiensism2/PODIUM_ASM_TEST/test_peter/PodiumASM/podiumASM/snakefiles/Snakefile, line 444:
Missing input files for rule quast_full_contigs:
    output: /shared/home/pvendloczki/projects/annotation_fusarium/assemblies_result_2023/2_GENOME_STATS/QUAST/report.html
    affected files:
        /shared/home/pvendloczki/projects/annotation_fusarium/reference_foc/UK0001.fasta

Je n'ai aucune idée de ce qui peut être la source de ce problème, mais étant donné que je peux lancer l'outil mais pas ma collègue, il semblerait que cela soit lié à quelque chose au niveau de son profil.

Merci pour votre attention,
Passez une bonne journée.

#3

Vous pouvez répondre s'il vous plaît car ça me bloque depuis vendredi. Merci

#4

Bonjour,

Je me permet de relancer ce sujet car mon nouveau problème semble très similaire. Cette fois-ci, j'essaye d'installer l'outil Annotator.

Suite à un simple git clone, je me suis retrouvé avec un fichier python setup.py, et j'ai lancé l'installation de l'outil avec un

pip install .

et l'outil était détecté par le cluster à partir de la.
Néanmoins, les seules commandes que je pouvais utilisées étaient "install_cluster" et "install_local". La première me renvoyait une erreur à base de fichiers d'installations déja présents et qu'il faut les retirer pour continuer (je suis navré de ne pas pouvoir vous montrer les retours exacts, je ne les ai plus sous la main). Cette erreur venait du fait que certains fichiers ne s'étaient pas générés dans le dossier site-packages de mon utilisateur, où l'installation s'est faite.

J'ai pu corriger cette erreur moi-même directement en copiant les fichiers. Mais maintenant je me retrouve avec le même soucis que ma collègue au dessus : "No module named Annotator".

Mes fichiers et mon script bash se trouvent au chemin suivant :

/shared/home/pvendloczki/annotation_fijiensism2/FIJIENSIS_ANNOTAOTR/Annotator

et voici l'erreur exacte :

(base) [pvendloczki@core-login2 Annotator]$ sh annotator.sh
/shared/ifbstor1/projects/annotation_fijiensism2/miniconda/lib/python3.9/site-packages/annotator

Welcome to Annotator version: 1.0.0 ! Created on November 2019
@author: Florian Charriat (INRAE), Sebastien Ravel (CIRAD), ,
@email: florian.charriat@inrae.fr; sebastien.ravel@cirad.fr

Please cite our github https://ANNOTATOR-pipeline.readthedocs.io/en/latest/
Licencied under CeCill-C (CeCILL-C FREE SOFTWARE LICENSE AGREEMENT)
and GPLv3 Intellectual property belongs to INRAE, CIRAD and authors.
Documentation avail at: https://ANNOTATOR-pipeline.readthedocs.io/en/latest/

** ENABLE TO GET LAST VERSION, check internet connection
HTTP Error 404: Not Found
Profile file: /shared/ifbstor1/projects/annotation_fijiensism2/miniconda/lib/python3.9/site-packages/annotator/default_profile
Config file: /shared/ifbstor1/projects/annotation_fijiensism2/FIJIENSIS_ANNOTAOTR/Annotator/annotator/Additional_files/config.yaml
Cluster config file load: /shared/ifbstor1/projects/annotation_fijiensism2/miniconda/lib/python3.9/site-packages/annotator/default_profile/cluster_config.yaml
snakemake --show-failed-logs -p -s /shared/ifbstor1/projects/annotation_fijiensism2/miniconda/lib/python3.9/site-packages/annotator/Snakefile --configfile /shared/ifbstor1/projects/annotation_fijiensism2/FIJIENSIS_ANNOTAOTR/Annotator/annotator/Additional_files/config.yaml --profile /shared/ifbstor1/projects/annotation_fijiensism2/miniconda/lib/python3.9/site-packages/annotator/default_profile --cluster-config /shared/ifbstor1/projects/annotation_fijiensism2/miniconda/lib/python3.9/site-packages/annotator/default_profile/cluster_config.yaml --keep-incomplete --use-envmodules --rerun-incomplete
ModuleNotFoundError in file /shared/ifbstor1/projects/annotation_fijiensism2/miniconda/lib/python3.9/site-packages/annotator/Snakefile, line 5:
No module named 'annotator'
File "/shared/ifbstor1/projects/annotation_fijiensism2/miniconda/lib/python3.9/site-packages/annotator/Snakefile", line 5, in

Nous n'avons pas trouvé de solution pour notre soucis précédents, mais comme l'outil fonctionnait sur certains utilisateurs et pas celui de ma collegue, nous nous sommes arrangés entre nous, hélas cette fois-ci l'outil ne fonctionne tout simplement pas..

J'espere que vous pourrez m'indiquer une piste à creuser.

Je vous remercie de votre attention et pour votre travail.
Bonne journée !

#5

Sur une autre note, durant mes recherches de solution, j'ai remarqué que sur le noeud de calcul 5, module load python/3.9 charge une version 3.11 de Python. Est-ce normal ?

#6

Bonjour,

A vu de vos messages ("fonctionne chez vos collègues", "version 3.11 chargé au lieu de 3.9"), je soupçonne très fortement que ce soit votre environnement de travail: typiquement votre environnement conda, vos modules python, etc viennent perturber le fonctionnement des logiciels.
Si possible, je vous invite donc à faire un grand ménage: suppression de vos environnements conda (rm -rf ~/.conda, modules python, etc) et de réessayer.