Installation METABOLIC

gildaslecorguille · Juillet 11, 2022, 12:02

Ce n'est pas clair si il vous avez besoin de données de référence

microp · Juillet 11, 2022, 12:17

Il semble avoir été résolu aujourd'hui, merci !

Si run_to_setup.sh a été exécuté avec succès, je pense que les bases de données devraient être déjà disponibles. Si ce n'est pas le cas, je pense qu'il est nécessaire d'exécuter l'étape 2-8 de l'installation complète pour installer les bases de données correspondantes :

gildaslecorguille · Juillet 11, 2022, 2:30

Est-ce que par le plus grand des hasards, vous auriez pu récupérer ces jeux de données ... que j'aurais pu ensuite copier sur /shared/bank/metabolic/20210303 ?

microp · Juillet 12, 2022, 8:42

J'ai fait un test et quelque chose ne semble pas aller avec l'installation en elle-même car le perl script associé ne peut pas être trouvé.

Je n'ai pas les bases de données, il faudrait que j'essaie de les installer dans ma home ou sur ma machine locale pour les copier ensuite. Je pense que le plus simple serait de faire l'installation avec le script bash qui installe automatiquement tous les fichiers hmm, etc (si c'est possible, je suis novice en bioinfo donc désolée si je passe à côté de quelque chose....) :

We provide a "run_to_setup.sh" script along with the data downloaded from the GitHub for easy setup of dependent databases. This can be run by using the following command:

bash run_to_setup.sh

Once you've run the bash script, it is not necessary to run Step 2-8 described below. While, it is suggested to run this bash script under supervision, some minor problems might occur during the setup procedure and you could rely on the following Step 2-8 to figure it out.

gildaslecorguille · Juillet 15, 2022, 1:17

Pouvez-vous expliciter le problème ?

microp · Juillet 15, 2022, 1:59

Voici le message d'erreur :

perl: warning: Setting locale failed.
perl: warning: Please check that your locale settings:
LANGUAGE = (unset),
LC_ALL = (unset),
LC_CTYPE = "UTF-8",
LANG = "en_US.UTF-8"
are supported and installed on your system.
perl: warning: Falling back to a fallback locale ("en_US.UTF-8").
Can't open perl script "METABOLIC-G.pl": No such file or directory

gildaslecorguille · Juillet 15, 2022, 2:51

Qu'avez vous lancer pour obtenir cette erreur ?

D'autre part, concernant run_to_setup.sh , il semble que ce script a été plus ou moins lancé à l'installation.
Les fichiers sont ici :

$ ls /shared/software/miniconda/envs/metabolic-20210303/share/metabolic-20210303-0
Accessory_scripts           dbCAN2                        draw_metabolic_energy_flow.R  draw_sequential_reaction.R  MEROPS          METABOLIC-G.pl    METABOLIC_template_and_database
create_excel_spreadsheet.R  draw_biogeochemical_cycles.R  draw_metabolic_network.R      kofam_database              METABOLIC-C.pl  METABOLIC_hmm_db

microp · Juillet 20, 2022, 9:15

J'ai pu résoudre le problème en lançant "METABOLIC-G.pl" au lieu de "perl METABOLIC-G.pl" !

Pour les banques, j'ai encore vérifié avec les instructions d'installation et tout semble effectivement être là. Merci pour votre aide !

emendes · Juillet 21, 2022, 4:04

Bonjour,

J'ai testé METABOLIC et il y a un problème.
METABOLIC-G fonctionne mais METABOLIC-C ne fonctionne pas car le fichier .pl n'est pas à jour. J'ai vérifié dans le github si la même erreur que celle que j'ai eu a été signalée et c'est bien le cas. L'erreur a été fixée en modifiant le script mais quand je regarde le script /shared/ifbstor1/software/miniconda/envs/metabolic-20210303/bin/METABOLIC-C.pl l'erreur n'est pas corrigée donc ce n'est pas la version la plus récente du script.

Pouvez-vous mettre à jour le script METABOLIC-C.pl ?

Merci

microp · Juillet 29, 2022, 2:09

Je me joins à @emendes , pourriez-vous mettre à jour le script ? METABOLIC-C ne fonctionne pas, j'obtiens également l'erreur qui a été résolu dans la dernière version du script

dbenaben · Juillet 29, 2022, 4:19

Bonjour,

En effet, la version packagé via conda n'est pas tout à fait à jour.
La documentation le précise d'ailleurs (Installation · AnantharamanLab/METABOLIC Wiki · GitHub):

Note that an additional conda package was provided at Metabolic :: Anaconda.org (not necessarily being kept up with the most updated version in our GitHub repo, please see the version date).

Nous pouvons essayer de déployer en utilisant un container (singularity/apptainer) mais cela est plus chronophage et risque de prendre du temps.

Si jamais c'est possible pour vous, vous pouvez essayer de demander aux developers/packagers de mettre à jours ce paquet conda.

emendes · Août 17, 2022, 10:17

Bonjour,

Merci pour cette réponse. Je vais écrire un message aux developers de METABOLIC. Je vous tiendrai informé.

Les developers ont en réalité containérisé l'outil (GitHub - tin6150/metabolic: containerizing AnantharamanLab/METABOLIC) mais il y a des problèmes avec. L'installation docker n'est pas maintenue actuellement et l'installation conda est recommandée par les developers (Installation and running of METABOLIC docker file · Issue #63 · AnantharamanLab/METABOLIC · GitHub )

emendes · Août 24, 2022, 9:54

Bonjour,

J'ai contacté les developers de METABOLIC: METABOLIC-C issue with conda installation · Issue #96 · AnantharamanLab/METABOLIC · GitHub

Si j'ai bien compris remplacer le fichier METABOLIC-C.pl par celui mis à jour est une solution à tester. Pouvez-vous faire cela ? et je testerai si ça résout les problèmes.

Cordialement,

dbenaben · Août 24, 2022, 11:43

Bonjour,

Nous préférons éviter de modifier ces installations manuellement et pour tout le monde.

Par contre, il est possible de tester comme suit:

module load metabolic/20210303

# On télécharge METABOLIC-C.pl qu'on ajoute dans le path;
mkdir METABOLIC-C
cd METABOLIC-C
wget https://raw.githubusercontent.com/AnantharamanLab/METABOLIC/master/METABOLIC-C.pl
chmod a+x METABOLIC-C.pl
PATH="$PWD:$PATH"

A noter qu'avec l'ancienne ou la nouvelle, je ne reproduit pas l'erreur décrite plus haut (Installation METABOLIC - #10 par microp).
Je vous laisse donc le soin de tester si ca vous va ?

microp · Août 25, 2022, 8:38

Bonjour,

j'ai testé la solution proposée mais j'obtiens l'erreur suivante car le nouveau script perl se trouve dans un dossier isolé :

perl: warning: Falling back to a fallback locale ("en_US.UTF-8").
Can't open perl script "/shared/ifbstor1/projects/microprony/mydata/metawrap/METABOLIC-C/Accessory_scripts/gff2fasta_mdf.pl": No such file or directory
perl: warning: Setting locale failed.
perl: warning: Please check that your locale settings:
	LANGUAGE = (unset),
	LC_ALL = (unset),
	LC_CTYPE = "UTF-8",
	LANG = "en_US.UTF-8"
    are supported and installed on your system.
perl: warning: Falling back to a fallback locale ("en_US.UTF-8").
Can't open perl script "/shared/ifbstor1/projects/microprony/mydata/metawrap/METABOLIC-C/Accessory_scripts/gff2fasta_mdf.pl": No such file or directory
[2022-08-24 17:06:32] The Prodigal annotation is finished
[2022-08-24 17:07:40] The hmmsearch is running with 40 cpu threads...
readline() on closed filehandle _IN at METABOLIC-C/METABOLIC-C.pl line 2352.
[2022-08-24 17:07:40] The hmmsearch is finished
readline() on closed filehandle _IN at METABOLIC-C/METABOLIC-C.pl line 2365.
Use of uninitialized value $Hmm_table_head_worksheet1[0] in join or string at METABOLIC-C/METABOLIC-C.pl line 457.
Use of uninitialized value $Hmm_table_head_worksheet1[1] in join or string at METABOLIC-C/METABOLIC-C.pl line 457.
Use of uninitialized value $Hmm_table_head_worksheet1[2] in join or string at METABOLIC-C/METABOLIC-C.pl line 457.
Use of uninitialized value $Hmm_table_head_worksheet1[3] in join or string at METABOLIC-C/METABOLIC-C.pl line 457.
Use of uninitialized value $Hmm_table_head_worksheet1[4] in join or string at METABOLIC-C/METABOLIC-C.pl line 457.
Use of uninitialized value $Hmm_table_head_worksheet1[5] in join or string at METABOLIC-C/METABOLIC-C.pl line 457.
Use of uninitialized value $Hmm_table_head_worksheet1[6] in join or string at METABOLIC-C/METABOLIC-C.pl line 457.
Use of uninitialized value $Hmm_table_head_worksheet1[7] in join or string at METABOLIC-C/METABOLIC-C.pl line 457.
Use of uninitialized value $Hmm_table_head_worksheet1[8] in join or string at METABOLIC-C/METABOLIC-C.pl line 457.
Use of uninitialized value $Hmm_table_head_worksheet1[9] in join or string at METABOLIC-C/METABOLIC-C.pl line 457.
Use of uninitialized value $Hmm_table_head_worksheet2[0] in join or string at METABOLIC-C/METABOLIC-C.pl line 518.
Use of uninitialized value $Hmm_table_head_worksheet2[1] in join or string at METABOLIC-C/METABOLIC-C.pl line 518.
Use of uninitialized value $Hmm_table_head_worksheet2[2] in join or string at METABOLIC-C/METABOLIC-C.pl line 518.
[2022-08-24 17:07:40] Generating each hmm faa collection...
readline() on closed filehandle IN at METABOLIC-C/METABOLIC-C.pl line 637.
readline() on closed filehandle IN at METABOLIC-C/METABOLIC-C.pl line 660.
[2022-08-24 17:07:40] Each hmm faa collection has been made
[2022-08-24 17:07:40] The KEGG module result is calculating...
[2022-08-24 17:07:40] The KEGG identifier (KO id) result is calculating...
[2022-08-24 17:07:40] The KEGG identifier (KO id) seaching result is finished
[2022-08-24 17:07:40] Searching CAZymes by dbCAN2...

Error: 
Error: 
Error: File existence/permissions problem in trying to open HMM file /shared/ifbstor1/projects/microprony/mydata/metawrap/METABOLIC-C/dbCAN2/dbCAN-fam-HMMs.txt.
HMM file /shared/ifbstor1/projects/microprony/mydata/metawrap/METABOLIC-C/dbCAN2/dbCAN-fam-HMMs.txt not found (nor an .h3m bina
File existence/permissions problem in trying to open HMM file /shared/ifbstor1/projects/microprony/mydata/metawrap/METABOLIC-C/dbCAN2/dbCAN-fam-HMMs.txt.

dbenaben · Août 25, 2022, 9:58

Joie des chemins codés en dur...

J'ai créé temporairement un module pour tester avec la dernière version du fichier

module purge
module load metabolic/20210303-test

Merci de me dire ce qu'il en est. Je supprimerais alors ce module de test.

A noter que, à défaut d'avoir un package conda dans la dernière version (et facilement installable), vous pouvez toujours suivre la procédure indiqué pour l'installer dans votre espace: Installation · AnantharamanLab/METABOLIC Wiki · GitHub

microp · Août 25, 2022, 12:56

Merci pour cette suggestion ! Malheureusement, j'obtiens des erreurs similaires, à commencer par celle-ci :

Can't open perl script "/shared/software/miniconda/envs/metabolic-20210303-test/bin/Accessory_scripts/gff2fasta_mdf.pl": No such file or directory

J'ai vérifié et il n'y a effectivement aucun dossier Accessory_scripts dans le chemin donné. Cela pourrait-il être la source du problème ?

Dans le cas où nous devrions faire l'installation nous-mêmes, nous créons juste l'environnement conda/ le le repository github cloné dans notre home ou est-ce qu'il y a autre chose à considérer ?

emendes · Août 25, 2022, 1:43

Les scripts qui se trouvent dans le fichier accesorry_script.tgz ne sont pas placés dans un dossier mais parmi d'autres fichiers. D'autres dossiers sont manquants : METABOLIC_test_files et METABOLIC_template_and_database (par exemple).

dbenaben · Août 25, 2022, 4:13

Je ne reproduit toujours pas l'erreur. Peut-être pouvez-vous nous communiquer la commande pour tester ?

Dans tous les cas, il me semble quand même plus simple de voir avec le développeur (ie recréer un package conda).

Normalement non (en tout cas je vois rien d'autre) : installer conda et suivre la procédure indiquée.

microp · Août 26, 2022, 7:16

Voici la commande

module purge
module load metabolic/20210303-test
module load gtdbtk/2.1.0

export GTDBTK_DATA_PATH=/shared/bank/gtdbtk/release207_v2

perl /shared/software/miniconda/envs/metabolic-20210303-test/bin/METABOLIC-C.pl -in-gn BIN_REFINEMENT_NEW/metawrap_45_10_bins/BdJ-11_detection_60_METABOLIC/ -r clean_reads_BdJ-11.txt -o METABOLIC-C_BdJ-11_fasta -t 40