Installation base de donnée SqueezeMeta

Bonjour @team.bank,

Hier, Squeezemeta a été installé sur le cluster. Cependant ce logiciel nécessite une banque de données dédiée téléchargeable via une ligne de commande dans le programme. Je pensais pouvoir l'installer en local pour ne pas vous déranger inutilement mais malheureusement ça ne fonctionne pas.

J'ai absolument besoin de faire tourner ce programme pour générer les derniers résultats pour mon stage.
Pourriez vous l'installer sur la base de données commune ?

Voici la procédure :

  • download_databases.pl path/to/db (génère deux dossiers : db et test)
  • test_install.pl (génère un rapport dans la sortie standard)

Si le test_install.pl ne trouve pas de base de données = message d'erreur à la toute fin du rapport :

  • WARNING: Some SqueezeMeta dependencies could not be found in your environment!
    Databases were not installed, or are not configured in this installation of SqueezeMeta

alors utiliser le script :

  • configure_nodb.pl path/to/db (nécessite des droits administrateurs car modifie un fichier du logiciel)
  • test_install.pl

Normalement test_install.pl ne devrait plus renvoyer de message d'erreur et Squeezemeta est prêt à être utilisé.

La procédure ne devrait prendre qu'1 ou 2h.

Je vous mets le lien du github du logiciel https://github.com/jtamames/SqueezeMeta

Je vous remercie de votre aide, passez une bonne journée !
Théophile

@lgueguen, est-ce que tu pourrais nous aider sur ce soucis ?

Bonjour Théo,

Je regarde pour l'installer dans un dossier commun.

@To.B la base a été téléchargée (/shared/bank/squeezemeta) et configurée.

Pouvez-vous nous confirmer que c'est bon de votre côté ?

2 J'aime

Pour la base de données tout est bon de mon côté ! Merci beaucoup pour l'installation :slight_smile:

je vais pouvoir lancer mes analyses ! Un grand merci pour votre aide !

Passez un bon week end,

Théophile

Bonjour @dbenaben,

Si tout fonctionnait comme on le voulait directement... Malheureusement il semble qu'il me manque un fichier classifier.jar... Auriez vous conservé à tout hasard les logs de la commande configure_nodb.pl ? Vous devriez y trouver ce genre de message d'erreur.

#########################################################################

Downloading and unpacking RDP classifier...
--2020-04-02 01:56:39--  http://wwwuser.cnb.csic.es/~squeezem/classifier.tar.gz
Resolving wwwuser.cnb.csic.es (wwwuser.cnb.csic.es)... 161.111.70.130
Connecting to wwwuser.cnb.csic.es (wwwuser.cnb.csic.es)|161.111.70.130|:80... connected.
HTTP request sent, awaiting response... 500 Internal Server Error
2020-04-02 01:56:40 ERROR 500: Internal Server Error.

tar (child): /opt/miniconda3/SqueezeMeta/lib/classifier.tar.gz: Cannot open: No such file or directory
tar (child): Error is not recoverable: exiting now
tar: Child returned status 2
tar: Error is not recoverable: exiting now
rm: cannot remove '/opt/miniconda3/SqueezeMeta/lib/classifier.tar.gz': No such file or directory
ln: failed to create symbolic link './classifier.jar': File exists

#########################################################################
Si vous n'avez plus les logs, pourriez vous relancer la commande :
configure_nodb.pl path/to/db (avec db le dossier db/ lui même)
et regarder si ce message apparait ?

Si oui, il semblerait que le fichier n'arrive pas à être télécharger depuis leur serveur et donc ne s'installe pas. Il faut donc passer par un autre lien.

J'ai trouvé un possible fix ici : https://github.com/jtamames/SqueezeMeta/issues/82.

  1. Get the RDP classifier tarball from https://saco.csic.es/index.php/s/RKQNjYYHWGn6Z3W
    Le problème c'est que le lien ne marche plus... donc il faudrait télécharger en local le fichier pour ensuite l'envoyer sur le serveur... via la le lien : http://wwwuser.cnb.csic.es/~squeezem/classifier.tar.gz
  2. Place it in /opt/miniconda3/SqueezeMeta/lib/
  3. (OPTIONNEL) remove the part of code wget -U '' -P $libpath http://wwwuser.cnb.csic.es/~squeezem/classifier.tar.gz; in the configure_nodb.pl.
  4. Run configure_nodb.pl /path/to/db. It will still complain about the ERROR 500, but then it should find the classifier.tar.gz that you put in the lib directory. To check that it worked, you can try to run java -jar /opt/miniconda3/SqueezeMeta/lib/classifier.jar. It should return the help screen from the RDP classifier.

Encore désolé du dérangement, je me tiens à votre disposition en cas de problème.

Théophile

Bonjour @To.B

La configuration (configure_nodb.pl /shared/bank/squeezemeta/db) a été faite et le téléchargement du "classifer" se fait bien:

configure_nodb.pl /shared/bank/squeezemeta/db
dbenaben@clust-slurm-client:~$ configure_nodb.pl /shared/bank/squeezemeta/db
Make sure that /shared/ifbstor1/bank/squeezemeta/db contains all the database files (nr.dmnd, etc...)

Downloading and unpacking RDP classifier...
--2021-04-30 15:45:21--  http://silvani.cnb.csic.es/SqueezeMeta//classifier.tar.gz
Resolving silvani.cnb.csic.es (silvani.cnb.csic.es)... 150.244.82.96
Connecting to silvani.cnb.csic.es (silvani.cnb.csic.es)|150.244.82.96|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 154722472 (148M) [application/x-gzip]
Saving to: ‘/shared/ifbstor1/software/miniconda/envs/squeezemeta-1.3.1/SqueezeMeta/lib/classifier.tar.gz’

100%[====================================================================================================================================================================================================>] 154,722,472 21.3MB/s   in 16s    

2021-04-30 15:45:37 (9.48 MB/s) - ‘/shared/ifbstor1/software/miniconda/envs/squeezemeta-1.3.1/SqueezeMeta/lib/classifier.tar.gz’ saved [154722472/154722472]

--2021-04-30 15:45:37--  http://silvani.cnb.csic.es/SqueezeMeta//classifier.md5
Resolving silvani.cnb.csic.es (silvani.cnb.csic.es)... 150.244.82.96
Connecting to silvani.cnb.csic.es (silvani.cnb.csic.es)|150.244.82.96|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 33 [application/x-md5]
Saving to: ‘/shared/ifbstor1/software/miniconda/envs/squeezemeta-1.3.1/SqueezeMeta/lib/classifier.md5’

100%[====================================================================================================================================================================================================>] 33          --.-K/s   in 0s      

2021-04-30 15:45:37 (5.62 MB/s) - ‘/shared/ifbstor1/software/miniconda/envs/squeezemeta-1.3.1/SqueezeMeta/lib/classifier.md5’ saved [33/33]

classifier/
classifier/classifier.jar
classifier/lib/
classifier/lib/TaxonomyTree.jar
classifier/lib/commons-cli-1.2.jar
classifier/lib/ReadSeq.jar
classifier/lib/jfreechart-1.0.13.jar
classifier/lib/AlignmentTools.jar
classifier/lib/jcommon-1.0.16.jar
classifier/lib/commons-io-2.4.jar

Updating configuration...classifier.jar
Done

Le "classifier" se trouve dans : /shared/ifbstor1/software/miniconda/envs/squeezemeta-1.3.1/SqueezeMeta/lib/classifier

Pouvez-vous nous donner une commande pour reproduire l'erreur ?

Oui biensur :

02.rnas.pl /shared/projects/oran_lake_meta/results/squeezemeta/sample_1-5/

Cela peut prendre un peu de temps car l'erreur survient en deuxième partie de cette étape.
Vous devriez rencontrer ce message d'erreur :

L'erreur que je vous ai mise plus haut provenait du forum car je pensais que le problème venait du téléchargement du classifier...

@To.B , j'ai corrigé une anomalie (le lien dans "bin" vers le classifier n'était pas fait)

Mes tests sont toujours en cours, mais ça devrait fonctionner.
Pouvez-vous me confirmer ?

L'étape en défaut est passée de mon côté. Je ne vais pas crier victoire trop vite mais il semble que le logiciel fonctionne correctement désormais. :wink:

Merci pour votre aide !

Théophile

1 J'aime

Bonjour @dbenaben, c'est encore moi...

J'ai rencontré un soucis avec l'étape numéro 9 du pipeline. J'ai demandé de l'aide sur le forum du logiciel et son auteur m'a dit de modifier le fichier /shared/software/miniconda/envs/squeezemeta-1.3.1/SqueezeMeta/scripts/09.summarycontigs3.pl par une version plus récente que je vous mets dans le lien ci dessous.
09.summarycontigs3.pl

Serait il possible que vous modifiez le script de votre côté car le fichier est en lecture seul du miens et je n'ai pas les droits pour le faire.

J'espère que ça sera la dernière fois que je vous embête avec ce programme mais normalement les suivants devraient pouvoir l'utiliser sans trop de soucis.

Passez un bon week-end.

Théophile
PS : voici le lien github de l'issue https://github.com/jtamames/SqueezeMeta/issues/294

Bonjour @To.B ,

Il me semble préférable d'installer une version plus récente (avec la correction) plutôt que de modifier le fichier/version.
L'installation de la version 1.4.0beta1 est en cours:

Une fois installé, restera plus que 13 étapes à passer :slight_smile:

Bonjour @To.B ,

C'est disponible (installé et configure_nodb.pl /shared/bank/squeezemeta/db exécuté sur la database déjà téléchargé)

module load squeezemeta/1.4.0beta1

Bonne fin de journée

Bonjour @dbenaben,

Le logiciel a tourné de mon côté sans soucis, il semble que le bug soit résolu.

Passez une bonne semaine !

Théophile