Installation de librairie python HAIL

Bonjour,

Je souhaiterai installer la librairie python Hail sur le cluster. Elle permet de traiter la banque de données gnomAD qui est déjà disponible sur le cluster mais je ne la trouve pas.

https://hail.is/docs/0.2/install/linux.html

Merci!
Fanny

Bonjour @fpouyet, nous n'avons pas pour habitude d'installer des librairies python dans les versions chargeables par module, mais vous pouvez installer la librairie hail localement (dans votre home /shared/home/fpouyet par exemple).

Pensez a vous connecter a un noeud de calcul avec srun --pty bash, et lancez depuis votre home:

module load python/3.9
python3 -m venv .hail
source .hail/bin/activate
pip install hail

J'ai testé l'import de la librairie dans la console python et ca a l'air de fonctionner, mais n'hésitez pas a réouvrir le sujet si vous rencontrez des problèmes avec cette installation locale.

Bonjour je réouvre le sujet car je ne comprends plus comment lancer des jobs du coup.

En local j'ai réussi a installer hail comme dit ci dessus ! Merci !

Maintenant je veux lancer plusieurs jobs mais srun est en interactif. Comment je fais pour lancer un sbatch monjob.sh pour lequel dans monjob je veux faire un modeul load python puis appeler hail ?

Il me manque une marche d'explication.. désolée !

Bonjour Fanny,

Si vous utilisez un version python déjà présente, via module, il faut installer votre module pour cette version de python.

Par exemple:

module load python/3.9
pip install hail

L'installation du module se fera alors dans votre /home directory (valable uniquement pour cette version de python).

Par la suite, il suffit juste de charger le module dans votre script sbatch:

#!/bin/bash

#SBATCH <...>

module load python/3.9

# Et lancer la commande ou script python
# Les packages installés (i.e. hail) sont déjà présents
python <...>

Comme le propose Arthur, vous pouvez également créer un environnement virtuel python.
Installer le package hail dans l'environnement.
Il faut alors charger le module et activé cet environnement dans votre script sbatch:

#!/bin/bash

#SBATCH <...>

module load python/3.9
source .hail/bin/activate

# Et lancer la commande ou script python
# Les packages installés (i.e. hail) sont présents dans l'environnement activé
python <...>

Dites-nous si c'est ca fonctionne pour vous.