Demande informations création projet

Bonjour,

Je souhaiterai créer un nouveau projet afin de réaliser des analyses de données Hi-C et j'aurais quelques questions avant de lancer le process.

En estimant la taille des jeux de données et des fichiers intermédiaires lors de l'analyse, il me faudrait un espace de stockage supérieur aux 250GB disponibles par défaut.
Est-il possible de faire une demande pour un espace de stockage de 3TO au moment de la demande de création de nouveau projet ?

De plus, j'aurais des questions concernant les outils disponibles sur le Core Cluster afin de savoir comment paramétrer au mieux mon espace de travail et prévoir les éventuelles dépendances dont il faut que je demande l'installation dans le cas où ces ressources ne sont pas disponibles sur le Core Cluster.

Je prévois de réaliser ces analyses en utilisant l'outil Juicer qui possède une version créée pour utilisation en environnement SLURM (juicer/SLURM at main · aidenlab/juicer · GitHub).

Cependant, concernant les dépendances nécessaires, il est indiqué sur le Git :

For alignment and creation of the Hi-C pairs file merged_nodups.txt:

For .hic file creation and Juicer tools analysis:

For peak calling:

  • CUDA and an NVIDIA GPU
  • The native libraries included with Juicer are compiled for CUDA 7. Other versions of CUDA can be used, but you will need to download the respective native libraries from JCuda.

Sauriez vous me dire si les dépendances en questions sont disponibles sur le Desktop: Core ?

Bien cordialement,

Sofiane Safi-Stibler

P.S: Je précise, je me suis trompé concernant les dépendances, j'aurais voulu savoir si elles sont disponibles via le Core Cluster Shell Access et non pas Desktop: Core.

Cordialement,

Sofiane Safi-Stibler

Bonjour,

Est-il possible de faire une demande pour un espace de stockage de 3TO au moment de la demande de création de nouveau projet ?

Oui :slight_smile:

concernant les dépendances nécessaires

Je vous conseillerez d'installer vos outils dans un environnement (conda par exemple) ou container (singularity). Cela vous permettrais de gérer au mieux votre environnements. En revanche cela demande un peu plus de compétences techniques.

En vous connectant sur le cluster, vous pouvez voir les outils disponibles avec les commandes modules: Conda / Singularity / Module - IFB Core Cluster Documentation

GNU CoreUtils

C'est installé (par défaut) sur quasiment tous les environnement linux.
C'est bien le cas sur l'IFB.

Burrows-Wheeler Aligner (BWA)

Disponible:

$ module av bwa
bwa-mem2/2.2.1  bwa/0.7.17 

CUDA

Cuda est installé sur les noeuds GPU.

$ module av cuda
cudatoolkit/11.6.0

Bonjour,

Merci pour la rapidité de votre réponse ainsi que pour ces précisions et suggestions.

Etant donné que je n'ai jamais eu à le faire personnellement, a-t-il une page dédiée à la mise en place d'un environnement conda ?
Ou bien est-ce que le fait juste de charger conda via les commandes
module load conda
module conda create --name ENVNAME
module conda activate ENVNAME suffit a être dans l'environnement de travail ?
Et la commande module conda install -n ENVNAME PKGNAME1 PKGNAME2 est-elle bien celle à utiliser afin d'installer des outils/programmes/packages dans l'environnement de travail ?

De plus, afin d'être sûr, une fois dans l'environnement de travail, touts les outils, programmes, etc. doivent être installés et chargés en utilisant la commande module ?
Par exemple, après installation de fastqc, la commande à taper afin de l'utiliser est-elle bien module fastqc PARAMETRES ?

Etant donné que je n'ai jamais eu à le faire personnellement, a-t-il une page dédiée à la mise en place d'un environnement conda ?

Je vous invite à prendre en main la documentation conda qui est très bien faite: https://docs.conda.io/

Ou bien est-ce que le fait juste de charger conda via les commandes
module load conda
module conda create --name ENVNAME
module conda activate ENVNAME suffit a être dans l'environnement de travail ?
Et la commande module conda install -n ENVNAME PKGNAME1 PKGNAME2 est-elle bien celle à utiliser afin d'installer des outils/programmes/packages dans l'environnement de travail ?

module et conda sont deux outils complémentaires.

  • module permets de charger et d'utiliser des outils qui sont installés par nos soins.
  • conda permets de gérer son environnement soi-même (en installant les outils/version dont on en a besoin).

De plus, afin d'être sûr, une fois dans l'environnement de travail, touts les outils, programmes, etc. doivent être installés et chargés en utilisant la commande module ?

Si vous utiliser module, vous chargez le logiciel puis l'utilisez.
Si vous utiliser conda, vous chargez votre environnement conda et utilisez les logiciels.

Par exemple, après installation de fastqc, la commande à taper afin de l'utiliser est-elle bien module fastqc PARAMETRES ?

C'est plutôt qquelque chose come ça:

module fastqc
fastqc PARAMETRES

PS: accepteriez-vous de rendre notre échange publique ? (d'autre personnes se posent probablement les mêmes questions)

Bonjour et encore une fois merci pour la rapidité de votre réponse.

Je suis d'accord pour rendre notre échange publique, aucun problème.

1 « J'aime »