Options stockage s3 avec DVC

Scientific support
1

Bonjour,

Je développe un bibliothèque de analyse de métrologie en microscopie ( GitHub - MontpellierRessourcesImagerie/microscope-metrics ). Pour cela je fais tourner des test automatisées sur des données synthétiques ainsi que réels. Si bien la bibliothèque distribue le code de generation des données synthétiques, je peux pas distribuer les données pour les tests sur des images brutes.

J'utilise dvc (https://dvc.org/) pour gérer et versionner mes données brutes localement mais j'ai besoin de pouvoir les distribuer. Idéalement à travers d’un stockage S3 ouverte en lecture que je pourrais gérer avec dvc. Autres options au s3 sont disponibles.

En termes de volume ça serais relativement petit (je ne pense pas dépasser le To) et en termes de trafic, vu que c'est une bibliothèque en développement je attend vraiment très peu.

Est-ce que l’IFB peut proposer cette type de service ou est-ce que quelqu’un connais une autre alternative?

2

Bonjour,

L’IFB n’offre pas ce type de service actuellement.

DVC serait utilisable sur le cluster IFB (via SSH/SFTP) mais pas pour distribuer.

Côté S3 plusieurs initiatives existent aujourd’hui notamment celles portés par les mésocentres et notamment celui de Montpellier: https://isdm.umontpellier.fr/infrastructures/
Je vous invite donc a contacter l’ISDM-MESO (Devenir utilisateur).

N’hésitez pas à nous partager vos pérégrinations ou solutions trouvées.

Bonne journée

3

Bonjour,

Merci pour le retour. J’avais deja demandé au meso-centre de Montpellier mais pas eu de réponse. Je pense que j’avais frappe a la mauvaise porte ou le mail a disparu parmi toutes les mails que on reçoit. Je ressaie et je postera les résultats.

Pour info, j’avais demande a la DSI du CNRS mais la réponse est que ils gèrent que des solutions de spectrum large. Ce que est assez comprensible.

Bonne journée, Julio