Bonjour,
Je rencontre des problèmes d'écritures de fichiers sur le cluster :
- Deux fichiers de sorties normalement volumineux (~45Go) sont créés vides (néanmoins, pas à tous les coups pour le premier).
- Une compression du fichier d'entré, après l'écriture des deux fichiers de sortie, aboutit à la création d'une archive incomplète (Erreur "unexpected end of file" lors du dézippage)
- Néanmoins, d'après les logs .o/.e, aucune erreur n'a eu lieu dans chaque cas de figure.
J'ai déjà rencontré ce genre d'erreur par le passé, qui était alors liées à des problèmes de dépassement de quotas de mémoire. Sauf que je suis sur un projet (/shared/projects/viroplant/ , donc 1To de stockage ?) et l'ensemble de mes fichiers n’excèdent pas les 200Go avant compression.
Par ailleurs, si je fais tourner mon workflow sur un sous-échantillon de mes données, tout se déroule alors sans aucun problème, ces erreurs n'apparaissent pas. Les scripts semblent donc hors de cause aussi.
Bref, je n'ai pas la moindre idée de ce qui cloche. Quelqu'un aurait-il des suggestions ?
Merci d'avance,
Aymeric