Aucun espace disponible sur le périphérique

Bonjour,

depuis hier j'ai un grave problème : la grande majorité de mes jobs se kill au bout d'un moment parce que "Aucun espace disponible sur le périphérique", ou en anglais "No space left on device"

Portant, quand je vérifie j'ai largement assez de mémoire à la fois sur mon projet (sordanlr) et sur mon home :

Disk quotas for prj 160573 (pid 160573):
Filesystem used quota limit grace files quota limit grace
/shared/projects/sordanlr
4.146T 4.883T 7.324T - 1528160 5000000 7500000 -

Disk quotas for prj 160571 (pid 160571):
Filesystem used quota limit grace files quota limit grace
/shared/home/lbonometti
5.929G 100G 150G - 2860 100000 150000 -

En lançant les mêmes jobs, certaines fois ils marchent, et d'autres non. Parfois, même, certains arrays ne se lancent pas du tout. Enfin, tout à l'heure je n'ai même pas pu faire un simple sed.

Pourriez-vous m'aider à comprendre ce que je fais mal, ou me dire s'il y a un problème avec le cluster ?

Merci,

Lucas Bonometti

Même chose pour moi, et ce depuis hier.

sbatch: error: Batch job submission failed: I/O error writing script/environment to file

Bonjour,
J'ai exactement le même problème en lancant des jobs.
Erreur : "No space left on device"
Pourtant, j'ai plus de 1 TB de libre dans le projet.

Bonjour,

En effet, je reproduis bien le problème. Pas d'explication pour l'instant...
On continue d'investiguer.

Une table des inodes à saturer.
Nous regardons des solutions de contournements.

En attendant, il peut y avoir encore des anomalies.

L'écriture sur le stockage du cluster est temporairement impossible. Nous travaillons sur ce problème

Les problèmes de stockage ne sont pas encore complètement résolus.
Nous espérons pouvoir restaurer le service demain matin vendredi.
Mais en attendant nous avons retiré l'acces aux noeuds de login et nous n'acceptons plus aucun nouveaux jobs.

Le problème est résolu, et l'accès au cluster est rétabli.
Il est à nouveau possible de lancer de nouveaux jobs.

Super, merci beaucoup !!

Bonne journée,

Lucas Bonoemtti