Erreur "disk quota exceeded"

Bonjour,

Je suis en train de télécharger des données depuis SRA sur un espace projet (/shared/projects/single_cell_myeloid).
Je suis bloqué car j'ai une erreur m'indiquant que le quota est dépassé. Cependant quand je vérifie l'espace disque occupé sur cet espace ça m'indique 467G.
Est-ce que l'espace disponible total est bien de 1 To? Pourriez-vous m'indiquer d'où pourrait venir ce pb?

Merci d'avance pour votre aide,
Guillaume

Bonjour Guillaume,

Nous avons dû baisser le quota alloué par défaut (1To --> 500Go) mais n'avons pas encore communiqué sur ce point (mea culpa), notamment pour ne pas saturer l'espace existant (l'achat d'une nouvelle solution de stockage est en cours mais a pris un peu de retard).

Le quota du projet single_cell_myeloid a été repositionné à 1To.

Désolé pour le désagrément. On reste à disposition si besoin.

Bonne journée

1 « J'aime »

Bonjour David,

Pas de soucis, en fait je viens de me rendre compte que vous me l'aviez bien spécifié par mail lors de la création de l'espace projet.
Merci pour le retour rapide et pour l'augmentation de l'espace.

Bonne journée,

Guillaume

Hi,

I am also receiving the following error. When I log on to the cluter. It seems that I still have alot of space left to save files.

parp1 [#-------------------]      17 /     250 GB

To double check the current size of my directory. I run the following command.

(base) [simeons@clust-slurm-client parp1]$ du -sh
18G

However, when I create a new folder, it complain that I cannot create directory because disk quota exceeded.

(base) [simeons@clust-slurm-client results]$ mkdir IFP
mkdir: cannot create directory ‘IFP’: Disk quota exceeded

Bonjour,

J'ai la même erreur, qui se manifeste quand j'essaie d'écrire un fichier ou de créer un dossier sur l'espace /shared/projects/rsat_organism/

(base) [jvanhelden@clust-slurm-client ~]$ cd /shared/projects/rsat_organism/;  echo "hello disk" > test
-bash: test: Disk quota exceeded

Pourtant je suis nettement au-dessous de mon quota

         rsat_organism [###-----------------]     372 /    2000 GB

Je n'ai pas le problème dans mon sweet $HOME :

(base) [jvanhelden@clust-slurm-client rsat_organism]$ cd $HOME; echo "hello disk" > test
(base) [jvanhelden@clust-slurm-client ~]$ more test
hello disk

@gseith , est-ce que ceci pourrait être lié au problème d'accès-disque du week-end passé ?

Bonjour Jacques,

C'est la limite du nombre de fichiers qui a été atteinte. J'ai doublé ce quota.

Merci @gseith

@gseith ,

J'ai à nouveau atteint la limite du quota.
En volume, je suis loin d'utiliser les 5To alloués (je suis à 547 Go), le problème vient sans doute du nombre de fichiers. Les génomes de RSAT comportent des milliers de bactéries, qui ont chacune des génomes relativement petits (3-10Mb). Il y a également certains génomes de métazoaires qui ne sont pas bien assemblés et ont donc des milliers de contigs différents.

@gseith , est-il possible de modifier de façon indépendante les quotas sur le volume et sur le nombre de fichier? Si oui il faudrait augmenter le nombre de fichiers (mais pas le volume, qui est plus que suffisant).

Merci

Jacques

Bonjour Jacques,
j'ai doublé le quota.

Il est techniquement possible de dissocier le nombre de fichiers de l'espace. Le problème aujourd'hui, c'est d'évaluer la part de chacun dans la quantité d'espace disponible. Que ce soit en volume ou en nombre de fichiers, si les ressources sont occupées sur l'un ou l'autre des critères, il ne reste plus rien (grosso modo, aujourd'hui quelqu'un crée 7 milliards de fichiers de 1KB, ce qui représente un total de 7TB de données réelles, tout l'espace de 2PB est utilisé). C'est pour cette raison que nous avons fait le choix, jusqu'à présent, de lier le volume à une proportion de quota et de nombre de fichiers, ce cela nous permet d'avoir une vision fidèle de la part de stockage utilisée par projet.

Cordialement,
Guillaume

Bonjour,

j'ai moi aussi une erreur de ce type, sur le projet mdm_db_computations. Je soupçonne que c'est du à un trop grand nombre de fichiers ouverts, car je suis loin d'avoir excédé mon quota de stockage (11/1000GB).
Pouvez vous s'il vous plait y remédier?
Merci beaucoup!

Ernest

[Errno 122] Disk quota exceeded: '/shared/ifbstor1/home/audeber/ernest/BIGFAM_parallel/GCF_00358/defense-finder-tmp/DF_1/hmmer_results/Nhi.search_hmm.err'
an error occurred during Hmmer execution: command = hmmsearch --cpu 0 -o '/shared/ifbstor1/home/audeber/ernest/BIGFAM_parallel/GCF_00358/defense-finder-tmp/DF_1/hmmer_results/MzaE.search_hmm.out' --cut_ga '/shared/home/audeber/.macsyfinder/data/defense-finder-models/profiles/MzaE.hmm' 'BIGFAM_parallel/GCF_00358/GCF_00358.proteins.faa'  : return code = 1 check /shared/ifbstor1/home/audeber/ernest/BIGFAM_parallel/GCF_00358/defense-finder-tmp/DF_1/hmmer_results/MzaE.search_hmm.err```

Bonjour,

En effet vous avez atteint le quota sur le nombre de fichier pour votre dossier home (150k fichiers > quota 100K).
Voter dossier "home" ( /shared/ihome/audeber) est un espace personnel de commodité.
Pour toutes les données de votre projet (données, script, résultats, etc) il faut utiliser l'espace dédié à votre projet (/shared/projects/mdm_db_computations ou demander un nouveau projet)

Je vous invite donc à déplacer vos données de votre "home" au dossier "projet".

Bonne journée

PS: pour faciliter le suivi des demandes, il vaut mieux créer un nouveau sujet. Pour la prochaine fois :wink:

Bonjour David,

J'ai un souci de disk quota. Je n'arrive pas à sauvergarder des fichiers ou même exécuter un script rmarkdown. Je reçois le message d'erreur: "Disk Quota Exceeded"
Y a t-il moyen de rajouter du quota aux 250 qui m'étaient initialement alloués?

Merci d'avance pour votre aide
Sidy

Bonjour Sidy,

Vous utilisez 10G/100G sur votre home, mais vous avez 132097 fichiers (limite à 100K), d'où le message d'erreur: "Disk Quota Exceeded".
Cela peut être dû aux environnements conda (conda génère de nombreux fichiers/liens).

Je vous invite donc a faire du ménage et/ou a déplacer les fichiers dans votre espace projet (musclestemcelltrajectory) qui est très peu utilisé.
Pour connaître le quota utilisé:

# Quota pour votre home:
lfs quota -h -p 163444 /shared/home/sfall

# Quota sur le projet:
lfs quota -h -p 163536 /shared/projects/musclestemcelltrajectory

Nous n'augmentons pas les quota sur les "home directory" mais pouvons augmenter les quota sur les espaces projets si besoin.

Dites-nous si c'est bon de votre côté.

PS: privilégiez l'ouverture d'un nouveau sujet (cela facilite le suivi et peut éviter que l'on passe à côté de vote demande).

Bonjour,

J'ai une erreur "Disk quota exceeded", je traite des données qui sont assez gros.

Et malgré avoir effacé certains fichiers, j'ai toujours l'erreur.

Pouvez-vous étendre mon quotas svp

En vous remerciant d'avance

Bonjour @Kmujangi ,

Vous stockez 150000 fichiers dans votre home (quota à 100k).
Pour voir votre quota: lfs quota -h -p 161036 /shared/home/kmujangiebeka

Je vous invite donc a faire du ménage et/ou a déplacer les fichiers dans votre espace projet (single_cell_immuno_profiling)

1 « J'aime »

Aussi, merci de privilégier l'ouverture d'un nouveau sujet pour nous faciliter la gestion des demandes (et éviter de passer à côté de votre requête).

1 « J'aime »