Nombre de fichiers autorisés HOME dépassé!

IFB Core Cluster
1

Bonjour,
je vois sur mon overview des projets le message suivant coloré en rouge :

  [####################]  102663 /  100000 FILES

compte = mkondili

:face_with_hand_over_mouth:

Pourriez vous m'aider à trouver de quels fichiers il s'agit pour les effacer ? J'ai nettoyé le
.cache , j'ai regardé les fichiers temp des sessions rstudio, mais sinon je sais pas où peuvent être ~2600 fichiers de plus !

Sont- ils calculés en tenant en compte les fichiers des projets aussi , ou que les fichiers dans Home ?

2

Bonjour,

Le retour sur le nombre de fichier concerne bien le /home (et le home uniquement).

Pour visualiser les données d'un dossier, j'aime beaucoup utiliser la commande ncdu (par exemple, ncdu ~/).
Cela permet de voir la taille de chaque dossier mais aussi le nombre de fichiers.
Pour ça, un fois ncdu ouvert, il faut taper "c" pour afficher le nombre de fichiers, puis éventuellement "C" pour trier par nombre de fichiers.

Dans votre cas:

  • .local/lib 44k fichiers (33k dans python3.7 et 9k dans python3.6)
  • Tools_Packages/CellRanger_ARC/cellranger-arc-2.0.2/external/anaconda 23k fichiers
  • R/x86_64-conda-linux-gnu-library avec 21k fichiers (18k pour 4.2, 2k pour 4.4, 2k pour 4.3)
  • ...
1 « J'aime »
4

Bonjour,
Je reviens sur ce sujet, parce que les fichiers continuaient à se cumuler, après nettoyage des 'lib' d'anciennes versions python et R.
Le plus gros volume était pris par les packages des environnements virtuels conda , qui sont stockés sur ~/.conda/pkgs.
Je voudrais écrire du coup ici pour avoir une trace de ce problème, si d'autres la rencontrent.

J'ai dû aller re-activer mon dernier env, et faire :

conda clean --force-pkgs-dirs

Après, j'ai récrée l'environnement dans le dossier du projet :

cd /shared/projects/<my_project>/
conda create --name  conda_sc_env -p /shared/projects/<my_project>/
conda activate  /shared/projects/<my_project>/conda_sc_env

#( la parenthèse qui apparaît à gauche de notre nom d' utilisateur pour l'env.activé va contenir tout le path !)

# install packages nécessaires
conda install -c conda-forge scanpy python-igraph leidenalg

taille de fichiers = 934M

C'est mieux je pense pour ne pas se retrouver avec HOME encombré chaque fois que l'on a besoin d'un env !
Qu'est-ce que vous en pensez ?

5

Qu'est-ce que vous en pensez ?

Oui c'est ce que nous conseillons de faire: créer l'environnement dans l'espace projet (option --prefix de conda).
L'espace projet est extensible contrairement au home, et avoir l'environnement logiciel lié au projet à du sens.