Je n'arrive plus a lancer de commande ni en srun ni en sbatch

Bonjour,

je n'arrive plus depuis ce matin à lancer des commandes, ni quand j'utilise le terminal avec srun, ni quand je lance un petit script…
j'ai essayé avec flye, canu, nanofilt … rien ne se lance, on m'alloue des ressources et on me met dans la queue et j'ai ce retour de suite … sans output de sortie
avec un srun
job 14737367 queued and waiting for resources
srun: job 14737367 has been allocated resources
2.8.1-b1676

srun NanoFilt -l 5000 -q 10 ../data/reads_ONT/Mbv-F12831/Mbv-F12831.fastq.gz | gzip > Mbv-F12831_HighQ.fastq.gz
srun: job 14737372 queued and waiting for resources
srun: job 14737372 has been allocated resources
ERROR:root:'utf-8' codec can't decode byte 0x8b in position 1: invalid start byte

avec un sbatch et script
Step 1 : Flye + Pilon
2.8.1-b1676

Bon ça fait un bail que je n'ai rien lancé sur le cluster mais je me demande si je n'ai pas été black listé ou autre … ou si j'ai fait une erreur ?!?!?
merci pour votre retour en tout cas …

Chloé

Avec le sbatch, vous n'avez pas de fichiers des sorties standard de créé ?


srun NanoFilt -l 5000 -q 10 ../data/reads_ONT/Mbv-F12831/Mbv-F12831.fastq.gz | gzip > Mbv-F12831_HighQ.fastq.gz

Notez cette ligne pose problème. NanoFilt est bien lancé sur un node de calcul via slurm mais pas le gzip, il sera lancé sur le login node (ce qu'il faut éviter). Il est préférable quand on chaîne plusieurs commandes d'utiliser par example :

sbatch --wrap  "NanoFilt -l 5000 -q 10 ../data/reads_ONT/Mbv-F12831/Mbv-F12831.fastq.gz | gzip > Mbv-F12831_HighQ.fastq.gz"

Merci @gildaslecorguille, c'est un bon conseil pour l'enchainement de commande.
Par contre, en sbatch, non je n'ai rien en fichiers de sortie !
c'est comme si il refusait de lancer l'assembleur (flye ou canu) et ensuite il me met des messages d erreurs sur la suite de mes commandes car la première n'est pas lancée …
je ne comprends pas pourquoi.

Peut-être un full quota ?
Sur quel espace projet travailles-tu ?

je travaille sur shared/projects/mbovis_diversity …
j'ai fait du ménage pourtant semaine dernière.
quand je regarde mes jobs en cours (je ne connais que sacct -u cambroset) je vois que j'ai un job qui tourne (14737997_1)et un en attente sur la partition longue (14738056) ..
je suis full du coup ou non ?
comment voir ça ?
:slight_smile:

Il y n'y a pas encore de quota que l'usage CPU (mais ça viendra :smiling_imp:).
C'est juste que nous sommes en effet full pour le moment sur cette partition.

Et non, l'usage disque du projets mbovis_diversity est de 488 / 750GB

Help @team.ifbcorecluster !

@Chloe J'espère que vous nous avez pas attendu...

Pas vraiment de solution, mais l'erreur me fait penser à un pb avec le fichier (mauvais transfert, pb encodage, ...):

ERROR:root:'utf-8' codec can't decode byte 0x8b in position 1: invalid start byte

Avez-vous pu trouver ce qui coince ?

@dbenaben oui j'ai pu trouver ce qui n'allait pas merci beaucoup :smiley:

Chloé

Tant mieux @Chloe :slight_smile:
N'hésitez-pas à partager la solution ou le couac rencontré ici-même avec nous (cela sert toujours d'expérience).