Bonjour,
Je suis en train de faire des alignements sur des génomes avec BWA, mais mes jobs finissent en time out après environ 24h.
Pourquoi et que puis-je faire pour améliorer ?
Bonjour Chloé,
La premier "time out" peut provenir du "TimeLimit".
Si je déclare un time=1-00:00:00 (soit 1 jours), alors mon job sera automatiquement tué par le gestionnaire de jobs (slurm) après 1 journée (ie si le job tourne toujours au bout de 1j).
Il faut donc préciser plus si besoin: time=3-00:00:00 (3j par exemple)
Du plus, par défaut, les jobs vont utiliser une partition dite "fast" où les jobs ne peuvent dépasser 24h.
Dans le cas de jobs plus long, il faut demander la partition dite "long".
Ces partitions nous permettent d'appliquer des règles différentes (pour info, on pense basculer une partie de ces règles vers le système de QoS).
Les partitions sur l'IFB: Slurm at IFB - IFB Core Cluster Documentation
Il faut donc préciser au lancement du job l'option --partition=long
Au final, pour un job qui va durer plus de 24h, on doit avoir quelque chose comme ça:
#SBATCH --time=3-00:00:00 # 3j à affiner suivant le besoin
#SBATCH --partition=long
A noter que parfois on peut essayer de travailler le code/script pour avoir plus de "petits" jobs que des jobs "longs" (on peut par exemple découper le jeu de données en plusieurs petits jeu de données). De manière générale, il vaut mieux privilégier cette approche mais c'est pas toujours possible...
Merci pour votre réponse !
Je vais rajouter ça et m'informer pour avoir de plus "petits" jobs.
1 « J'aime »