Erreur kraken2 Killed

Scientific support
1

Bonjour
j'essaie d'utiliser kraken2 sur un ensemble de fichiers de données de séquençage RAD. Après avoir chargé le module, je lance kraken comme ceci:

kraken2 --use-names --db /shared/data/bank/nt/kraken2/2024-05-30/ --gzip-compressed ${fastq}.fastq.gz --report ${fastq}.txt --unclassified-out ${fastq}kraken

L'analyse démarre puis j'ai cette erreur:

Loading database information...Killed

Est-ce un problème de mémoire? J'ai demandé #SBATCH --mem-per-cpu=100GB

Merci
Didier

2

Bonjour Didier,

En effet, certains de vos jobs (le dernier par exemple) sont tués cause 'Out Of Memory'.

 sacct -S 2024-11-20 -o JobID%15,JobName%20,ReqMEM,MaxRSS,AllocCPUS,Elapsed,State%20 -u daurelle
[...]
       42706210              Kraken2       400G                     4   00:07:21  CANCELLED by 164955 
 42706210.batch                batch            384604796K          4   00:07:28        OUT_OF_MEMORY

Il faut donc retenter en augmentant la mémoire.

Dites-nous ce qu'il en est !

3

Effectivement ça fonctionne avec plus de mémoire, j'ai dû augmenter à 1000GB quand même. Question supplémentaire: la base de données dans /shared/data/bank/nt/kraken2/2024-05-30/ semble être la version core_nt Database ?
Merci
Didier

5

Bonjour @dbenaben
Tous les jobs que je lance récemment echouent soit au début soit juste avant la fin, les erreurs sont liées à la memoire alors que je ne demande que 600GB de memoire et 100 de CPU au max
le dernier en date est celui-ci :42712853

Merci pour votre aide
Olivier

6

Bonjour Olivier,

Ca semble bien être une erreur du programme, pas un manque de ressource.
On peut regarder si vous nous donner l'erreur précise ou le fichier de sortie (le chemin/path du fichier de sortie).

PS: Pensez à regarder reportseff pour voir les ressources utilisées versus les ressources demandées: https://ifb-elixirfr.gitlab.io/cluster/doc/slurm/slurm_efficiency/#post-mortem-analysis-with-reportseff. Cela permets de vérifier qu'il n'y a pas un soucis avec le programme (ressource bien utilisée) et peut éviter de surallouer.

7

Bonjour @dbenaben
Tout semble être rentré dans l'ordre, j'ai relancé le script et il fonctionne sans erreurs.
Merci
Olivier

8

ok. Tant mieux alors.