Problèmes TREEMIX

Bonjour,

J'ai fait tourner plusieurs fois Treemix sur la partition long pour déterminer le nombre optimal d'angles de migration m, avec 15 repetitions pour chaque m, et j'ai rencontré plusieurs problèmes:

  • le job ne s'arrête pas (tjs en statut RUNNING) alors qu'il n'y a plus de fichiers output générés
  • chaque combinaison rep*m génère 7 fichiers output ; or certaines combinaisons n'ont pas ce nombre, ce qui pose des pbms dans l'analyse optM
    Avez-vous déjà rencontré ce type de problèmes ? Y a-t-il des solutions connues ? J'ai trouvé peu de choses sur la toile...ci-dessous le script bash .
    Merci d'avance pour votre aide,
    Emmanuel
#!/bin/bash
#SBATCH -o slurm.%N.%j.out
#SBATCH -e slurm.%N.%j.err
#SBATCH --mail-type END
#SBATCH --mail-user wicker@cirad.fr
#
#SBATCH --partition long
#SBATCH --cpus-per-task 12
#SBATCH --mem 10GB



#for choosing the optimal m: number of migration events
module purge
module load treemix/1.13

# Bibliography: usually 10 to 15 iterations are made
mkdir test2_pol
for m in {1..15} #set the migration edges. Ranged to 15 
    do
    for i in {1..15} #set the number of runs per m (number chosen from Daron 2021)
       do
       treemix \
       -i tr4c3p_input.gz \
       -o ./test2_pol/tr4c3p.${i}.${m} \
       -global \
       -m ${m} \
       -k 500 #to account for LD, SNPs are grouped by blocks of 500 (from Daron et al 2021)
    done
done

Vous pourriez nommer vos jobs pour une meilleure traçabilité avec un sacct

srun -J treemix-m${m}-i${i} treemix \

Pour gagner en performance, il est possible de paralléliser au moins une des 2 boucles via des job_array
https://ifb-elixirfr.gitlab.io/cluster/doc/slurm/slurm_advanced_guide/#job-array

Merci pour les conseils, je vais améliorer çà. Je ne connaissais pas les job array..
Mais sinon, comment expliquer que le job est toujours en statut RUNNING alors que TREEMIX n'envoie plus d'outputs ?

Aucune idée. C'est outil ou script dépendant, ça ne me semble pas lié à SLURM

Sauf si... il faut que nous regardions
Tu as le numéro du job ?

(ping @jhaessig)

23620159 (c'est un job que j'ai tué hier du coup)

Bonjour,
Un test simple est de préfixer la commande treemix avec un "echo" et la modifier légèrement pour créer les fichiers qu'il devrait créer. Cela permettrait de vérifier que le script fonctionne bien avant de se pencher sur ce que fait treemix.

JCH