Bonjour,
Est ce que quelqu'un s'est déjà penché sur la question du NUMA ?
Bwa mem2 indique :
In multi-socket system, it is beneficial to bind the process memory to a socket
Linux command numactl can be used to bind process memory to a given numa domain
For exmaple, the following command binds the memory to socket-0
$ numactl -m 0 bwa-mem2 mem -t 10 -o datasets/aln-se.sa datasets/hg38.fa datasets/SRR099967.filt.fastq
Similarly, the process threads can be bound to cores.
$ numactl -m 0 -C 0-9 bwa-mem2 mem -t 10 -o datasets/aln-se.sa datasets/hg38.fa datasets/SRR099967.filt.fastq
Est ce que ça a un réel intérêt en terme de temps de calcul ? Et si oui est ce que ça peut se faire facilement avec slurm ? Ou c'est vraiment quelque chose de très (trop) compliqué ?
Quentin
Bonjour; je ne sais pas si cela a un gros impact en terme de temps de traitement mais j'ai vu que l'on pouvait demander à SLURM de contrôler les ressources plus finement dans un noeud de la façon suivante :
--cpu_bind=sockets/cores/threads
Personnellement je n'ai pas testé mais ce serait intéressant de nous faire un retour si cela vaut le coup.
Merci pour la réponse.
Je viens de lancer bwa mem2 pour tester, mais je viens de me rendre compte que les cpu ne sont pas tous les mêmes entre les noeuds, et en particulier la je suis sur un noeud avec un processeur qui a un jeu d'instruction avx ce qui va le rendre plus lent que la dernière fois ou j'avais de l'avx2...
Je viens de finir un premier test en le mettant sur le même type de processeurs que la dernière fois pour avoir de l'avx2. nombre de cpu et ram identique, en temps normal l'alignement de cet échantillon met 9,2h.
En rajoutant l'option :
#SBATCH --mem-bind=local
#SBATCH --exclusive
et en lancant avec
srun --cpu-bind=sockets bwa-mem2 ...
Ca a mit 7h.
Maintenant ce qui serait intéressant c'est de voir si j'arrive à lancer en même temps deux alignements en parallèle avec un alignement par socket pour ne pas avoir de cpu inutilisés dans le noeud tout en gardant le gain de rapidité.