Demande d'accompagnement sur un projet de docking

@Francois
Super pour les 54 CPU. Je pense que ça suffira pour la suite. Ca me laissera le temps de traiter les résultats au fur et à mesure. Ca risque malgré tout de prendre 15 jours. Tenez moi au courant de ce que vous préférez suivant les demandes que vous préférez (allouer plus de puissance et aller plus vite ou prendre le temps).

Nous on préfère rien du tout. On essaye de faire en sorte que chacun puisse faire ses calculs sans trop pénaliser les autres, mais pour le covid19, on peux sans souci accorder plus de ressource que d'habitude.
Donc j'ai envie de dire, que c'est plutôt a vous de nous dire si avec 54 cœur c'est suffisant ou pas :wink:

Concernant le visio conf, en faite ça va être compliquer pour 17h ce soir, du coup peut-être en début de semaine prochaine si c'est encore pertinent a ce moment la.

1 J'aime

@Francois @julien

Bonjour l'équipe,
J'espère que vous allez bien. Je vous fais un retour suite à ce week-end. J'ai voulu avancé et j'ai lancé quelques runs. J'ai eu quelques problèmes.

  • le premier est que certains runs ne vont pas jusqu'au bout (98 molécules testées sur 100) ;
  • le second est que l'application semble fermer la session si je ne traite pas les résultats 15 minutes après la fin du run (ce qui me fait perdre les données) ;
  • depuis hier soir, je n'arrive pas à me connecter au serveur : après avoir tapé la commande sinteractiv --cpus=54, la session charge dans le vide mais rien ne se passe;
  • le dernier point concerne les logiciels DockingApp et DockingAppRF. Je ne peux pas copier/coller la colonne de résultats qui m'intéresse, je suis obligé de faire case par case. Pour 100 molécules, ça va mais quand je vais passer sur la banque de 6500 composés, j'ai moins apprécié. J'ai vu avec le développeur de l'application qui m'a confirmé qu'il n'y a pas cette fonctionnalité nulle part. Deux options possibles : soit il peut le faire et m'envoyer le nouveau dossier mais cela implique qu'il faille redéployer le logiciel, soit de votre côté vous pouvez rajouter cette fonction sur le logiciel ?

Sinon les runs se passent bien pour des banques relativement petites mais si je peux passer sur une capacité de calcul plus grande pour la banque ASINEX (6500 composés), je suis plus que preneur.

Je suis disponible pour échanger avec vous cet après-midi, demain après-midi, ou mercredi dans la journée.

Bonne semaine à tous et merci d'avance pour vos retours.

Baptiste

Bonjour,

On a eu quelques souci sur le cluster, voir Accès Cluster Down?

On pourra probablement pas modifié l'application nous même sans les sources, le mieux c'est que le développeur fasse la modification et qu'on mette a jour l'application sur le cluster.

Et ok pour la capacité de calcul plus importante, on va vous donner accès a bigmem

@bmartin, tu peux peut-être tenter ça, si ça n'est pas déjà le cas :

  • My SSH connection freezes or drops out after N seconds of inactivity.

This is usually the result of a packet filter or NAT device timing out your TCP connection due to inactivity. You can check the "Enable SSH keepalive" box under "Settings" --> "Configuration" --> "SSH" tab.
Enabling this option will ensure that the connection is kept "fresh" in the device's connection table.

Je pense qu'il maîtrise mieux son code que nous. Donc nous pourrons déployer une nouvelle version du soft avec cette nouvelle fonctionnalité.

1 J'aime

@gildaslecorguille
J'ai vu avec eux. Ils vont faire le développement nécessaire et il vont utiliser mon projet pour faire le test. Pour cela, je dois leur donner le système d'exploitation que j'utilise. Je vais leur communiquer les informations pour ma machine. Par contre, il faut que je leur communique également la version que vous avez utilisez pour le déploiement (système d'exploitation et version de Java) pour qu'on puisse le refaire avec l'update.

Merci !

C'est l'openjdk v8, mais on peux mettre un plus recent si necessaire, les details:

java -version
openjdk version "1.8.0_112"
OpenJDK Runtime Environment (Zulu 8.19.0.1-linux64) (build 1.8.0_112-b16)
OpenJDK 64-Bit Server VM (Zulu 8.19.0.1-linux64) (build 25.112-b16, mixed mode)

L'os c'est lunix, en l'occurence Centos 7

1 J'aime

Une solution est en cours de développement grâce à Patrick GUTERL de l'IPHC concernant l'extraction des résultats. Il travaille sur le développement d'un programme en Perl pour compiler les différents fichiers output (stockés dans le dossier "execution") pour en extraire les données sous format tab de façon à pouvoir les copier/coller dans un fichier Excel.

1 J'aime

@Francois
Bonjour,
Je voulais savoir quand il sera possible d'accéder à bigmem ? C'est juste une histoire d'organisation et de priorisation du workflow de mon côté.
Merci d'avance pour l'info :wink:

Bonjour Baptiste,

C'est fait, vous pouvez maintenant acceder a bigmem en lancant:
sinteractive --partition=bigmem --cpus=110

J'ai fait quelques tests avec + de 110 mais il avait pas l'air d'accepter.

Du coup DockingApp.sh est toujours configurer pour limiter à 54 cpu (dans sa configuration propre)
On peux laisser comme ca, et ca vous permet d'en lancer deux en même temps, ou alors changer la configuration pour mettre le même nombre de CPU.

Le fichier de configuration est la:
/shared/projects/docking_covid19/DockingApp/configuration.txt

2 J'aimes

@Francois
Super nouvelle, merci ! Par contre la commande ne semble fonctionner... Ca charge dans le vide sans pouvoir me donner accès au cluster... :frowning: :sweat_smile:

Quand ca charge dans le vide, la solution c'est de baisser le nombre de CPU.

Vous pouvez taper Ctrl C pour annuler le chargement et re-essayer avec moins de CPU.

C'est probablement en lien avec ca:

Je vais regarder ce qui se passe dans le details.

@Francois
J'ai essayé après avoir nettoyé mes sessions en cours ou mal fermées et ça ne fonctionnait pas non plus. La j'ai un job qui tourne sur le 54 CPU car je viens de le lancer.

En tout cas le nettoyage a bien marché, je ne vois qu'une seul session sinteractive c'est celle avec 54 CPU qui est en cours.

Vous avez bien rajouter l'option --partition=bigmem a sinteractive quand vous avez essayer avec plus de CPU ?

@Francois
Oui, j'ai essayé de l'enlever et ça ne marche pas du tout (commande non valide). Mais quand je lance la commande complète, ça charge mais sans aboutir. Peut-être que je ne suis pas assez patient ? :roll_eyes:

Bonjour @bmartin ,

La machine/partition dite "bigmem" est déjà sollicité (4 jobs sont en train de tourner).
Elle n'est donc pas disponible actuellement (et potentiellement pendant encore un moment.. difficile de dire quand elle se libérera). C'est pourquoi votre commande (sinteractive) sur cette machine/partition reste en attente.

Hmmm. Je me suis trompé. Il reste encore de la place sur bigmem.
Pouvez-vous re-essayer en diminuant le nombre de CPU demandé ?

@dbenaben @Francois
Je viens de tenter avec 80 CPU et ça marche, je vais tester ça ce soir sur quelques runs. Merci !

Point de suivi concernant le traitement de grosses banques de molécules.

J'ai pu travailler avec Patrick GUTERL sur la parallélisation des calculs. Les développements sont en cours pour pouvoir traiter plusieurs dockings en même temps dans le cadre d'un criblage virtuel, tout ça pour gagner en efficacité et en temps de calcul. Je vous tiens informé quand nous aurons validé le process.

1 J'aime