MyQueue : interface en ligne de commande et front end Python pour la gestion des tâches HPC
MyQueue soumet et surveille des travaux de calcul via un outil en ligne de commande et une API Python, gérant les redémarrages automatiques pour les délais d'attente et les échecs de mémoire. Créé par J. J. Mortensen et l'équipe de développement de MyQueue pour des outils-utilitaires, l'outil unifie l'interaction avec SLURM, PBS et LSF, suit les travaux de manière persistante avec SQLite, et prend en charge les flux de travail basés sur des dossiers et les environnements virtuels Python. Il cible les chercheurs et les ingénieurs qui exécutent de nombreux travaux en cluster ou locaux et ont besoin de resoumissions automatisées et d'un suivi simple.
Que fait MyQueue en pratique ?
MyQueue agit comme un frontend pour les planificateurs HPC, acceptant les soumissions via la commande mq submit ou une API Python, puis synchronisant le suivi des tâches locales avec les planificateurs distants. Il enregistre les tâches terminées, échouées et en cours dans un magasin SQLite basé sur des dossiers, et peut fonctionner contre des machines locales ou des clusters distants utilisant SLURM, PBS ou LSF. L'entrée est un script de travail ou une tâche Python ; la sortie est l'état de la file d'attente visible via mq list.
Quelle est la fiabilité de la resoumission automatique pour les travaux échoués ?
L'application redémarre automatiquement les tâches qui échouent en raison de limites de temps ou d'épuisement de mémoire, ajustant les ressources lors de la nouvelle tentative selon la logique fournie. Ce comportement réduit les nouvelles tentatives manuelles en augmentant les ressources demandées après des signatures d'échec spécifiques. Le suivi persistant préserve les tentatives précédentes, vous permettant d'examiner l'historique des échecs avant d'accepter une resoumission. La logique de resoumission cible les erreurs liées aux ressources plutôt que les échecs arbitraires.
Est-il sûr de l'utiliser sur des clusters de production ?
MyQueue ne nécessite pas de base de données séparée ni de privilèges d'administrateur et stocke l'état localement avec SQLite et des dossiers, ce qui maintient les opérations transparentes. Il interagit avec les planificateurs en utilisant leurs commandes natives, donc il dépend du modèle de permission du planificateur pour la soumission et l'annulation des travaux. La conception de l'outil évite d'écrire des services système cachés ; il fonctionne à partir d'un environnement utilisateur et préserve les enregistrements de travail dans le dossier de travail.
Ai-je besoin de connaissances techniques pour l'exécuter ?
L'installation nécessite un environnement Python (Python 3.9 ou ultérieur) et une installation pip, et l'opération utilise des commandes en ligne de commande ou l'API fournie. Les utilisateurs occasionnels qui ne sont pas familiers avec les scripts de travail ou les environnements virtuels feront face à une courbe d'apprentissage car le flux de travail attend des descriptions de travaux de planificateur et l'activation de l'environnement. Les chercheurs et les ingénieurs de données qui préparent déjà des scripts de travail et des environnements virtuels constateront qu'il s'aligne avec les pratiques existantes.
Qui devrait adopter MyQueue et pourquoi
MyQueue convient aux chercheurs et aux ingénieurs qui soumettent de nombreux travaux de cluster ou locaux et souhaitent une resoumission automatisée en cas d'échecs liés aux ressources ; cela réduit le travail manuel de réessai tout en conservant l'historique des travaux dans un dossier local soutenu par SQLite. Attendez-vous à un flux de travail en ligne de commande ou de script et à une configuration initiale de Python et d'environnements virtuels. Recommandé.
