Your SlideShare is downloading. ×
Copyright 2009 ORSYP
Job Scheduling sous
Linux
Copyright 2009 ORSYP - 1 -
Le Job Scheduler de Linux « Cron » est très spartiate en termes de fonctionnalité.
Pour contrô...
Copyright 2009 ORSYP - 2 -
temps. Voici un exemple : une instruction de planification dans cron prendrait la forme
suivan...
Copyright 2009 ORSYP - 3 -
plusieurs jobs en groupes et les traiter comme une unité unique dont l’exécution réussie
sert ...
Copyright 2009 ORSYP - 4 -
Dollar Universe Solutions
La ligne de produits Dollar Universe Solutions d’ORSYP peut être ins...
Upcoming SlideShare
Loading in...5
×

Fr linux job_scheduling

679

Published on

0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
679
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
4
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

Transcript of "Fr linux job_scheduling"

  1. 1. Copyright 2009 ORSYP Job Scheduling sous Linux
  2. 2. Copyright 2009 ORSYP - 1 - Le Job Scheduler de Linux « Cron » est très spartiate en termes de fonctionnalité. Pour contrôler les processus automatiques à un niveau professionnel, il est nécessaire de recourir à des solutions spécialisées telles que Dollar Universe Solutions. De cette façon, le Batch Processing est non seulement plus efficace mais aussi indépendant des plates-formes. Les changements majeurs observés dans le monde informatique au cours de ces dernières années, notamment la fragmentation des anciennes structures monolithiques et le rôle croissant des systèmes ouverts, ont également redéfini en profondeur les exigences relatives aux Job Schedulers. Le Batch Processing est désormais utilisé dans toutes les variantes de systèmes et de plates-formes des grandes entreprises. Partout où des applications professionnelles telles que SAP sont utilisées sur les fermes de serveur Windows, les systèmes Unix et, bien sûr, les hôtes Linux, la fonctionnalité de Job Scheduling est essentielle en matière d’exigences de contrôle des processus. Le terme « job » désigne ici un programme exécutable de façon indépendante qui effectue des tâches spécifiques. Un processus consiste en plusieurs jobs partiellement indépendants qui sont coordonnés en vue d’exécuter des tâches cohérentes. Les exigences relatives aux systèmes batch se résument ainsi : • débit : maximisation du nombre de jobs et de processus • temps d’exécution : minimisation du temps entre le début et la fin d’un processus • optimisation de l’UC : optimisation constante de la charge de processus de l’UC Exécution automatique des jobs Unix, et par conséquent également les systèmes Linux, possèdent un processus système (Daemon = Disk And Execution MONitor) appelé « cron » qui exécute les commandes en temps voulu et constitue en quelque sorte un Job Scheduler semi- automatique. Dans cron, les moments d’exécution et les commandes peuvent être définis de trois façons : • at : la commande est lancée au moment spécifié (par exemple : at [-f file ] time [date]) • batch : la commande est lancée comme fonction de la charge système (par exemple : batch [file]) • crontab : la commande est lancée à intervalles réguliers. Le cas échéant, l’intervalle de répétition doit être spécifié. L’une des différences majeures entre un programme crontab et les solutions de Job Scheduler comme Dollar Universe d’ORSYP tient au fait que Dollar Universe permet une spécification beaucoup plus large et plus flexible des temps d’exécution des jobs. Cette solution permet une planification beaucoup plus polyvalente : par exemple, elle fait automatiquement la distinction entre les jours ouvrés, les week-ends et les vacances. Dans un environnement crontab, toutes ces informations doivent être définies manuellement. Par ailleurs, Dollar Universe permet d’exécuter des jobs en se basant sur l’exécution réussie d’autres jobs, ou en fonction de la disponibilité ou de la non-disponibilité de certains fichiers ou certaines ressources. Après le lancement, les jobs peuvent également être exécutés selon d’autres conditions ce qui permet de gagner beaucoup de
  3. 3. Copyright 2009 ORSYP - 2 - temps. Voici un exemple : une instruction de planification dans cron prendrait la forme suivante : « Imprimer le fichier une heure après que toutes les modifications aient été entrées. » Sachant que le processus de mise à jour prend 30 minutes, le fichier devrait être imprimé 30 minutes après. Mais que se passe-t-il en cas d’échec du processus de mise à jour ? La commande d’impression ne serait pas lancée. En revanche, avec Dollar Universe, l’instruction de planification serait formulée ainsi : « Lancer l’impression lorsque la mise à jour a été effectuée avec succès ». Dans cette situation, crontab est extrêmement restrictif alors que Dollar Universe Solutions offre un niveau de flexibilité très élevé. Pour résumer, crontab se limite à l’automatisation des tâches. En revanche, Dollar Universe est capable de réagir avec flexibilité à des évènements spécifiques en se basant sur des règles préalablement définies et, outre ses capacités d’automatisation, il assure également le contrôle des processus. Grâce à l’intégration d’activités de contrôle, les solutions de Job Scheduling permettent de réaliser des économies considérables ou d’augmenter de façon significative la productivité du personnel opérationnel : avec Dollar Universe, seul 5 % environ de la main-d’œuvre requise avec une solution comparable basée sur cron est nécessaire. Partout où un système Linux est en service dans un environnement multi-plates-formes et qu’un Batch Processing doit être exécuté à travers des plates-formes multiples et par conséquent à travers les limites système, l’utilisation d’un Job Scheduler indépendant de la plate-forme est une nécessité absolue. Dans ce cas, Dollar Universe peut totalement remplacer cron parce qu’il dispose de toutes les fonctionnalités locales de ce dernier. Cependant, si, pour quelque raison que ce soit, cron doit quand même être utilisé sur certaines machines, Dollar Universe est naturellement capable de réagir aux « évènements cron » tout comme à un autre évènement. Même dans un environnement Linux pur, Dollar Universe offre une plus grande transparence des processus par rapport à cron seul et, par conséquent, garantit un rendement de l’investissement plus rapide. Le Job Scheduling basé sur des évènements Dans le cas d’un Job Scheduling trans-plates-formes (de Linux jusqu’à de gros systèmes en passant par Unix, Windows, VMS, OS/400), comme par exemple Dollar Universe Solutions d’ORSYP, l’objectif principal est de traiter autant de tâches que possible dans le délai le plus bref et avec le nombre de dysfonctionnements le plus limité possible. Le critère utilisé pour exécuter le traitement des jobs est fondamental pour le concept de Batch Processing. Outre le moment d’exécution (qui peut aussi être défini à l’aide de crontab), il est possible d’utiliser tous les autres critères. Le Job Scheduling basé sur des évènements – le moment d’exécution est notamment un type d’évènement spécifique – se caractérise en ce que chaque processus devant être identifié dans un système informatique peut également être utilisé comme condition de démarrage d’un mode de fonctionnement batch, à savoir par exemple : le démarrage d’une base de données, la suppression ou la création d’un fichier, une alarme système, le non-respect d’une charge minimum ou maximum prédéfinie, un volume de données déterminé, etc. Une solution de Job Scheduling doit également être capable d’interrompre, de déplacer ou de redémarrer des jobs en cours, et ce indépendamment du fait qu’elle soit utilisée « uniquement » sous Linux ou dans un système « trans-plates-formes », par exemple pour le contrôle d’environnements SAP hybrides. Cron étant limité au lancement de jobs indépendants, il est nécessaire de recourir à des solutions plus larges lorsqu’il s’agit de jobs interdépendants. Les Job Schedulers modernes globaux tels que Dollar Universe Solutions peuvent si nécessaire combiner
  4. 4. Copyright 2009 ORSYP - 3 - plusieurs jobs en groupes et les traiter comme une unité unique dont l’exécution réussie sert de condition de démarrage à d’autres jobs ou groupes de jobs. Tableau : Rendement du Job Scheduling Crontab Dollar Universe Solutions Nombre de jobs par jour 800 800 Jours de travail par an 240 240 Surveillance des jours-personnes 1200 5 Diagnostic et correction des problèmes (jours-personnes) 1440 192 Total de jours- personnes 2640 197 Le Scheduling dans les systèmes batch Selon une définition communément acceptée, le Scheduling est une assignation temporelle de processus (tâches) aux UC (processeurs) selon des dépendances définies et des moments d’exécution spécifiés. Les dépendances du processus peuvent être décrites schématiquement et seuls les Schedulers sans interdépendance cyclique sont autorisés. Différentes procédures sont utilisées lors de la planification du processus, notamment : • First Come First Serve (FCFS) : les tâches sont assignées au processeur en se basant sur leur séquence d’arrivée ; les processus de fonctionnement ne sont pas interrompus (non-préemptif) et aucune dépendance entre les processus n’existe. • Shortest Job First (SJF) : le processus pour lequel le temps de traitement est le plus court est traité en premier. Les processus non-préemptifs les plus courts sont prioritaires. • Shortest Remaining Time First (SRTF) : le processus avec le temps de traitement restant estimé le plus court est toujours calculé ; les processus préemptifs courts sont prioritaires et le temps d’attente moyen est optimisé. • Three Level Scheduling : un Admission Scheduler définit les priorités en se basant sur le temps de traitement estimé, les exigences I/O, etc. ; un CPU Scheduler exécute les stratégies FCFS, SJF ou SRTF ; et un Memory Scheduler garantit, par exemple, qu’en cas de surnombre des tâches dans la RAM, les processus sont exportés vers les systèmes de stockage connectés.
  5. 5. Copyright 2009 ORSYP - 4 - Dollar Universe Solutions La ligne de produits Dollar Universe Solutions d’ORSYP peut être installée sur les ordinateurs Unix ou Windows NT/2000 depuis lesquels ces solutions contrôlent l’ensemble des opérations de Job Scheduling sur tous les systèmes connectés, qu’il s’agisse d’un serveur Windows, Unix, Linux ou de gros systèmes. Les systèmes pris en charge sont les suivants : Windows (NT, 2000, XP), OpenVMS, Intel-based Linux, Linux/390, OS/400, OS/390, z/OS, MPE/ix, HP NonStop Kernel (Tandem), HP-UX l li v2, Linux et W2003, z/Linux, Solaris v9, AIX SL, SAP NetWeaver, PeopleSoft 8.42 etc. En outre, Dollar Universe for SAP Solutions a obtenu la certification SAP. Il permet également un interfaçage transparent avec les systèmes leader ERP comme SAP solutions, Oracle e-Business Suite, Peoplesoft et JDE OneWorld. Il peut être intégré dans des systèmes de gestion réseau tels que HP OpenView et IBM Enterprise Console. Outre les temps de démarrage pour les batch jobs, il est également possible de créer des erreurs ciblées et des mécanismes de gestion des exceptions grâce au contrôle de processus polyvalent fourni par la solution. Dollar Universe Solutions contrôle les dépendances et les incompatibilités entre les jobs, vérifie les ressources physiques, administre les ressources logiques, les calendriers, etc. Si nécessaire, les processus peuvent être automatiquement répartis dans le temps et à travers les serveurs d’exécution. La capacité intégrée d’équilibrage de la charge permet de traiter des dizaines de milliers de jobs par jour. Grâce à son architecture Automation Power Grid basée sur le concept de grid computing, Dollar Universe Solutions est disponible sur tous les serveurs impliqués dans le Job Scheduling, offrant ainsi un niveau élevé de fonctionnement sans échec. Ceci constitue la base du Job Scheduling 24x7x365 à haute disponibilité. Etant donné que, d’un point de vue technique, un niveau très élevé d’indépendance existe entre les serveurs individuels, les échecs localisés n’arrêtent pas le processus. L’intégration dans les technologies cluster assure un niveau de disponibilité très élevé.

×