Journées du Logiciel Libre 2011 - Puppet

Whoami Puppet En pratique Fin PuppetManagement de parc centralisé Alexandre De Dommelin Journées du Logiciel Libre 2011 19 Novembre 2011 Alexandre De Dommelin Puppet Management de parc centralisé

Whoami Puppet En pratique Fin$ whoami Sysadmin @ Nestlé Nespresso SA Linuxien depuis le début des années 2000 Mainteneur de divers packages Debian, membre de la Debian Perl Team Contributeur à diﬀérents projets OpenSource Adorateur de Puppet Alexandre De Dommelin Puppet Management de parc centralisé

Introduction Whoami Architecture Puppet Langage En pratique Resource Abstraction Layer (RAL) Fin Nodes & ModulesRègle 1 : Simpliﬁcation Sysadmin est un travail éprouvant :-) Des dizaines voire centaines de serveurs à gérer, à la fois identiques mais diﬀérents ... Alexandre De Dommelin Puppet Management de parc centralisé

Introduction Whoami Architecture Puppet Langage En pratique Resource Abstraction Layer (RAL) Fin Nodes & ModulesRègle 2 : Oubliez les traditions $ for h in ‘cat hosts‘ ; do ssh $h apt-get install pkg ; scp my_cfg_ﬁle $h :/etc/pkg_cfg/ ssh $h /etc/init.d/pkgd reload done ; Alexandre De Dommelin Puppet Management de parc centralisé

Introduction Whoami Architecture Puppet Langage En pratique Resource Abstraction Layer (RAL) Fin Nodes & ModulesImaginez ... Pouvoir contrôler l’ensemble de vos serveurs de manière centralisée Déployer en quelques secondes de nouveaux serveurs configurés aux petits oignons et intégrés à votre système de monitoring Pouvoir vous assurer que l’ensemble de votre parc respecte vos derniers standards de configuration Pouvoir mettre à jour un package / une configuration sur l’ensemble de votre parc en quelques secondes Tout cela sans travail répétitif et de manière traçable et sécurisée ... Alexandre De Dommelin Puppet Management de parc centralisé

Introduction Whoami Architecture Puppet Langage En pratique Resource Abstraction Layer (RAL) Fin Nodes & Modules... tout cela est possible ! Alexandre De Dommelin Puppet Management de parc centralisé

Introduction Whoami Architecture Puppet Langage En pratique Resource Abstraction Layer (RAL) Fin Nodes & ModulesGénéralités Logiciel libre (GNU GPL) développé par Puppet Labs Alexandre De Dommelin Puppet Management de parc centralisé

Introduction Whoami Architecture Puppet Langage En pratique Resource Abstraction Layer (RAL) Fin Nodes & ModulesGénéralités Logiciel libre (GNU GPL) développé par Puppet Labs Développé en Ruby Alexandre De Dommelin Puppet Management de parc centralisé

Introduction Whoami Architecture Puppet Langage En pratique Resource Abstraction Layer (RAL) Fin Nodes & ModulesGénéralités Logiciel libre (GNU GPL) développé par Puppet Labs Développé en Ruby Couche d’abstraction entre le Sysadmin & le système Alexandre De Dommelin Puppet Management de parc centralisé

Introduction Whoami Architecture Puppet Langage En pratique Resource Abstraction Layer (RAL) Fin Nodes & ModulesGénéralités Logiciel libre (GNU GPL) développé par Puppet Labs Développé en Ruby Couche d’abstraction entre le Sysadmin & le système DSL incluant classes, variables, selecteurs, structures conditionnelles ... Alexandre De Dommelin Puppet Management de parc centralisé

Introduction Whoami Architecture Puppet Langage En pratique Resource Abstraction Layer (RAL) Fin Nodes & ModulesGénéralités Logiciel libre (GNU GPL) développé par Puppet Labs Développé en Ruby Couche d’abstraction entre le Sysadmin & le système DSL incluant classes, variables, selecteurs, structures conditionnelles ... Multi-plateformes : Linux, Solaris, *BSD, AIX, HP-UX, OSX, Windows ... Alexandre De Dommelin Puppet Management de parc centralisé

Introduction Whoami Architecture Puppet Langage En pratique Resource Abstraction Layer (RAL) Fin Nodes & ModulesGénéralités Logiciel libre (GNU GPL) développé par Puppet Labs Développé en Ruby Couche d’abstraction entre le Sysadmin & le système DSL incluant classes, variables, selecteurs, structures conditionnelles ... Multi-plateformes : Linux, Solaris, *BSD, AIX, HP-UX, OSX, Windows ... Projets similaires : CFEngine, Chef ... Alexandre De Dommelin Puppet Management de parc centralisé

Introduction Whoami Architecture Puppet Langage En pratique Resource Abstraction Layer (RAL) Fin Nodes & ModulesGénéralités Logiciel libre (GNU GPL) développé par Puppet Labs Développé en Ruby Couche d’abstraction entre le Sysadmin & le système DSL incluant classes, variables, selecteurs, structures conditionnelles ... Multi-plateformes : Linux, Solaris, *BSD, AIX, HP-UX, OSX, Windows ... Projets similaires : CFEngine, Chef ... Utilisé par quelques petites sociétés Alexandre De Dommelin Puppet Management de parc centralisé

Introduction Whoami Architecture Puppet Langage En pratique Resource Abstraction Layer (RAL) Fin Nodes & ModulesArchitecture Architecture client / serveur Communications sécurisées over SSL (Secure Socket Layer) : Polling automatique : Client -> Serveur tcp/8140 Puppetrun : Serveur -> Client tcp/8139 Alexandre De Dommelin Puppet Management de parc centralisé

Introduction Whoami Architecture Puppet Langage En pratique Resource Abstraction Layer (RAL) Fin Nodes & ModulesPuppetMaster CA (Certification Authority) pour signer & authentifier les clients Compile le code en catalogue Serveur de distribution de fichiers Alexandre De Dommelin Puppet Management de parc centralisé

Introduction Whoami Architecture Puppet Langage En pratique Resource Abstraction Layer (RAL) Fin Nodes & ModulesClients - Puppetisation 1 Installation d’un nouvel OS minimal (incluant les packages puppet) - Ou installation des packages puppet sur un système existant Alexandre De Dommelin Puppet Management de parc centralisé

Introduction Whoami Architecture Puppet Langage En pratique Resource Abstraction Layer (RAL) Fin Nodes & ModulesClients - Puppetisation 1 Installation d’un nouvel OS minimal (incluant les packages puppet) - Ou installation des packages puppet sur un système existant 2 Premier run du daemon puppet Alexandre De Dommelin Puppet Management de parc centralisé

Introduction Whoami Architecture Puppet Langage En pratique Resource Abstraction Layer (RAL) Fin Nodes & ModulesClients - Puppetisation 1 Installation d’un nouvel OS minimal (incluant les packages puppet) - Ou installation des packages puppet sur un système existant 2 Premier run du daemon puppet 3 Génération du certiﬁcat client Alexandre De Dommelin Puppet Management de parc centralisé

Introduction Whoami Architecture Puppet Langage En pratique Resource Abstraction Layer (RAL) Fin Nodes & ModulesClients - Puppetisation 1 Installation d’un nouvel OS minimal (incluant les packages puppet) - Ou installation des packages puppet sur un système existant 2 Premier run du daemon puppet 3 Génération du certiﬁcat client 4 Envoi d’une CSR à PuppetMaster Alexandre De Dommelin Puppet Management de parc centralisé

Introduction Whoami Architecture Puppet Langage En pratique Resource Abstraction Layer (RAL) Fin Nodes & ModulesClients - Puppetisation 1 Installation d’un nouvel OS minimal (incluant les packages puppet) - Ou installation des packages puppet sur un système existant 2 Premier run du daemon puppet 3 Génération du certiﬁcat client 4 Envoi d’une CSR à PuppetMaster 5 Signature du certiﬁcat par PuppetMaster Alexandre De Dommelin Puppet Management de parc centralisé

Introduction Whoami Architecture Puppet Langage En pratique Resource Abstraction Layer (RAL) Fin Nodes & ModulesClients - Puppetisation 1 Installation d’un nouvel OS minimal (incluant les packages puppet) - Ou installation des packages puppet sur un système existant 2 Premier run du daemon puppet 3 Génération du certificat client 4 Envoi d’une CSR à PuppetMaster 5 Signature du certificat par PuppetMaster 6 Puppetisation (tm) du système ! Packages Daemons Configurations Utilisateurs Permissions ... Alexandre De Dommelin Puppet Management de parc centralisé

Introduction Whoami Architecture Puppet Langage En pratique Resource Abstraction Layer (RAL) Fin Nodes & ModulesClients - Puppetisation Alexandre De Dommelin Puppet Management de parc centralisé

Introduction Whoami Architecture Puppet Langage En pratique Resource Abstraction Layer (RAL) Fin Nodes & ModulesClients - Au quotidien Chaque client : Se connecte à intervalles réguliers au PuppetMaster Recupère le catalogue des resources Determine l’ordre dans lequel appliquer ces dernières Passe en revue l’ensemble des resources conﬁgurées, les corrige le cas échéant Envoit un rapport à PuppetMaster Alexandre De Dommelin Puppet Management de parc centralisé

Introduction Whoami Architecture Puppet Langage En pratique Resource Abstraction Layer (RAL) Fin Nodes & ModulesCaractéristiques Clients - facter Utilisation de "facter" pour le rassemblement de meta-données sur le client : is_virtual : Machine physique ou virtuelle operatingsystem : Distribution utilisée operatingsystemrelease : Version de la distribution ip_adresss : Adresse IP de la machine uptime : Uptime selinux : Extensions SELinux activées ou non ... Alexandre De Dommelin Puppet Management de parc centralisé

Introduction Whoami Architecture Puppet Langage En pratique Resource Abstraction Layer (RAL) Fin Nodes & ModulesLangage Basé sur Ruby Langage déclaratif Abstraction : "user" et non "/etc/passwd" et/ou "/etc/shadow" Vous speciﬁez la conﬁguration, Puppet se charge de l’implémentation Pensez QUOI et non COMMENT Alexandre De Dommelin Puppet Management de parc centralisé

Introduction Whoami Architecture Puppet Langage En pratique Resource Abstraction Layer (RAL) Fin Nodes & ModulesInstallation d’un package - Old School apt-get install perl Alexandre De Dommelin Puppet Management de parc centralisé

Introduction Whoami Architecture Puppet Langage En pratique Resource Abstraction Layer (RAL) Fin Nodes & ModulesInstallation d’un package - Old School apt-get install perl ou : yum install perl Alexandre De Dommelin Puppet Management de parc centralisé

Introduction Whoami Architecture Puppet Langage En pratique Resource Abstraction Layer (RAL) Fin Nodes & ModulesInstallation d’un package - Old School apt-get install perl ou : yum install perl ou encore : ports install perl Alexandre De Dommelin Puppet Management de parc centralisé

Introduction Whoami Architecture Puppet Langage En pratique Resource Abstraction Layer (RAL) Fin Nodes & ModulesInstallation d’un package - Old School apt-get install perl ou : yum install perl ou encore : ports install perl voire même : emerge perl Et également aussi : rpm -Uvh perl.xxx.rpm, up2date perl, ﬁnk install perl, pkg_add perl, pkg-get perl ... Pas facile d’avoir un script eﬃcace dans un environnement hétérogène ! ! Alexandre De Dommelin Puppet Management de parc centralisé

Introduction Whoami Architecture Puppet Langage En pratique Resource Abstraction Layer (RAL) Fin Nodes & ModulesInstallation d’un package - Puppet Style Alexandre De Dommelin Puppet Management de parc centralisé

Introduction Whoami Architecture Puppet Langage En pratique Resource Abstraction Layer (RAL) Fin Nodes & ModulesInstallation d’un service - Old School Alexandre De Dommelin Puppet Management de parc centralisé

Introduction Whoami Architecture Puppet Langage En pratique Resource Abstraction Layer (RAL) Fin Nodes & ModulesInstallation d’un service - Puppet Style Alexandre De Dommelin Puppet Management de parc centralisé

Introduction Whoami Architecture Puppet Langage En pratique Resource Abstraction Layer (RAL) Fin Nodes & ModulesRessources Liste (non exhaustive) des ressources supportées par Puppet : Utilisateurs & Groupes Packages Services Fichiers / Dossiers Crontabs Points de montages Nagios Hosts ﬁles SELinux Clés SSH Alexandre De Dommelin Puppet Management de parc centralisé

Introduction Whoami Architecture Puppet Langage En pratique Resource Abstraction Layer (RAL) Fin Nodes & ModulesPackages Plus de 20 fournisseurs de packages supportés Couche d’abstraction pour l’OS cible Plusieurs états disponibles : absent, present, latest Upgrade facile : remplacement de present par latest Alexandre De Dommelin Puppet Management de parc centralisé

Introduction Whoami Architecture Puppet Langage En pratique Resource Abstraction Layer (RAL) Fin Nodes & ModulesServices Supporte 10 types de framework d’Init Couche d’abstraction pour l’OS cible Permet un controle granulaire (démarré au boot, surveillance du statut...) Système de notification permettant de reloader un service si un de ses fichiers de configuration a été mis à jour. Alexandre De Dommelin Puppet Management de parc centralisé

Introduction Whoami Architecture Puppet Langage En pratique Resource Abstraction Layer (RAL) Fin Nodes & ModulesFichiers / Dossiers Gestion des permissions et appartenances Possibilité de déployer des ﬁchiers "statiques" ou adaptés au système cible par le biais de templates ERB Supporte plusieurs types de checksum pour les vériﬁcations d’intégrité Supporte la création de liens symboliques Alexandre De Dommelin Puppet Management de parc centralisé

Introduction Whoami Architecture Puppet Langage En pratique Resource Abstraction Layer (RAL) Fin Nodes & ModulesUn node ? Décrit un client Possède un certain nombre de modules qui lui sont appliqués Peut hériter des propriétés d’un autre node Node "default" s’appliquant à l’ensemble des clients n’ayant pas de node conﬁguré. Support d’expressions régulières pour la sélection de plusieurs clients "similaires" Alexandre De Dommelin Puppet Management de parc centralisé

Introduction Whoami Architecture Puppet Langage En pratique Resource Abstraction Layer (RAL) Fin Nodes & ModulesUn module ? Collection de classes, deﬁnitions (fonctions) et de ressources Alexandre De Dommelin Puppet Management de parc centralisé

Introduction Whoami Architecture Puppet Langage En pratique Resource Abstraction Layer (RAL) Fin Nodes & ModulesUn module ? Collection de classes, deﬁnitions (fonctions) et de ressources Portable Alexandre De Dommelin Puppet Management de parc centralisé

Introduction Whoami Architecture Puppet Langage En pratique Resource Abstraction Layer (RAL) Fin Nodes & ModulesUn module ? Collection de classes, deﬁnitions (fonctions) et de ressources Portable Autonome Alexandre De Dommelin Puppet Management de parc centralisé

Introduction Whoami Architecture Puppet Langage En pratique Resource Abstraction Layer (RAL) Fin Nodes & ModulesStructure d’un module manifests/ Fonctionnement / logique du module ﬁles/ Fichiers statiques déployables par le module templates/ Fichiers "dynamiques" (templates ERB) déployables par le module lib/ Librairies Ruby relatives au module Alexandre De Dommelin Puppet Management de parc centralisé

Introduction Whoami Architecture Puppet Langage En pratique Resource Abstraction Layer (RAL) Fin Nodes & Modules Exemple de module simple : snmpsnmp/manifests/init.pp : snmp/ﬁles/snmpd.conf : Alexandre De Dommelin Puppet Management de parc centralisé

Introduction Whoami Architecture Puppet Langage En pratique Resource Abstraction Layer (RAL) Fin Nodes & ModulesModule simple : snmp - Problématiques Actions réalisées Installation du paquet net-snmp Déploiement du fichier de configuration standard Activation du service snmpd et rechargement de ce dernier en cas de mise à jour du fichier de configuration Problème La disponibilité du package "net-snmp" dépend de la distribution utilisée. Il est donc impossible d’utiliser ce module dans le cadre d’un environnement hétérogène (Debian + RedHat par exemple). Alexandre De Dommelin Puppet Management de parc centralisé

Introduction Whoami Architecture Puppet Langage En pratique Resource Abstraction Layer (RAL) Fin Nodes & ModulesModule simple : snmp - Le retour Alexandre De Dommelin Puppet Management de parc centralisé

Introduction Whoami Architecture Puppet Langage En pratique Resource Abstraction Layer (RAL) Fin Nodes & ModulesStoreConﬁgs Option de puppetmasterd Principale application : Exportation de resources Alexandre De Dommelin Puppet Management de parc centralisé

Introduction Whoami Architecture Puppet Langage En pratique Resource Abstraction Layer (RAL) Fin Nodes & ModulesExportation de ressources ? Echange d’informations entre nodes Conﬁgurer un node en fonction d’un autre node Alexandre De Dommelin Puppet Management de parc centralisé

Introduction Whoami Architecture Puppet Langage En pratique Resource Abstraction Layer (RAL) Fin Nodes & ModulesExportation : Exemple 1 Alexandre De Dommelin Puppet Management de parc centralisé

Introduction Whoami Architecture Puppet Langage En pratique Resource Abstraction Layer (RAL) Fin Nodes & ModulesExportation : Exemple 2 Alexandre De Dommelin Puppet Management de parc centralisé

Introduction Whoami Architecture Puppet Langage En pratique Resource Abstraction Layer (RAL) Fin Nodes & ModulesExportation : Auto-conﬁguration de Nagios Utilise le type "Nagios" natif présent dans Puppet Déﬁnition d’un host / service sur le serveur Nagios, basé sur les caractéristiques de votre serveur à monitorer Aucune action manuelle ! Alexandre De Dommelin Puppet Management de parc centralisé

Environnements Whoami Reporting Puppet Installation En pratique Commandes utiles Fin DémosEnvironnements Tester en évitant les eﬀets indésirables Alexandre De Dommelin Puppet Management de parc centralisé

Environnements Whoami Reporting Puppet Installation En pratique Commandes utiles Fin DémosEnvironments Support natif d’environnements muliples Process QA : Développer, tester & valider avant de déployer les changements en production Traçabilité : Intégration avec un VCS (subversion, git ...) Par défaut, utilisation de l’environnement "production" Bascule entre environnements Forcer manuellement un client à récupérer le catalogue d’un environnement spéciﬁque : $ /usr/sbin/puppetd –environment=<nom_environnement> –test Alexandre De Dommelin Puppet Management de parc centralisé

Environnements Whoami Reporting Puppet Installation En pratique Commandes utiles Fin DémosIntégration avec Subversion 2 environnements : Development : "trunk" subversion Production : branche séparée Modiﬁcations sur l’environnement "development" puis commitées dans le trunk : Pre-Commit Hook : Validation de syntaxe Post-Commit Hook : svnspam Cycle de tests / validations terminé : merge dans la branche "production" Alexandre De Dommelin Puppet Management de parc centralisé

Environnements Whoami Reporting Puppet Installation En pratique Commandes utiles Fin DémosReporting Comment savoir ce qui se passe sur mon infra maintenant que tout est automatisé ? Alexandre De Dommelin Puppet Management de parc centralisé

Environnements Whoami Reporting Puppet Installation En pratique Commandes utiles Fin DémosPuppet Dashboard Interface Web simple permettant de visualiser en temps-réel l’état de votre infrastructure. Installation Puppet Dashboard n’est pas fourni avec PuppetMaster, il est donc nécessaire de l’installer séparement. Conﬁguration Nécessite de conﬁgurer les clients pour envoyer leurs rapports (report = true) et de puppetmaster pour les transmetre à Puppet Dashboard (reports = puppet_dashboard) Alexandre De Dommelin Puppet Management de parc centralisé

Environnements Whoami Reporting Puppet Installation En pratique Commandes utiles Fin DémosPuppet Dashboard - Ecran principal Liste des derniers nodes ayant contacté PuppetMaster Liste des derniers nodes mis à jour Graphe montrant le ratio réussite/erreurs Alexandre De Dommelin Puppet Management de parc centralisé

Environnements Whoami Reporting Puppet Installation En pratique Commandes utiles Fin DémosPuppet Dashboard - Vue "Nodes" Conﬁguration actuelle du node Informations sur les dernières executions du node Graph de la durée des dernières exécutions Liste des derniers changements eﬀectués sur le node Alexandre De Dommelin Puppet Management de parc centralisé

Environnements Whoami Reporting Puppet Installation En pratique Commandes utiles Fin DémosPuppet Dashboard - Vue "Rapports" Rapport complet sur une execution (nombre de ressources aﬀectées, rapport intégral remonté par le node, statistiques, benchmarks ...) Alexandre De Dommelin Puppet Management de parc centralisé

Environnements Whoami Reporting Puppet Installation En pratique Commandes utiles Fin DémosPackages PuppetMaster RedHat / CentOS & Derivés (EPEL) : yum install puppet puppetmaster Debian & Dérivés : apt-get install puppet puppetmaster Puppet Node RedHat / CentOS & Derivés (EPEL) : yum install puppet Debian & Dérivés : apt-get install puppet Alexandre De Dommelin Puppet Management de parc centralisé

Environnements Whoami Reporting Puppet Installation En pratique Commandes utiles Fin DémosComandes utiles - Client Connexion + enregistrement inital auprès de PuppetMaster $ puppetd –server=puppetmaster.domain.tld –waitforcert=60 –test Forcer le raﬀraichissement $ puppetd –test Alexandre De Dommelin Puppet Management de parc centralisé

Environnements Whoami Reporting Puppet Installation En pratique Commandes utiles Fin DémosCommandes utiles - PuppetMaster Lister les requetes de signature de certificats en attente $ puppetca -l Signer un certificat en attente $ puppetca -s nom_du_certificat Signer toutes les requetes en attente $ puppetca -s -a Alexandre De Dommelin Puppet Management de parc centralisé

Environnements Whoami Reporting Puppet Installation En pratique Commandes utiles Fin DémosDémos ! Alexandre De Dommelin Puppet Management de parc centralisé

Environnements Whoami Reporting Puppet Installation En pratique Commandes utiles Fin DémosPuppetisation d’un système neuf Contraintes : Déployer rapidement un nouveau serveur intégré dans l’environnement existant. Départ : 1 serveur fraîchement installé via KickStart Inscription sur puppetmaster Puppetisation initiale Install & configuration NTP, SSH, Rsyslog, SNMP, Munin, Postfix Install du set de packages de base configuré Création des comptes sysadmin de base + dotfiles & clefs SSH Application des politiques de standard de hardening, configurations PAM Déploiement du /etc/sudoers standard Création du compte service OSSEC + clef SSH Alexandre De Dommelin Puppet Management de parc centralisé

Environnements Whoami Reporting Puppet Installation En pratique Commandes utiles Fin DémosMise en place d’un système de load-balancing Contraintes : Déployer rapidement un système de load-balancing Hautement Disponible Départ : 2 micro-serveurs fraîchements installés via KickStart Inscription des 2 instances sur puppetmaster Puppetisation initiale Install & configuration NTP, SSH, Rsyslog, SNMP, Munin, Postfix Install du set de packages de base configuré Création des comptes sysadmin de base + dotfiles & clefs SSH Application des politiques de standard de hardening, configurations PAM Déploiement du /etc/sudoers standard Création du compte service OSSEC + clef SSH Rajout des modules haproxy & keepalived + paramètres Alexandre De Dommelin Puppet Management de parc centralisé

Whoami Puppet En pratique FinQuestions ? Alexandre De Dommelin Puppet Management de parc centralisé

Whoami Puppet En pratique FinMerci ! Présentation bientôt disponible (après un café) sur http ://www.tuxz.net/blog/ mailto : alex at tuxz.net twitter / identi.ca : @adedommelin IRC : adedommelin (oftc/freenode) Alexandre De Dommelin Puppet Management de parc centralisé

http://www.tuxz.net	803
http://www.hanrss.com	1
http://translate.googleusercontent.com	1
http://wonder-tonic.com	1

Journées du Logiciel Libre 2011 - Puppet

by Alexandre De Dommelin on Nov 19, 2011

Accessibility

Categories

Tags

Upload Details

Usage Rights

4 Embeds 806

Statistics

Journées du Logiciel Libre 2011 - Puppet — Presentation Transcript