Talend

Prez Flash :: Talend Open Studio
Auteur : Thibault Chassagnette – Pierre Antoine Schaeffer

Sommaire
Contexte
Pourquoi utiliser un ETL ?
Présentation ETL
Qu’est ce qu’un ETL ?
Talend Open Studio
Présentation, Utilisation
Scénarios d’utilisation
Charger, exporter, configurer
Retours d’expérience
Avantages, inconvénients

Contexte : intégration dans un SI
Projets au cœur d’un écosystème
Différents besoins = différentes applications
Architectures et technologies différentes
Besoin de communiquer avec les autres applications
Mise à jour de référentiels
Reprises de données

Comment communiquer ?
Directement entre deux applications
Solution simple
Performances dégradées en cas d’appels trop nombreux
Création d’une dépendance entre les applications
Difficile à mettre en œuvre avec des progiciels
Application 2
(serveur)
Application 1
(client)
HTTP, SOAP, TCP, etc.

Bus de données
Application 2
Application 1
Application 3
Via un bus de données
Solution type EAI complexe à mettre en œuvre
Performances dégradées en cas d’appels trop nombreux
Pas de dépendances directes entre les applications
Difficile à mettre en œuvre avec des progiciels
Nécessite un connecteur pour chaque application

Par duplication de données
Fonctionne avec tous les logiciels (échange de fichier ou accès direct aux bases de données)
Fonctionne avec de gros volumes de données
Les applications sont totalement indépendantes
Application 2
(destination)
Application 1
(source)
Extraction
Chargement
Transformation

Sommaire
Contexte
Présentation ETL
Talend Open Studio

Définition
ETL : Extract, Transform, Load
Recouvre à la fois :
Le processus d’alimentation
Les outils permettant de mettre en œuvre ce processus
Utilisé principalement dans les domaines :
Du DataWareHousing
De la Business Intelligence

Utilisations possibles
Consolidation de données dans le S.I.
Exemple : la reconstruction quotidienne d’un DataWareHouse
Propagation de données entre bases
Exemple : l’alimentation des bases applicatives à partir des référentiels
Chargement ou export de données (fichiers)
Exemple : export du chiffre d’affaire de la journée
Reprise de données
Constitution de jeux de données de tests

Principe général d’utilisation
Le paramétrage se fait via une interface graphique
Un graphe décrit les traitements à réaliser
Un nœud reprend les données du nœud précédent

Fonctionnement en 3 étapes
La collecte des données (Extract)
Depuis une ou plusieurs applications
La préparation et la transformation (Transform)
Contrôle des données sources
Agrégation de plusieurs informations
Transformation des informations
Le chargement des données (Load)
Vers une ou plusieurs applications

Sources de données (entrée ou sortie)
Fichiers :
plats : taille fixe, séparateur
XML : utilisation d’une transformation XSLT
propriétaires : Excel
Bases de données :
Relationnelles : Oracle, Sybase, SQL Server, …
Multidimensionnelles
Progiciels :
ERP : SAP, Oracle, People Soft, …
BI : Business Objects, Cognos, …

Transformations
Transformations sur une ligne
Formatage, Copie de colonnes, Conversions, Application de fonctions
Transformations sur un ensemble de ligne
Agrégation, tri, pivot, échantillonage, tableaux croisés
Transformations sur plusieurs sources de données
Jointure, union, filtre conditionnel, multicast
Vérification de la qualité des données
Fuzzy matching, remplacement de valeurs, vérification d’intervalles

Sommaire
Contexte
Présentation ETL
Talend Open Studio

Talend : présentation générale
Open Source
Version gratuite : Talend Open Studio
Versions payantes (outils de supervision, ordonnancement, …)
Fonctionnement
Génération de code JAVA (ou Perl)
Création d’un jar à exécuter

Talend : les possibilités
Sources de données
Bases de données (Oracle, Postgre, MySQL, SQL Server, …)
Fichiers (CSV, XML, possibilité de définir un schéma ligne à ligne)
WebServices
Flux RSS, FTP, CVS, SVN, SSH, …
Transformations possibles
Filtre, tri, …
Ajout de code JAVA compilé puis exécuté par Talend

Talend : l’interface

Sommaire
Contexte
Présentation ETL
Talend Open Studio

Scénario : chargement de données
Chargement d’un fichier CSV
Log des lignes traitées
Envoi en base de données

Scénario : extraction de données
Chargement de données depuis une base
Agrégation de données
Filtre des données
Extraction CSV et XML

Scénario : configuration et exploitation
Configuration d’un job
Découpage en sous-job
Chargement d’un fichier normé
Transformations
Export dans une base
Envoi d’un mail

Sommaire
Contexte
Présentation ETL
Talend Open Studio

Avantages
Rapidité et facilité de développement
Performances d’exécution
Communauté active
Réactivité Talend

Inconvénients
Mauvaise gestion CVS
Pas de génération automatisée des exécutables (payant)
Attention aux évolutions des composants
Nécessite une machine « musclée »

Questions ?
Retrouvez nous sur le blog technique de Klee
http://blog.kleegroup.com/teknics
teKnics@kleegroup.com
@teKnics_Klee

http://blog.kleegroup.com	56
http://blogs.dev.klee.lan.net	2
http://www.techgig.com	2

Talend

by Klee Group

Accessibility

Categories

Upload Details

Usage Rights

3 Embeds 60

Statistics

Talend Presentation Transcript

Talend

by Klee Group

Accessibility

Categories

Upload Details

Usage Rights

3 Embeds 60

Statistics

Talend Presentation Transcript

Let LinkedIn power your SlideShare experience

Let LinkedIn power your SlideShare experience

Customize SlideShare content based on your interests

Keep up to date when your LinkedIn contacts post on SlideShare