Guide talend
Upcoming SlideShare
Loading in...5
×
 

Guide talend

on

  • 3,767 views

Ce document présente une simple documentation pour les développeurs souhaitant débuter avec l'ETL Talend (Extract Transfom Load)

Ce document présente une simple documentation pour les développeurs souhaitant débuter avec l'ETL Talend (Extract Transfom Load)

Statistics

Views

Total Views
3,767
Views on SlideShare
3,742
Embed Views
25

Actions

Likes
1
Downloads
240
Comments
0

4 Embeds 25

http://www.scoop.it 11
http://www.slashdocs.com 11
https://twitter.com 2
https://www.linkedin.com 1

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

Guide talend Guide talend Document Transcript

  • Guide Talend Open Studio Guide Talend Open StudioDans le présent guide nous détaillons les étapes de création d’un datamart ; le logiciel utiliséest Talend open studio qui offre une gamme de fonctionnalités facilitent cette tâche. Lacréation d’un datamart passe par trois étapes primordiales: La création des métas sdonnés, La création du job designer Le mapping entre la base source (input) et la base cible (output).En ce qui suit, une description détaillée du processus de création du méta data, la création desjobs et le mapping entre les deux bases source et cible. I. Créer/importer un projetDans Talend Open Studio, le “projet” correspond au nœud racine stockant les différentstypes de Jobs, Business model, métas données, …etc.A partir de la fenêtre principale nous pouvons soit créer un nouveau projet soit importer unprojet existant. 1- Créer un projet Figure 1: Ecran principale de Talend StudioPour afficher cet écran il suffit de lancer Talend Open Studio. Lorsqu’on se connecte pour lapremière fois aucun projet n’apparaît dans la liste, nous devons donc créer un. Dans la liste 1
  • Guide Talend Open StudioSelect de la zone Project de la fenêtre login du Studio, on clique sur le bouton créer. Uneboite de dialogue apparaît en nous demandant de spécifier le nom du projet Figure 2: Créer un nouveau projet TalendIl suffit donc de remplir le champ « Nom du projet » et cliquer sur le bouton « Termier » afinde créer notre projet. Une fois créé il suffit de le lancer. Figure 3 : Ouvrir un projet 2
  • Guide Talend Open StudioUne fois que le projet est ouvert on obtient l’écran suivant Palette Le référentiel Figure 4: Ecran daccueil Talend Open Studio Figure 5: Référentiel Talend Open StudioNotre projet est maintenant ouvert on commence donc la création des métas données. 3
  • Guide Talend Open Studio 2- Création des métas donnésDans Talend Open Studio, les métas donnés permettent de définir, de décrire ou dedocumenter les données traitées par le logiciel.Dans le dossier méta données du référentiel de Talend nous pouvons stoker les informationsde connexion aux fichiers (fichier délimité, fichier XML,..) et les connexions vers les bases dedonnées (Oracle, MySQL,…).Nous allons commencer dans un premier lieu par la création de la connexion à la base dedonnées source 2.1- Créer la connexion vers la base de données source Figure 6: Créer une connexion vers la base de données sourceAvec un simple clic droit sur le menu data, une liste d’option est affichée, on sélectionne doncl’option « créer une connexion » 4
  • Guide Talend Open Studio Figure 7: Spécifier le nom de la connexionUne boite de dialogue est alors affichée en nous demandant de taper le nom de la connexion.Il suffit juste de donner un nom quelconque à cette connexion (de préférence un nomsignificatif) 5
  • Guide Talend Open Studio Figure 8: Choisir un SGBDA ce stade nous devons sélectionnez le type de base de données à laquelle nous souhaitonsnous connecter. Figure 9: Préciser les identifiants de connexions 6
  • Guide Talend Open StudioNous devons renseigner les informations requises pour la connexion et vérifier notreconnexion à l’aide de la fonction « Vérifier ». Figure 10: Tester la connexionLa connexion à notre base de données est maintenant créée et accessible depuis le Référentielqui contient quatre sous-dossiers : - le sous dossier Requêtes pour les requêtes SQL, - le sous dossier Schémas des tables qui regroupe tous les schémas des tables relatifs à cette connexion. - Le sous dossier Schémas des vues qui regroupe l’ensemble des vues de la connexion - Le sous dossier Schémas de synonymes qui regroupe l’ensemble des synonymes présent au niveau de la connexion 7
  • Guide Talend Open Studio Figure 11: Source de données Figure 12: Récupérer le schéma de la base de données 8
  • Guide Talend Open StudioA présent un simple clic avec le bouton droit de la souris sur la connexion précédemmentcréé et on sélectionne « Récupérer le schéma » dans le menu contextuel permet de récupérerla listes des objets de notre base (tables, vues, index,..) Figure 13: Préciser les types dobjet à récupérerDans la zone texte « Name Filter » nous pouvons filtrer les objets de notre base de données Figure 14: Sélectionner les tables utiles pour notre datamartPour sélectionner les objets dont nous avons besoin pour la création de notre datamart il suffitde cocher les objets dans la liste présente dans l’interface précédente. 9
  • Guide Talend Open Studio Figure 15: Ajouter/modifier les contraintes ou les types de donnéesModifiez les schémas (contrainte d’intégrité, type des champs,…) si nécessaire, puis cliquezsur le bouton « Terminer » pour fermer l’assistant. Figure 16: Schéma de notre base de données source 10
  • Guide Talend Open Studio2.2- Créer connexion à la base de données cibleMême principe que la création de la connexion à la base de données source déjà présentéprécédemment. Figure 17: Schéma de la base de données cible3- Créer le job designerLe job designer est un composant essentiel de Talend Open Studio, il permet de faire lacorrespondance et la transformation entre la base de données source (base transactionnelle) etla base de données cible (datamart). En d’autre terme il permet la mise en place des flux dedonnées d’une manière graphique et c’est Talend qui sera chargé de générer le code detransformation (mapping). 11
  • Guide Talend Open Studio Figure 18: Créer un job designerPour créer un job designer il suffit de cliquer avec le bouton droit sur Jobs dans le référentielde Talend et de choisir Créer un job 12
  • Guide Talend Open Studio Figure 19: Assistant de créationUn assistant nous guide dans les étapes de définition des propriétés de notre nouveau Job. 13
  • Guide Talend Open Studio Figure 20: Ouvrir le job designer Figure 21: Préparer les données 14
  • Guide Talend Open Studio Figure 22: Déposer la table catégoriePour commencer, il suffit de cliquer sur la table et avec un simple « drag and drop », ajoutercette dernière dans l’espace de modélisation du Job design. Figure 23: Choisir le type du composant (table catégorie) 15
  • Guide Talend Open Studio Figure 24: Déposer la table marque Figure 25: Choisir le type du composant (table marque) 16
  • Guide Talend Open Studio Figure 26: Déposer la table produit Figure 27: Choisir le type du composant (table produit) 17
  • Guide Talend Open Studio Figure 28: Tables source (input) Figure 29: Préparer les tables cibles 18
  • Guide Talend Open Studio s Figure 30: Déposer la table produit (output) Figure 31: Choisir le type du composant (table produit output) 19
  • Guide Talend Open Studio Figure 32: Données sources vs données cible4- Faire la mappingPour faire le mapping (transformation) des données rien de complexe ; En effet TMAP, uncomposant de Talend, nous permet de gérer les flux de données d’une manière aisée.Ce composant permet de faire la liaison entre les données sources et les données cibles et ilest capable de faire toutes les transformations Figure 33: TMAP Talend Open Studio 20
  • Guide Talend Open Studio Figure 34: Déposer le composant TMAP dans l’espace de modélisationDe la même manière que les métas donnés un simple « drag and drop » permet de déposer lecomposant TMAP dans notre espace de modélisation. La création des liaisons entre le TMAPet les différentes sources de données se fait par clic droit sur notre source de données (table) etsuivit par le choix de l’option main dans le menu ligne. Figure 35: Liaison entre la table catégorie et TMAP 21
  • Guide Talend Open Studio Figure 36: Liaison établi entre la table catégorie et TMAP Figure 37: Créer liaison entre la table marque et TMAP 22
  • Guide Talend Open Studio Figure 38: Liaison établi entre la table marque et TMAP Figure 39: Créer liaison entre la table produit et TMAP 23
  • Guide Talend Open Studio Figure 40: Liaison établi entre la table produit et TMAP Figure 41: Créer liaison entre TMAP et la table produit 24
  • Guide Talend Open Studio Figure 42: Liaison établi entre TMAP et la table produit Figure 43: Choisir le nom de sortie 25
  • Guide Talend Open Studio Figure 44: Récupérer le schéma du composant ciblePar un double clic sur le composant TMAP, une fenêtre offrant la possibilité d’assurer laliaison entre la base de données source et celle cible Figure 45: Fenêtre de mapping 26
  • Guide Talend Open Studio Figure 46: Migrer la clé primaire de la table catégorie vers la table produit 27
  • Guide Talend Open Studio Figure 47: Migration de la clé établie Figure 48: Migrer la clé primaire de la table marque vers la table produit 28
  • Guide Talend Open Studio Figure 49: Migration de la clé établie Figure 50: Faire le mapping entre les noms de colonnes des tables 29
  • Guide Talend Open Studio Figure 51: Mapping entre les deux colonnes établies Figure 52: Mapping entre la source et la cible établie Figure 53: Base de données cible vide 30
  • Guide Talend Open Studio Figure 54: Préparer lexécution du job Figure 55: Exécuter le job 31
  • Guide Talend Open Studio Figure 56: Déboguer le job Figure 57: Base de données cible remplieII- Exporter un projet Talend 32
  • Guide Talend Open Studio Figure 58: Exporter le projet Figure 59: Choisir le filtre dexportation 33
  • Guide Talend Open Studio Figure 60: Choisir le projet à exporter 34