Your SlideShare is downloading. ×
0
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’UtilisationCommercial...
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commercia...
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commercia...
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commercia...
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commercia...
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commercia...
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commercia...
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commercia...
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commercia...
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commercia...
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commercia...
Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’UtilisationCommercial...
Upcoming SlideShare
Loading in...5
×

Un introduction à Pig

1,862

Published on

A l'occasion de Solution Linux 2013 nous présentons Hadoop à la communauté en France. Ici une introduction à Pig.

1 Comment
0 Likes
Statistics
Notes
  • Be the first to like this

No Downloads
Views
Total Views
1,862
On Slideshare
0
From Embeds
0
Number of Embeds
3
Actions
Shares
0
Downloads
137
Comments
1
Likes
0
Embeds 0
No embeds

No notes for slide

Transcript of "Un introduction à Pig"

  1. 1. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’UtilisationCommerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/HUG France SL2013 – Mai 2013Introduction à PigTraiter les Big Datatrès, très simplement...Charly CLAIRMONTAltic - http://altic.orgcharly.clairmont@altic.org@egwada
  2. 2. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/Cest quoi Pig ?● Créé chez Yahoo!● Une plate-forme très simple pour traiter lesBig Data● PigLatin : langage dont le traitement est enflux, simple, proche du scripting, très efficace● Pig Engine : parse, optimise et exécuteautomatiquement les scripts PigLatin commeune série de jobs MapReduce au sein duncluster Hadoop
  3. 3. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/Quapporte Pig ?● PigLatin est● un langage de haut niveau,● facile à comprendre,● orienté traitement par flux (data flow)● Il fournit les opérations standards pour la manipulation dedonnées (filters, joins, ordering) , des types primitifs, des typescomplexe (tuples, bags, maps)Bien plus simple à comprendre pour un analyste que duMapReduceIl ouvre Hadoop au non-programmeur-java
  4. 4. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/WordCount en PigLatin ?
  5. 5. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/Si vous nêtes pas encore convaincu ?● Augmente dramatiquement la productivité● 10 lignes en Pig = 200 lignes en Java● 15 minutes en Pig = 4 heures en Java
  6. 6. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/Top 5 des pages les plus vues en PigLatin
  7. 7. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/Les autres bénéfices de Pig...● Gère tous les détails dun job de la soumission jusquà son exécutionet ce même sur des flux de données très complexes● Écrire des jobs qui nont pas dadhérence à lAPI Java dHadoop● Facile à étendre avec les UDF● Possibilité dembarqué– Python– JavaScript● Intégré à HBaseCommunauté très active
  8. 8. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/Comment fonction Pig ?HDFSMapReduceParserOptimiserPlan dexécutionSoumettre à Hadoop
  9. 9. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/A vos éditeurs !● Eclpise● PigEditor● Pig-pen● Pig-Eclipse● Plugin pour● VIM● Emacs,● Textmate
  10. 10. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/Comment utiliser Pig ?● Mode local● Ni Hadoop, Ni HDFS requis● Système de fichiers local● Faciles à utiliser pour « prototyper », développer,débugger● Mode Cluster● Sait exécuter le même job quen local
  11. 11. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale- Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/Exécuter un script Pig● Exécuter un script pig directement – mode batch$ pig -p input=someInput script.pig● script.pigLines = LOAD $input AS (...);● Grunt, le shell pour Pig – mode interactifgrunt> Lines = LOAD /data/books/ AS (line: chararray);grunt> Unique = DISTINCT Lines;grunt> DUMP Unique;
  12. 12. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’UtilisationCommerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/HUG France SL2013 – Mai 2013Introduction à PigMerci !Charly CLAIRMONTAltic - http://altic.orgcharly.clairmont@altic.org@egwada
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×