Your SlideShare is downloading. ×
  • Like
Hadoop chez Kobojo
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×

Now you can save presentations on your phone or tablet

Available for both IPhone and Android

Text the download link to your phone

Standard text messaging rates apply
Published

Kobojo nous raconte comment est-ce qu'il utilise Hadoop.

Kobojo nous raconte comment est-ce qu'il utilise Hadoop.

Published in Technology
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
No Downloads

Views

Total Views
1,873
On SlideShare
0
From Embeds
0
Number of Embeds
3

Actions

Shares
Downloads
25
Comments
0
Likes
1

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. HUG France #1 - 15 Mars 2012 Salades, tartes au poulpe et Hadoop Une expérience d’utilisation d’HadoopYann Schwartz - KobojoYann at polom.com@abolibibelot Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
  • 2. KobojoCe support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
  • 3. Architecture● 4 jeux ● AWS - .Net – Redis ● Azure - .Net – MongoDB ● Datacenter ● SI interne Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
  • 4. Les données● Tracking utilisateur (actions dans le jeu)● Logs applicatifs● Données utilisateur : SQL Server● Données des jeux : Redis, MongoDB● Tracking : S3 – Azure storage Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
  • 5. Le tracking● Emis par les jeux ● À chaque action● Reçus par des serveurs de tracking ● Traitement ● Nettoyage et décoration ● Différents sinks ● Suivi temps réel Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
  • 6. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
  • 7. Avant● Données descendues dans un SGBD / cube● Batches la nuit Mais des problèmes de… ● Volume ● Localité ● Temps de traitement Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
  • 8. Passage à Hadoop● Elastic Map Reduce « what happens in the cloud stays in the cloud… »● Pig Latin● Migration de jobs existants et nouveaux jobs ● Statistiques d’usage ● Engagement ● Comportements d’achats ● Calculs sur les graphes sociaux Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
  • 9. Des petits cahots sur la route● Plate-forme ● Version de pig / hadoop sur EMR ● Compatibilité cygwin ● Pig ● Impedance mismatch ● Orchestration ● Convaincre les data analysts Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
  • 10. Pistes considérées● Cascading / cascalog● Import avec flume et /ou● Event processing et import avec Storm Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
  • 11. HUG France #1 - 15 Mars 2012 Salades, tartes au poulpe et Hadoop Merci de votre attentionYann Schwartz - KobojoYann at polom.com@abolibibelot Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/