Your SlideShare is downloading. ×
Hadoop chez Kobojo
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×
Saving this for later? Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime – even offline.
Text the download link to your phone
Standard text messaging rates apply

Hadoop chez Kobojo

1,910

Published on

Kobojo nous raconte comment est-ce qu'il utilise Hadoop.

Kobojo nous raconte comment est-ce qu'il utilise Hadoop.

Published in: Technology
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
1,910
On Slideshare
0
From Embeds
0
Number of Embeds
3
Actions
Shares
0
Downloads
25
Comments
0
Likes
1
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. HUG France #1 - 15 Mars 2012 Salades, tartes au poulpe et Hadoop Une expérience d’utilisation d’HadoopYann Schwartz - KobojoYann at polom.com@abolibibelot Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
  • 2. KobojoCe support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
  • 3. Architecture● 4 jeux ● AWS - .Net – Redis ● Azure - .Net – MongoDB ● Datacenter ● SI interne Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
  • 4. Les données● Tracking utilisateur (actions dans le jeu)● Logs applicatifs● Données utilisateur : SQL Server● Données des jeux : Redis, MongoDB● Tracking : S3 – Azure storage Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
  • 5. Le tracking● Emis par les jeux ● À chaque action● Reçus par des serveurs de tracking ● Traitement ● Nettoyage et décoration ● Différents sinks ● Suivi temps réel Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
  • 6. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
  • 7. Avant● Données descendues dans un SGBD / cube● Batches la nuit Mais des problèmes de… ● Volume ● Localité ● Temps de traitement Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
  • 8. Passage à Hadoop● Elastic Map Reduce « what happens in the cloud stays in the cloud… »● Pig Latin● Migration de jobs existants et nouveaux jobs ● Statistiques d’usage ● Engagement ● Comportements d’achats ● Calculs sur les graphes sociaux Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
  • 9. Des petits cahots sur la route● Plate-forme ● Version de pig / hadoop sur EMR ● Compatibilité cygwin ● Pig ● Impedance mismatch ● Orchestration ● Convaincre les data analysts Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
  • 10. Pistes considérées● Cascading / cascalog● Import avec flume et /ou● Event processing et import avec Storm Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
  • 11. HUG France #1 - 15 Mars 2012 Salades, tartes au poulpe et Hadoop Merci de votre attentionYann Schwartz - KobojoYann at polom.com@abolibibelot Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/

×