Hadoop chez Kobojo
Upcoming SlideShare
Loading in...5
×

Like this? Share it with your network

Share

Hadoop chez Kobojo

  • 2,187 views
Uploaded on

Kobojo nous raconte comment est-ce qu'il utilise Hadoop.

Kobojo nous raconte comment est-ce qu'il utilise Hadoop.

More in: Technology
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
No Downloads

Views

Total Views
2,187
On Slideshare
1,241
From Embeds
946
Number of Embeds
13

Actions

Shares
Downloads
25
Comments
0
Likes
1

Embeds 946

http://blog.xebia.fr 453
http://hugfrance.fr 423
http://flavors.me 36
http://cluster015.ovh.net 8
http://de.flavors.me 5
http://www.bonvote.com 4
http://webcache.googleusercontent.com 4
http://www-ig-opensocial.googleusercontent.com 3
http://127.0.0.1 3
http://www.newsblur.com 2
http://fr.flavors.me 2
http://jp.flavors.me 2
http://pt.flavors.me 1

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. HUG France #1 - 15 Mars 2012 Salades, tartes au poulpe et Hadoop Une expérience d’utilisation d’HadoopYann Schwartz - KobojoYann at polom.com@abolibibelot Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
  • 2. KobojoCe support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
  • 3. Architecture● 4 jeux ● AWS - .Net – Redis ● Azure - .Net – MongoDB ● Datacenter ● SI interne Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
  • 4. Les données● Tracking utilisateur (actions dans le jeu)● Logs applicatifs● Données utilisateur : SQL Server● Données des jeux : Redis, MongoDB● Tracking : S3 – Azure storage Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
  • 5. Le tracking● Emis par les jeux ● À chaque action● Reçus par des serveurs de tracking ● Traitement ● Nettoyage et décoration ● Différents sinks ● Suivi temps réel Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
  • 6. Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
  • 7. Avant● Données descendues dans un SGBD / cube● Batches la nuit Mais des problèmes de… ● Volume ● Localité ● Temps de traitement Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
  • 8. Passage à Hadoop● Elastic Map Reduce « what happens in the cloud stays in the cloud… »● Pig Latin● Migration de jobs existants et nouveaux jobs ● Statistiques d’usage ● Engagement ● Comportements d’achats ● Calculs sur les graphes sociaux Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
  • 9. Des petits cahots sur la route● Plate-forme ● Version de pig / hadoop sur EMR ● Compatibilité cygwin ● Pig ● Impedance mismatch ● Orchestration ● Convaincre les data analysts Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
  • 10. Pistes considérées● Cascading / cascalog● Import avec flume et /ou● Event processing et import avec Storm Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/
  • 11. HUG France #1 - 15 Mars 2012 Salades, tartes au poulpe et Hadoop Merci de votre attentionYann Schwartz - KobojoYann at polom.com@abolibibelot Ce support est mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.0 France. - http://creativecommons.org/licenses/by-nc-nd/2.0/fr/