Session Alt.net Paris du 15 juin chez Octo, animée par Yann Schwartz. Au menu de cette session : Principes du map/reduce : définition, à quoi ça sert Une implémentation en C# pour comprendre Utilisation du map reduce en NoSQL Un serveur dédié map-reduce : Hadoop hadoop : mapreduce et filesystem distribué mapreduce de base pig latin (un langage semi procédural – à la linq – au dessus de mapreduce) Conclusion : pour quoi utiliser mapreduce dans vos traitements

1. Site : www.altnetfr.org Twitter : @altnetfr et #altnetfr Propositions de sessions: sessions@altnetfr.org

2. MapReduce Yann Schwartz @abolibibelot 2011-06-15

3. Remerciements OCTO pour l’accueil

4. Alt.Net Paris Au menu

5. Au menu C’est quoi ? Oui, mais à quoi bon ? Et comment ça marche ? Ah, et ça sert vraiment ? Sauf que… Bon, et ensuite ?

6. C’est quoi ?

7. Petites parenthèses (reduce + (map #(* % %) [1 2 3 4])) new[]{1,2,3,4}.Select(x => x*x) .Aggregate(0, (acc, x) => acc + x)

8. Interlude Un peu de LINQ…

9. Map : k1,v1 -> list(k2,v2) Reduce : k2, list(v2) -> v3

10. Map : Projection, filtre, transformation Reduce : agrégation

11. Oui mais à quoi bon ?

12. MapReduce 2004 : Google « Simplified Data Processing on Large Clusters » Jeffrey Dean et Sanjay Ghemawat http://labs.google.com/papers/mapreduce.html

15. Séquence d’un frameworkMapReduce Choix des entrées, parallélisation Map Regroupement (parallèle) Reduce Restitution (en rouge, ce qu’on écrit soi-même)

17. Du découpage

18. De la réconciliation

19. De la distribution des données (et du code)

20. Du failover…la partie horrible en fait.

22. Mais ça s’utilise vraiment ?

23. NoSQL Souvent du sharding Les requêtes réparties peuvent être traduites par Traiter les données sur chacun des shards Agréger les résultats de chaque shard Regrouper ces résultats Pas de clustering (SGBD) et du mapreduce

24. MapReduce et NoSQL CouchDB Requêtes prédéfinies (vues), exprimées en MR MongoDB MR utilisé comme généralisation du GROUP BY RavenDB MapReduce utilisé pour créer des index en LINQ (pas distribué)

25. Hadoop Open Source (projet Apache) Impl émentation du paper de Google Yahoo principal contributeur En Java…

26. Qu’est-ce qu’il y a dans la boîte ? Un système de fichiers réparti (HDFS) Réplication et distribution Un scheduler de jobs et de tâches Reprise, failover, supervision Optimisation de la localité des données

27. Et on met quoi dans la boîte ? Les données (la plupart du temps des fichiers) Le code Mapper Reducer Partitionner

28. Sauf que…

30. Pas toujours évident d’exprimer son intention

31. Casser les algorithmes pour se conformer à MR

32. Certains concepts très difficiles à exprimer

33. Boucles, conditions, etc.

34. On n’est pas en fonctionnel pur

35. Accès vers l’extérieur

37. Bon et ensuite…

38. Traitement des flux LINQ to HPC (ex DryadLINQ)

39. Pour approfondir labs.google.com/papers/mapreduce.html couchdb.apache.org ravendb.net mongodb.org hadoop.apache.org Excellente présentation d’Hadoopslidesha.re/5n8npE LINQ to HPC : bit.ly/jygFr2

40. Crédits illustrations Documentation Hadoop Papermapreducelabs.google.com/papers/mapreduce-osdi04-slides/index.html

41. Des Questions ?

42. Merci !