Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Hadoop unit

502 views

Published on

Présentation de Hadoop Unit

Published in: Engineering
  • Be the first to comment

Hadoop unit

  1. 1. Hadoop Unit par Khanh Tuong MAUDOUX @jetoile 118/08/2016
  2. 2. Hadoop Unit Qui je suis… • Khanh Tuong Maudoux • Développeur Java, JavaEE, BigData indépendant • blog : blog.jetoile.fr • @jetoile • khanh.maudoux@jetoile.fr 218/08/2016
  3. 3. Hadoop Unit Contexte 318/08/2016
  4. 4. Hadoop Unit Contexte • Big Data : écosystème composé éventuellement d’Hadoop mais pas que… • Hadoop = HDFS + YARN? 18/08/2016 4
  5. 5. Hadoop Unit Les « officiels » 18/08/2016 5
  6. 6. Hadoop Unit Les spécifiques… 18/08/2016 6
  7. 7. Hadoop Unit Et les « non officiels »… 18/08/2016 7
  8. 8. Hadoop Unit Et nous…? 818/08/2016
  9. 9. Hadoop Unit Et nous…? • Comment qu’on fait??? – en mode de développement? – pour tester? – … 18/08/2016 9
  10. 10. Hadoop Unit Et nous…? • Mais… – quand on est sous windows? – quand on travaille dans une « grosse société » avec des process lourd et que l’on n’est pas admin? 18/08/2016 10
  11. 11. Hadoop Unit Hadoop Unit 1118/08/2016
  12. 12. Hadoop Unit Hadoop Unit • S’appuie sur Hadoop Mini Cluster (https://github.com/sakserv/hadoop-mini-clusters) • Supporte : – Hdfs – Zookeeper – Hivemetastore – Hiverserver2 – Solr 6.1.0 – SolrCloud 6.1.0 – Oozie – Kafka 0.10.0 – HBase – MongoDB – Cassandra 3.4 – Elasticsearch 5.0.0-alpha4 18/08/2016 12
  13. 13. Hadoop Unit Hadoop Unit • Compatible avec les REPL : – HDFS – Kafka – HBase Shell – Hive Shell • Fonctionne sous Linux/Mac/Windows 18/08/2016 13
  14. 14. Hadoop Unit Hadoop Unit • Démarre dans une même JVM les composants nécessaires – En mode embedded (setup de test) – En mode standalone (en tache de fond) 18/08/2016 14
  15. 15. Hadoop Unit Hadoop Unit • En mode embedded : 18/08/2016 15
  16. 16. Hadoop Unit Hadoop Unit • En mode standalone : 18/08/2016 16
  17. 17. Hadoop Unit Hadoop Unit • Avec Maven en phase de pré-integration : 18/08/2016 17
  18. 18. Hadoop Unit Questions ? 1818/08/2016
  19. 19. Hadoop Unit Merci ! 1918/08/2016

×