Hadoop on Azure

2,001 views

Published on

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
2,001
On SlideShare
0
From Embeds
0
Number of Embeds
663
Actions
Shares
0
Downloads
16
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Hadoop on Azure

  1. 1. HUG France #1 - 15 Mars 2012 Hadoop sur Azure JavascriptBenjamin GUINEBERTIÈREbengui@microsoft.com@benjguin
  2. 2. Hadoop sur Windows Azure● www.hadooponazure.com● Création automatisée d’un cluster Hadoop sur le public PaaS de Microsoft: Windows Azure● Hadoop sur Windows Azure et Windows Server (sans Cygwin)● Hadoop classique (jobs Java, PIG, HIVE, HDFS, …)● Parmi les contributions proposées par Microsoft: Javascript
  3. 3. Javascript sur Hadoop On Azure● Dans la JVM (Rhino)● Jobs map/reduce en Javascript● Console interactive ● HDFS #ls ● RunJS runJs("bin/iisLogsAnalysis.js", "iislogs", "out-HD") ● HIVE hive.exec("SELECT * FROM hiveresult LIMIT 50") ● Syntaxe à la LINQ pour générer du PIG pig.from("out-H", "dummy, sessionID, username, startDateTime, endDateTime, nbHits:long").select("username, sessionID, nbHits").orderBy("nbHits DESC").take(5).to("demo-iislogs-out-H-top5") ● Graphiques simples graph.bar(data, { x: "user", y: "hits", orientation: "90" })
  4. 4. Map Reduce, en Java, C#, Javascript 6
  5. 5. Scénario démo : Analyse de Logs Serveur Web IIS SQL Server HIVE ODBC Driver Excel HIVE ODBC Driver Graph.bar(data) Hive Blob Map Reduce Logs IIS Storage distcp HDFS iislogsAnalysis.js 7
  6. 6. DÉMO
  7. 7. Pour en savoir plus● Après-midi du dév le 24 mai 2012 ● http://aka.ms/amdev-hadoop
  8. 8. HUG France #1 - 15 Mars 2012 Hadoop sur Azure - Javascript Merci pour votre attentionBenjamin GUINEBERTIÈREbengui@microsoft.com@benjguin

×