Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
//Rebuild Hätte ich auf der Titanic überlebt? BigData Analysis End-To-End Olivia Klose Technical Evangelist, Microsoft @ol...
Sammeln Analysieren Konsumieren Speichern
Was war? Was ist? Was wird?
Advanced Analytics – Beyond BI What happened? Why did it happen? What will happen? How can we make it happen? Traditional ...
Was war? Was ist? Was wird?
Sensordaten im Geschäft
Sensordaten im Geschäft ID Kunden ID Interaktionsdaten x- & y-Koordinaten Product ID
Sensordaten im Geschäft Display ID Display Name x-Koordinaten y-Koordinaten
Was sind die 5 beliebtesten Produkte? Kunde + Produkt Produkt- positionen Sensordaten Top 5 Produkte
Was sind die 5 beliebtesten Produkte? Kunde + Produkt Produkt- positionen Sensordaten Top 5 Produkte Join Nach Beliebtheit...
Hadoop
HDInsight
HDInsight
Azure Management Portal http://manage.windowsazure.com
HDInsight
HDInsight
HDInsight
Was sind die 5 beliebtesten Produkte? Kunde + Produkt Produkt- positionen Sensordaten Top 5 ProdukteJoin 2 Tables Nach Bel...
Orchestrieren? Kunde + Produkt Produkt- positionen Sensordaten Top 5 ProdukteJoin 2 Tables Nach Beliebtheit sortieren
Orchestrieren? Azure Data Factory C# MapReduce Hive Pig Stored Procedures
Azure Data Factory
Kunde + Produkt Produkt- positionen Sensordaten Top 5 ProdukteJoin 2 Tables Nach Beliebtheit sortieren Azure Data Factory
Kunde + Produkt Produkt- positionen Sensordaten Top 5 ProdukteJoin 2 Tables Nach Beliebtheit sortieren In SQL DB kopieren ...
Datasets
Pipelines
Pipeline #1
Pipeline #1
Pipeline #1
Pipeline #1
Linked Services
Linked Service #1
Linked Service #2
Linked Service #3
Pipeline #2
Und was kam raus?
Sammeln Speichern Analysieren Konsumieren Sensordaten Event-Hub Stream Analytics Blob SQL DB Dashboard Data Factory HDInsi...
Was war? Was ist? Was wird?
Echtzeitdaten von Geschäften
Azure Stream Analytics Azure SQL DB Azure Event Hubs Azure Tables Azure Blob Storage Azure Blob Storage Azure Event Hubs R...
Azure Stream Analytics – Query
Azure Stream Analytics – Query
Azure Stream Analytics – Query
Azure Stream Analytics – Query Zeitfenster von 1 Sekunde, um halbe Sekunde versetzt
Azure Stream Analytics – Zeitfenster Tumbling Window Hopping Window Sliding Window
Azure Stream Analytics
Beliebte Produkte? In Echtzeit. Wann, was, wieviele Sensordaten Event-Hub Stream Analytics Dashboard
Gespeichert in SQL DB
Speichern Sammeln Analysieren Konsumieren Sensordaten Event-Hub Stream Analytics Blob SQL DB Dashboard Data Factory HDInsi...
Was war? Was ist? Was wird?
Was ist Machine Learning? “The goal of machine learning is to program computers to use example data or past experience to ...
Machine Learning – Warum? 1.Zu komplex: Man kann es nicht programmieren. (z.B. Natural Language Processing, Handschrifterk...
Azure Machine Learning Machine Learning für alle Unternehmen, Data Scientists, Entwickler, Analysten und Nutzer überall au...
Azure Machine Learning HDInsight SQL Server VM SQL DB Blobs & Tabellen Cloud Desktopdateien Exceltabelle Andere… Lokal ML ...
Azure Machine Learning
Speichern Sammeln Analysieren Konsumieren Sensordaten Event-Hub Stream Analytics Blob SQL DB Data Factory HDInsight Machin...
Wrap Up Was haben wir gemacht?
Was war? Was ist? Was wird?
Speichern Sammeln Analysieren Konsumieren Sensordaten Event-Hub Stream Analytics Blob SQL DB Dashboard Data Factory HDInsi...
Machine Learning Muss ich jetzt Machine Learning lernen?
Azure Marketplace – Empfehlungsdienst
Build Was ist neu?
Azure Data Lake http://azure.com/datalake
Machine Learning API http://gallery.azureml.net
Project Oxford http://projectoxford.ai
Kostenloses E-Book http://aka.ms/MLbook
Blog-Serie zu Machine Learning http://aka.ms/MLSerie
Kostenlose Video-Serie zu Azure ML http://aka.ms/AzureML-MVA
Weitere Informationen http://aka.ms/startHDInsight http://aka.ms/MVABigData http://aka.ms/startADF http://aka.ms/startASA ...
http://aka.ms/TechWiese
Danke!  aka.ms/azurenow oliviaklose.com @oliviaklose
Dotnet Cologne 2015: //Rebuild - Big Data Analysis End-to-End
Dotnet Cologne 2015: //Rebuild - Big Data Analysis End-to-End
Dotnet Cologne 2015: //Rebuild - Big Data Analysis End-to-End
Dotnet Cologne 2015: //Rebuild - Big Data Analysis End-to-End
Dotnet Cologne 2015: //Rebuild - Big Data Analysis End-to-End
Dotnet Cologne 2015: //Rebuild - Big Data Analysis End-to-End
Dotnet Cologne 2015: //Rebuild - Big Data Analysis End-to-End
Dotnet Cologne 2015: //Rebuild - Big Data Analysis End-to-End
Dotnet Cologne 2015: //Rebuild - Big Data Analysis End-to-End
Dotnet Cologne 2015: //Rebuild - Big Data Analysis End-to-End
Dotnet Cologne 2015: //Rebuild - Big Data Analysis End-to-End
Dotnet Cologne 2015: //Rebuild - Big Data Analysis End-to-End
Upcoming SlideShare
Loading in …5
×
Data & Analytics
3,102 views
Jun. 16, 2015

Dotnet Cologne 2015: //Rebuild - Big Data Analysis End-to-End

Predictive Analytics oder Data Science sind in einer Zeit, in der die Menge an Daten stetig zunimmt, wertvolle Hilfsmittel. Die Einsatzbereiche sind vielfältig und reichen von der Vorhersage von Fußballergebnissen über persönliche Kaufempfehlungen in Online-Shops bis zum Ergreifen präventiver Wartungsmaßnahmen in der industriellen Produktion.

In diesem Vortrag werden verschiedene Dienste der Azure-Datenplattform vorgestellt, mit denen aus der Datenflut hilfreiche Erkenntnisse gewonnen werden können.

no profile picture user

  • Be the first to comment

Dotnet Cologne 2015: //Rebuild - Big Data Analysis End-to-End

  1. 1. //Rebuild Hätte ich auf der Titanic überlebt? BigData Analysis End-To-End Olivia Klose Technical Evangelist, Microsoft @oliviaklose
  2. 2. Sammeln Analysieren Konsumieren Speichern
  3. 3. Was war? Was ist? Was wird?
  4. 4. Advanced Analytics – Beyond BI What happened? Why did it happen? What will happen? How can we make it happen? Traditional BI Advanced Analytics
  5. 5. Was war? Was ist? Was wird?
  6. 6. Sensordaten im Geschäft
  7. 7. Sensordaten im Geschäft ID Kunden ID Interaktionsdaten x- & y-Koordinaten Product ID
  8. 8. Sensordaten im Geschäft Display ID Display Name x-Koordinaten y-Koordinaten
  9. 9. Was sind die 5 beliebtesten Produkte? Kunde + Produkt Produkt- positionen Sensordaten Top 5 Produkte
  10. 10. Was sind die 5 beliebtesten Produkte? Kunde + Produkt Produkt- positionen Sensordaten Top 5 Produkte Join Nach Beliebtheit sortieren
  11. 11. Hadoop
  12. 12. HDInsight
  13. 13. HDInsight
  14. 14. Azure Management Portal http://manage.windowsazure.com
  15. 15. HDInsight
  16. 16. HDInsight
  17. 17. HDInsight
  18. 18. Was sind die 5 beliebtesten Produkte? Kunde + Produkt Produkt- positionen Sensordaten Top 5 ProdukteJoin 2 Tables Nach Beliebtheit sortieren
  19. 19. Orchestrieren? Kunde + Produkt Produkt- positionen Sensordaten Top 5 ProdukteJoin 2 Tables Nach Beliebtheit sortieren
  20. 20. Orchestrieren? Azure Data Factory C# MapReduce Hive Pig Stored Procedures
  21. 21. Azure Data Factory
  22. 22. Kunde + Produkt Produkt- positionen Sensordaten Top 5 ProdukteJoin 2 Tables Nach Beliebtheit sortieren Azure Data Factory
  23. 23. Kunde + Produkt Produkt- positionen Sensordaten Top 5 ProdukteJoin 2 Tables Nach Beliebtheit sortieren In SQL DB kopieren Azure Data Factory
  24. 24. Datasets
  25. 25. Pipelines
  26. 26. Pipeline #1
  27. 27. Pipeline #1
  28. 28. Pipeline #1
  29. 29. Pipeline #1
  30. 30. Linked Services
  31. 31. Linked Service #1
  32. 32. Linked Service #2
  33. 33. Linked Service #3
  34. 34. Pipeline #2
  35. 35. Und was kam raus?
  36. 36. Sammeln Speichern Analysieren Konsumieren Sensordaten Event-Hub Stream Analytics Blob SQL DB Dashboard Data Factory HDInsight Machine Learning Cortana
  37. 37. Was war? Was ist? Was wird?
  38. 38. Echtzeitdaten von Geschäften
  39. 39. Azure Stream Analytics Azure SQL DB Azure Event Hubs Azure Tables Azure Blob Storage Azure Blob Storage Azure Event Hubs Reference Data Query runs continuously against incoming streams of events Events Optionally, have a defined schema and are temporal (sequenced in time)
  40. 40. Azure Stream Analytics – Query
  41. 41. Azure Stream Analytics – Query
  42. 42. Azure Stream Analytics – Query
  43. 43. Azure Stream Analytics – Query Zeitfenster von 1 Sekunde, um halbe Sekunde versetzt
  44. 44. Azure Stream Analytics – Zeitfenster Tumbling Window Hopping Window Sliding Window
  45. 45. Azure Stream Analytics
  46. 46. Beliebte Produkte? In Echtzeit. Wann, was, wieviele Sensordaten Event-Hub Stream Analytics Dashboard
  47. 47. Gespeichert in SQL DB
  48. 48. Speichern Sammeln Analysieren Konsumieren Sensordaten Event-Hub Stream Analytics Blob SQL DB Dashboard Data Factory HDInsight Machine Learning Cortana
  49. 49. Was war? Was ist? Was wird?
  50. 50. Was ist Machine Learning? “The goal of machine learning is to program computers to use example data or past experience to solve a given problem.” Introduction to Machine Learning, 2nd Edition, MIT Press
  51. 51. Machine Learning – Warum? 1.Zu komplex: Man kann es nicht programmieren. (z.B. Natural Language Processing, Handschrifterkennung, Computer Vision,…) 2.Zu viel: Man kann es nicht skalieren. (z.B. Spam & Betrugsaufdeckung, Medizin) 3.Zu speziell: Man will personalisierte Programme schreiben. (z.B. Amazon, Netflix) 4.Autonomes Lernen (z.B. Robotik)
  52. 52. Azure Machine Learning Machine Learning für alle Unternehmen, Data Scientists, Entwickler, Analysten und Nutzer überall auf der Welt zugänglich machen
  53. 53. Azure Machine Learning HDInsight SQL Server VM SQL DB Blobs & Tabellen Cloud Desktopdateien Exceltabelle Andere… Lokal ML Studio IDE für ML Web Service M Monetarisieren Speicherkonto
  54. 54. Azure Machine Learning
  55. 55. Speichern Sammeln Analysieren Konsumieren Sensordaten Event-Hub Stream Analytics Blob SQL DB Data Factory HDInsight Machine Learning Cortana Dashboard
  56. 56. Wrap Up Was haben wir gemacht?
  57. 57. Was war? Was ist? Was wird?
  58. 58. Speichern Sammeln Analysieren Konsumieren Sensordaten Event-Hub Stream Analytics Blob SQL DB Dashboard Data Factory HDInsight Machine Learning Cortana
  59. 59. Machine Learning Muss ich jetzt Machine Learning lernen?
  60. 60. Azure Marketplace – Empfehlungsdienst
  61. 61. Build Was ist neu?
  62. 62. Azure Data Lake http://azure.com/datalake
  63. 63. Machine Learning API http://gallery.azureml.net
  64. 64. Project Oxford http://projectoxford.ai
  65. 65. Kostenloses E-Book http://aka.ms/MLbook
  66. 66. Blog-Serie zu Machine Learning http://aka.ms/MLSerie
  67. 67. Kostenlose Video-Serie zu Azure ML http://aka.ms/AzureML-MVA
  68. 68. Weitere Informationen http://aka.ms/startHDInsight http://aka.ms/MVABigData http://aka.ms/startADF http://aka.ms/startASA http://aka.ms/MLserie http://aka.ms/AzureML-MVA
  69. 69. http://aka.ms/TechWiese
  70. 70. Danke!  aka.ms/azurenow oliviaklose.com @oliviaklose

×