Dotnet Cologne 2015: //Rebuild - Big Data Analysis End-to-End

1. //Rebuild Hätte ich auf der Titanic überlebt? BigData Analysis End-To-End Olivia Klose Technical Evangelist, Microsoft @oliviaklose

2. Sammeln Analysieren Konsumieren Speichern

3. Was war? Was ist? Was wird?

4. Advanced Analytics – Beyond BI What happened? Why did it happen? What will happen? How can we make it happen? Traditional BI Advanced Analytics

6. Sensordaten im Geschäft

7. Sensordaten im Geschäft ID Kunden ID Interaktionsdaten x- & y-Koordinaten Product ID

8. Sensordaten im Geschäft Display ID Display Name x-Koordinaten y-Koordinaten

9. Was sind die 5 beliebtesten Produkte? Kunde + Produkt Produkt- positionen Sensordaten Top 5 Produkte

10. Was sind die 5 beliebtesten Produkte? Kunde + Produkt Produkt- positionen Sensordaten Top 5 Produkte Join Nach Beliebtheit sortieren

11. Hadoop

12. HDInsight

13. HDInsight

14. Azure Management Portal http://manage.windowsazure.com

15. HDInsight

16. HDInsight

17. HDInsight

18. Was sind die 5 beliebtesten Produkte? Kunde + Produkt Produkt- positionen Sensordaten Top 5 ProdukteJoin 2 Tables Nach Beliebtheit sortieren

19. Orchestrieren? Kunde + Produkt Produkt- positionen Sensordaten Top 5 ProdukteJoin 2 Tables Nach Beliebtheit sortieren

20. Orchestrieren? Azure Data Factory C# MapReduce Hive Pig Stored Procedures

21. Azure Data Factory

22. Kunde + Produkt Produkt- positionen Sensordaten Top 5 ProdukteJoin 2 Tables Nach Beliebtheit sortieren Azure Data Factory

23. Kunde + Produkt Produkt- positionen Sensordaten Top 5 ProdukteJoin 2 Tables Nach Beliebtheit sortieren In SQL DB kopieren Azure Data Factory

24. Datasets

25. Pipelines

26. Pipeline #1

27. Pipeline #1

28. Pipeline #1

29. Pipeline #1

30. Linked Services

31. Linked Service #1

34. Pipeline #2

35. Und was kam raus?

36. Sammeln Speichern Analysieren Konsumieren Sensordaten Event-Hub Stream Analytics Blob SQL DB Dashboard Data Factory HDInsight Machine Learning Cortana

38. Echtzeitdaten von Geschäften

39. Azure Stream Analytics Azure SQL DB Azure Event Hubs Azure Tables Azure Blob Storage Azure Blob Storage Azure Event Hubs Reference Data Query runs continuously against incoming streams of events Events Optionally, have a defined schema and are temporal (sequenced in time)

40. Azure Stream Analytics – Query

43. Azure Stream Analytics – Query Zeitfenster von 1 Sekunde, um halbe Sekunde versetzt

44. Azure Stream Analytics – Zeitfenster Tumbling Window Hopping Window Sliding Window

45. Azure Stream Analytics

46. Beliebte Produkte? In Echtzeit. Wann, was, wieviele Sensordaten Event-Hub Stream Analytics Dashboard

47. Gespeichert in SQL DB

48. Speichern Sammeln Analysieren Konsumieren Sensordaten Event-Hub Stream Analytics Blob SQL DB Dashboard Data Factory HDInsight Machine Learning Cortana

50. Was ist Machine Learning? “The goal of machine learning is to program computers to use example data or past experience to solve a given problem.” Introduction to Machine Learning, 2nd Edition, MIT Press

51. Machine Learning – Warum? 1.Zu komplex: Man kann es nicht programmieren. (z.B. Natural Language Processing, Handschrifterkennung, Computer Vision,…) 2.Zu viel: Man kann es nicht skalieren. (z.B. Spam & Betrugsaufdeckung, Medizin) 3.Zu speziell: Man will personalisierte Programme schreiben. (z.B. Amazon, Netflix) 4.Autonomes Lernen (z.B. Robotik)

52. Azure Machine Learning Machine Learning für alle Unternehmen, Data Scientists, Entwickler, Analysten und Nutzer überall auf der Welt zugänglich machen

53. Azure Machine Learning HDInsight SQL Server VM SQL DB Blobs & Tabellen Cloud Desktopdateien Exceltabelle Andere… Lokal ML Studio IDE für ML Web Service M Monetarisieren Speicherkonto

54. Azure Machine Learning

55. Speichern Sammeln Analysieren Konsumieren Sensordaten Event-Hub Stream Analytics Blob SQL DB Data Factory HDInsight Machine Learning Cortana Dashboard

56. Wrap Up Was haben wir gemacht?

58. Speichern Sammeln Analysieren Konsumieren Sensordaten Event-Hub Stream Analytics Blob SQL DB Dashboard Data Factory HDInsight Machine Learning Cortana

59. Machine Learning Muss ich jetzt Machine Learning lernen?

60. Azure Marketplace – Empfehlungsdienst

61. Build Was ist neu?

62. Azure Data Lake http://azure.com/datalake

63. Machine Learning API http://gallery.azureml.net

64. Project Oxford http://projectoxford.ai

65. Kostenloses E-Book http://aka.ms/MLbook

66. Blog-Serie zu Machine Learning http://aka.ms/MLSerie

67. Kostenlose Video-Serie zu Azure ML http://aka.ms/AzureML-MVA

68. Weitere Informationen http://aka.ms/startHDInsight http://aka.ms/MVABigData http://aka.ms/startADF http://aka.ms/startASA http://aka.ms/MLserie http://aka.ms/AzureML-MVA

69. http://aka.ms/TechWiese

70. Danke!  aka.ms/azurenow oliviaklose.com @oliviaklose