Successfully reported this slideshow.

Mit Legosteinen Maschinelles Lernen lernen

1

Share

1 of 35
1 of 35

Mit Legosteinen Maschinelles Lernen lernen

1

Share

Einführung in Machine Learning und Deep Learning. Der Vortrag demonstriert wie Objekterkennung implementiert werden kann. Eine Darstellung typischer Anwendungsfälle mit analoger Problemklasse im Unternehmenskontext rundet den Vortrag ab.

Einführung in Machine Learning und Deep Learning. Der Vortrag demonstriert wie Objekterkennung implementiert werden kann. Eine Darstellung typischer Anwendungsfälle mit analoger Problemklasse im Unternehmenskontext rundet den Vortrag ab.

More Related Content

Related Books

Free with a 14 day trial from Scribd

See all

Mit Legosteinen Maschinelles Lernen lernen

  1. 1. Andreas Koop IT-Architekt, Berater, Enabler @andreaskoop andreas.koop@enpit.de MIT LEGOSTEINEN MASCHINELLES LERNEN LERNEN 22.09.2017, Kassel, Big Data Days
  2. 2. AGENDA  Motivation / Challenge  Maschinelles Lernen verstehen  Erkennung von Lego-Steinen  Beispiele im Unternehmenskontext  Fazit 322.09.2017, Kassel, Big Data Days
  3. 3. DIE TYPISCHE MACHINE LEARNING (ML) EINFÜHRUNG k-Nearest Neighbor (kNN) Learning Vector Quantization (LVQ) Self-Organizing Map (SOM) Locally Weighted Learning (LWL) C4.5 and C5.0 (different versions of a powerful approach) Chi-squared Automatic Interaction Detection (CHAID) Naive Bayes k-Means Convolutional Neural Network (CNN) Arten des ML  Supervised Learning  Unsupervised Learning  Semi-Supervised Learning  Deep Learning  Reinforcement Learning Algorithmen  Dieser Vortrag versucht einen spielerischen Einstieg! 422.09.2017, Kassel, Big Data Days
  4. 4. MOTIVATION / CHALLENGE Welche Bauprojekte lassen sich mit den vorliegenden Steinen realisieren? Welche Steine fehlen noch? 522.09.2017, Kassel, Big Data Days
  5. 5. LÖSUNGSIDEE Lego-Steine fotographisch erfassen, erkennen und klassifizieren Stein Anzahl 1x2 2 2x2 1 2x3 1 2x4 0 ... ... Bilderkennung Wie bringen wir dem System bei, Objekte zu differenzieren? 622.09.2017, Kassel, Big Data Days
  6. 6. VOM PROGRAMM ZUM LERNEN Klassisches Programm Eingabedaten Logik / Regeln Ergebnis Maschinelles Lernen Eingabedaten Ergebnis Logik / Regeln Quelle: Deep Learning with Python Version 4 722.09.2017, Kassel, Big Data Days
  7. 7. ML AN EINEM EINFACHEN BEISPIEL PROBLEMSTELLUNG Baujahr Fläche Stadt Verkaufspreis 2013 90 qm München (20) 260.000 EUR 2014 60 qm Frankfurt (10) 180.000 EUR 2015 70 qm Paderborn (7) 160.000 EUR Inspired by: https://medium.com/@ageitgey Baujahr Fläche Stadt Verkaufspreis 2013 90 qm Paderborn (7) ?? EUR Referenzdaten Das sind unsere Trainingsdaten! Preis Vorhersage Wie hoch sollte der Verkaufspreis sein? 822.09.2017, Kassel, Big Data Days
  8. 8. ML AN EINEM EINFACHEN BEISPIEL LÖSUNGSIDEE func schaetzeVerkaufspreis(baujahr, flaeche, stadt) { return baujahr * w1 + flaeche * w2 + stadt * w3 +b; } Baujahr Fläche Stadt Verkaufspreis Schätzung 2013 90 qm München (20) 260.000 EUR 240.000 2014 60 qm Frankfurt (10) 180.000 EUR 190.000 2015 70 qm Paderborn (7) 160.000 EUR 200.000 Abweichung (loss) 20.000 10.000 40.000 Summe 70.000  Der Lernprozess besteht darin, iterativ optimale Werte für w1 / w2 / w3 / b zu ermitteln, um die Abweichung zu minimieren. Starte mit zufälligen Werten für w1, w2, w3, b 922.09.2017, Kassel, Big Data Days
  9. 9. LERNEN HEISST RECHNEN Eingabe: Baujahr, Fläche, Stadt Starte mit zufälligen Werten für w1, w2, w3, b FOR 1..100 (z.B.) Berechne Abweichung auf Basis einer geeigneten Funktion (Gradientenverfahren) Passe Werte für w1, w2, w3, b an Ergebnis: Optimale Werte für w1, w2, w3, b 1022.09.2017, Kassel, Big Data Days
  10. 10. ALS BERECHNUNGSGRAPH MODELLIERT Bau- jahr Flä- che Stadt = Verkaufspreis w1 w2 w3 +b Eingabe Gewichte Ergebnis 1122.09.2017, Kassel, Big Data Days
  11. 11. KOMPLEXERE ANFORDERUNGEN LASSEN SICH DURCH EIN KÜNSTLICH NEURONALES NETZ ABBILDEN Bau- jahr Flä- che Stadt = Schätzung 2 w1,1 w2 w3,3 +b2 = Schätzung 3 = Schätzung 1w1,2 = Verkaufspreis w1 w2 w3 +b ... +b1 +b3 Tiefe eines Netzes 1222.09.2017, Kassel, Big Data Days
  12. 12. EINORDNUNG VON KI, ML UND DEEPLEARNING Künstliche Intelligenz Machine Learning Deep Learning 13
  13. 13. AGENDA  Motivation / Challenge  Maschinelles Lernen verstehen  Erkennung von Lego-Steinen  Beispiele im Unternehmenskontext  Fazit 1422.09.2017, Kassel, Big Data Days
  14. 14. „LEARNING FLOW“  Trainingsdaten gewinnen und vorbereiten  Lernen – d.h. das mathematische Model trainieren (Gewichte ermitteln)  Anwenden – Das erlernte Model auf neue Daten anwenden Vorbereitung Lernphase Vorhersage Trainingsdaten & Validierungsdaten 1522.09.2017, Kassel, Big Data Days
  15. 15. TRAININGSDATEN MÜSSEN VORBEREITET WERDEN “Labeln” $ ffmpeg -i brick2x2.mov -vf fps=3 img%03d.jpg brick2x2.mov 25-50 Bilder (JPG) 1622.09.2017, Kassel, Big Data Days
  16. 16. DEEP LEARNING FLOW Z.B. 80% Klassifizierte Eingabedaten Trainingsdaten Validierungsdaten “Lerne” 20% Validiere Parameter anpassen etc. Maschine Learning Modell Ergebnis! 1722.09.2017, Kassel, Big Data Days
  17. 17. VORGEHENSWEISE TRAINING Bilder Beispiel Deep Learning ... Klassifizierung (Softmax) Label 1x2 2x2 2x3 2x4 ...(Inception v3 Model, google) ... Wir trainieren nur den letzten Layer! „Pre Trained Model“ State-of-the Art in 2017. Alternativen: ResNet (MS) .... 0,91 0,04 0,03 0,02 1822.09.2017, Kassel, Big Data Days
  18. 18. HEUTIGE LEARNING-MODELLE KÖNNEN SEHR UMFANGREICH SEIN Klassifizierung (Softmax) Wir trainieren nur den letzten Layer!Wir trainieren nur den letzten Layer! Hier könnte auch aufgesetzt werden. 1922.09.2017, Kassel, Big Data Days
  19. 19. ZUM LERNEN BRAUCHT ES FEEDBACK ... Vorhersage Korrektes Ergebnis loss function optimizer Eingabe Loss Score Weights Weights Aktualisiere Weights (Fehler Backpropagation) ... 2022.09.2017, Kassel, Big Data Days
  20. 20. LERN-METRIKEN JE TRAININGSITERATION  Training Accuracy: Wie viel Prozent der Trainingsdaten korrekt klassifiziert.  Validation Accuracy: „Wie viel Prozent der Validierungsdaten korrekt klassifiziert“  Cross Entropy / Loss: Auskunft über den Traingsfortschritt: Trend sollte in „so klein wie möglich“ gehen. 2122.09.2017, Kassel, Big Data Days
  21. 21. DEMO 2222.09.2017, Kassel, Big Data Days
  22. 22. TRAININGSLAUF (250 ITERATIONEN) 2322.09.2017, Kassel, Big Data Days
  23. 23. TRAINING / VALIDATION ACCURACYNach 90 Iterationen tut sich nicht mehr viel. 2422.09.2017, Kassel, Big Data Days
  24. 24. LOSS Läuft gegen 0.... Sehr schön! 2522.09.2017, Kassel, Big Data Days
  25. 25. TEST (MIT NEUEN BILDERN) Mit 73 % W‘keit Mit 62,5 % W‘keit 2622.09.2017, Kassel, Big Data Days
  26. 26. TEST (MIT NEUEN BILDERN) Mit 61 % W‘keit Mit 65 % W‘keit Am Beispiel von 4 trainierten Kategorien wurden neue Bilder von Legosteinen jeweils korrekt klassifiziert Um die W’keit zu erhöhen, bedarf es mehr Trainingsdaten 2722.09.2017, Kassel, Big Data Days
  27. 27. TEST (MIT BILDERN, FÜR DIE KEIN TRAINING DURCHGEFÜHRT WURDE) Alle W‘Keiten unter 50 % Alle W‘Keiten unter 50 % Alle W‘Keiten unter 50 % 2822.09.2017, Kassel, Big Data Days
  28. 28. AGENDA  Motivation / Challenge  Maschinelles Lernen verstehen  Erkennung von Lego-Steinen  Beispiele im Unternehmenskontext  Fazit 2922.09.2017, Kassel, Big Data Days
  29. 29. TAKE AWAYS 30
  30. 30. PRINZIP Kategorie A Z.B. Bilder, Text, Ereignisse Eingabedaten Kategorie B Kategorie C ... Maschine Learning Modell Maschinenlernen heißt – dieses Modell zu trainieren! 3122.09.2017, Kassel, Big Data Days
  31. 31. ANWENDUNGSBEISPIELE – HEUTE SCHON STANDARD!  SPAM-Erkennung  Gesichtserkennung und Bildklassifikation (Facebook, Google, Apple...)  Spracherkennung, Übersetzung  Objekterkennung für autonomes Fahren (Verkehrsschilder, Hindernisse, Fahrspuren, etc.)  Eingabevorschlag für Wörter  ... 3222.09.2017, Kassel, Big Data Days
  32. 32. ANWENDUNGSPOTENTIAL IM UNTERNEHMENSKONTEXT  Dokumentenanalyse (z.B. Verträge) und Klassifizierung  Healthcare: Erkennung von Krankheitsbildern  Finance: Prüfung Kreditwürdigkeit, Investment-Strategien  Ecommerce: Optimierung Conversion-Rate  Smart City: Intelligente Verkehrssteuerung  Produktion: Erkennung von Ereignismuster  Erkennen von Verhaltensmuster im Support / Telefon (genervter Kunde etc.)  Konstruktion von Produkten – Neue Designs erfinden 3322.09.2017, Kassel, Big Data Days
  33. 33. FAZIT  Wer viele Daten hat, ist klar im Vorteil! (Facebook, Google, Apple (Siri) ...)  Auf Basis „vortrainierter“ Modelle schnelle Trainingserfolge möglich!  GPUs oder spezielle Prozessoren, z.B. TPUs (Tensor Processing Units) sind für effizientes Lernen erforderlich  Maschinelles Lernen ist per Cloud-Service einfach nutzbar - Google, AWS, Azure, Oracle 3422.09.2017, Kassel, Big Data Days
  34. 34. VIELEN DANK FÜR EURE AUFMERKSAMKEIT! FRAGEN? Andreas Koop IT-Architekt, Berater, Enabler Twitter/ Medium@andreaskoop Email andreas.koop@enpit.de Blogs enpit.de/blog medium.com/enpit-developer-blog Code: https://github.com/enpit/tensorflow-for-lego 3522.09.2017, Kassel, Big Data Days

Editor's Notes

  • Instead, focus on problems where a human could solve the problem, but where it would be great if a computer could solve it much more quickly.

  • ×