KI und Architektur
•
0 likes•417 views
Künstliche Intelligenz ist auf dem Vormarsch, ohne Zweifel. Egal ob Qualitätssicherung in der Produktion, Retourenmanagement im Online-Handel oder Customer-Support via Chatbot: KI eröffnet bisher noch nicht dagewesene Möglichkeiten, die eigenen Prozesse und Geschäftsmodelle deutlich zu verbessern - vorausgesetzt man verfügt über hinreichend viele und qualifizierte Daten. Aber wie lässt sich KI in die eigene Software-Architektur integrieren? Wer befindet über das richtige Modell und den richtigen Algorithmus? Und wie wird über die hinreichende Quantität / Qualität von Daten entschieden? Die Rolle des KI-Architekten scheint geboren. Die Session veranschaulicht die verschiedenen Herausforderungen, die sich durch das Einbinden von KI für die eigene Software-Entwicklung ergeben können und zeigt dafür passende, pragmatische Lösungsansätze auf.
Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Similar to KI und Architektur
Similar to KI und Architektur (20)
More from OPEN KNOWLEDGE GmbH
More from OPEN KNOWLEDGE GmbH (20)
KI und Architektur
- 1. #WISSENTEILEN KI und Architektur @_openKnowledge | @mobileLarson Lars Röwekamp | open knowledge GmbH
- 2. #WISSENTEILEN @mobileLarson CIO New Technologies OPEN KNOWLEDGE Lars Röwekamp Cloud AI & ML Architecture Microservices < < < <
- 4. „Artificial Intelligence is a system’s ability to correctly interpret external data, to learn from such data, and to use those learnings to achieve specific goals and tasks through flexible adaptation.“ (Andreas Kaplan & Michael Haenlein, 2018)
- 5. künstliche Intelligenz starke KI schwache KI echte Nachbildung des menschlichen Bewusstseins (bis heute nicht existent) Maschine, die menschliches Verhalten (teilweise) imitiert
- 6. künstliche Intelligenz starke KI schwache KI Machine Learning echte Nachbildung des menschlichen Bewusstseins (bis heute nicht existent) Teilgebiet der künstlichen Intelligenz: lernt mittels statistischer Methoden und kann sich anhand von Erfahrungen verbessern Maschine, die menschliches Verhalten (teilweise) imitiert
- 7. Teilgebiet des Machine Learnings: bedient sich mehrschichtiger neuronaler Netze zum Lernen/Entscheiden künstliche Intelligenz starke KI schwache KI Deep Learning Machine Learning echte Nachbildung des menschlichen Bewusstseins (bis heute nicht existent) Teilgebiet der künstlichen Intelligenz: lernt mittels statistischer Methoden und kann sich anhand von Erfahrungen verbessern Maschine, die menschliches Verhalten (teilweise) imitiert
- 8. Neuronale Netze zum Lernen und Entscheiden künstliche Intelligenz starke KI schwache KI Deep Learning Machine Learning
- 11. Daten, Daten, Daten Modell und Algorithmus Grundwahrheit und Baseline Ruckschluss und Aktion Korrelation, nicht Kausalität KI ist …
- 13. KI & Business Anlagen & Maschinenbau Product Quality Assurance Process Monitoring Machine Set-Up Optimization Preditive Maintenance
- 14. KI & Business Einzel- & Online-Handel Sales Prediction Logistic Optimization Retouren Management Product Placement Brand Loyality
- 15. KI & Business Finance & Insurance Personalized Assistance Insurance Application Risk Management Anomalie Detection
- 16. KI & Business Human Resources Pre Selection Virtual Assesment Self-Scheduling Active Sourcing Campaign Analytics
- 17. KI & Business Customer Experience Chatbot & Voice Assistant Realtime Next Best Action Sentiment Analysis Predictive Customer Service Intelligent Routing
- 18. KI spart Kosten KI hebt Umsatz KI verbessert Qualität KI vermindert Risiko KI optimiert Prozesse KI steigert Kundenbindung KI & Business
- 21. ML Voodoo Maturity Level Level #1 Level #2 Level #3 Level #4 Level #5 Daten Daten Daten Daten Daten Daten Daten Daten Daten 42
- 22. Level #2: Nutzung von 3rd Party NNs Level #3: Produktiver Einsatz von ML Level #4: Entwurf & Umsetzung eigener NNs Level #5: High End Math & Data Analytics Level #1: Integration von 3rd Party APIs
- 23. Level #1: Integration von 3rd Party APIs Level #2: Nutzung von 3rd Party NNs Level #4: Entwurf & Umsetzung eigener NNs Level #5: High End Math & Data Analytics „Read this!“ Level #3: Produktiver Einsatz von ML
- 24. Level #2: Nutzung von 3rd Party NNs Level #4: Entwurf & Umsetzung eigener NNs Level #5: High End Math & Data Analytics „Not your business!“ Level #3: Produktiver Einsatz von ML Level #1: Integration von 3rd Party APIs
- 25. Level #2: Nutzung von 3rd Party NNs Level #4: Entwurf & Umsetzung eigener NNs Level #5: High End Math & Data Analytics Level #1: Integration von 3rd Party APIs Level #3: Produktiver Einsatz von ML
- 26. Level #2: EXPLORATION Level #3: PRODUCTION Level #4: RESEARCH
- 27. Level #2: EXPLORATION Level #4: RESEARCH not really Level #3: PRODUCTION
- 28. Level #2: EXPLORATION „You are here, maybe!“ Level #3: PRODUCTION
- 29. Level #2: EXPLORATION Level #3: PRODUCTION „But, you want to be here, definitely!“
- 30. Level #2: EXPLORATION Level #3: PRODUCTION „But, you want to be here, definitely!“ have
- 31. ML Voodoo Level 2 „only“ Issue Understanding Data Understanding Data Preparation QA & Validation Deployment & Operation Modeling
- 32. 1 3 5 2 4 6 Business Understanding Data Understanding Data Preparation Analysis & Modeling QA & Validation Deployment & Operation *in Anlehnung an „CRISP-DM“: CRoss Industry Standard Process for Data Mining ML for Production
- 33. 1 3 5 2 4 6 Business Understanding Data Understanding Data Preparation Analysis & Modeling QA & Validation Deployment & Operation *CRISP-DM: CRoss Industry Standard Process for Data Mining ML for Production
- 35. ML for Production am Beispiel Sales Forecast
- 36. ML for Production am Beispiel … SALES FORECAST Auf Basis historischer Daten aus mehreren Filialen sollen Verkaufszahlen für die Zukunft vorhergesagt werden.
- 37. 1 3 5 2 4 6 Business Understanding
- 38. Business Understanding Problemstellung Bestimmung der (betriebswirtschaftlichen) Problemstellung des ML Projektes. Welche Fragestellungen sollen geklärt werden? Zielbestimmung Bestimmung der datenanalytischen Ziele zur Beantwortung der Fragestellung, sowie der zugehörigen messbaren Erfolgskriterien. Wann gilt das ML-Projekt als erfolgreich „abgeschlossen“?
- 39. Business Understanding Ausgangsituation Bewertung der aktuellen Ausgangssituation bzgl. Hardware-, Software & Personalressourcen. Aufführen von Risiken. Projektplan Aufsetzen eines passenden Projektplans, inkl. Zieldefinition, Zeitplan, Risikobeschreibung und Prüfung der zur Verfügung stehenden Ressourcen.
- 40. Business Understanding am Beispiel Problemstellung - SALES FORECAST „Häufig ist zu viel oder zu wenig Ware auf dem Lager.“ „Verderbliche Ware wird abends weggeschmissen.“ „Marketingkampagnen sind nicht effektiv (genug).“ „Umsatz ist ok, aber nicht wirklich planbar.“ …
- 41. Business Understanding am Beispiel Business Ziele - SALES FORECAST Es soll eine Bedarfsvorhersage erstellt werden, welche die Vorhersage von Verkäufen*, sowie die Planung von Marketingkampagnen** unterstützt. * … und damit indirekt auch Beschaffung und Lagerhaltung ** ... wie z.B. Promotions oder Einführung neuer Produkte
- 42. Business Understanding am Beispiel Analytische Ziele - SALES FORECAST Eine Machine Learning Lösung soll den Bedarf von […] Produkten, für den Zeitraum nächste/s/n [Woche|Monat|Jahr], mit einer Genauigkeit von […]% vorhersagen.
- 43. 1 3 5 2 4 6 Data Understanding
- 44. Data Understanding Daten sammeln & beschreiben Für die Analysen notwendige Daten beschaffen, integrieren und „verstehen“. Reichen vorliegende Daten für die Analyse? Daten untersuchen & bewerten Durchführung erster Analysen inkl. Visualisierung von ersten Erkenntnissen und Hypothesen. Passen vorliegende Daten in Quantität und Qualität für die Analyse?
- 45. Data Understanding am Beispiel Daten sammeln & beschreiben - SALES FORECAST Als Basis für erste Analyse dienen Sales Reports sowie weitere Daten zu den POS aus den letzten drei Jahren. * Anzahl verkaufter Produkte pro Tag ** u.a. Lokation, Größe, Mitarbeiter, Distanz zu Mitbewerbern
- 46. Sales Data (>1 Mio Datensätze) Store Data (ca. 1100 Datensätze) Data Understanding am Beispiel
- 47. Product Sales “letzten Jahre“ SAISONALITÄT TREND
- 48. Product Sales “letztes Jahr“ Autokorrelation? Saisonalität?
- 49. Product Sales “Wochenverteilung“ DI bis FR ähnliche Muster SA, SO, MO individuelle Muster* *Wochentag als eigenes Feature
- 50. Product Sales “Feiertage“ Feiertage zeigen sehr individuelle Muster* *Feiertage als eigenes Feature
- 51. Data Understanding am Beispiel Daten sammeln & beschreiben - SALES FORECAST Neben den Sales Reports der einzelnen POS gibt es noch zahlreiche weitere Quellen, die zur ML basierten Vorhersage herangezogen werden können, um so ein genaueres Bild zu zeichnen.
- 52. Sales Transactions Internal Data Sources External Data Sources Unstructured Data Sources Structured Data Sources
- 53. E-Commerce Sales Data Sales Transactions Purchchase Orders Inventory POS Information Loyality Cards Customer Service Internal Data Sources External Data Sources Unstructured Data Sources Structured Data Sources
- 54. E-Commerce Sales Data Sales Transactions Purchchase Orders Inventory POS Information Loyality Cards Customer Service Internal Data Sources External Data Sources Unstructured Data Sources Structured Data Sources Weather 3rd Party syndicated Data Macroeconomic Indicators Government Census Customer POS Information Household Panel Data
- 55. E-Commerce Sales Data Sales Transactions Purchchase Orders Inventory POS Information Loyality Cards Customer Service Weather 3rd Party syndicated Data Macroeconomic Indicators Government Census Customer POS Information Household Panel Data Websites Reviews Marketing Campaigns (Mobile) Apps In-Store Devices Texts CRM Data Internal Data Sources External Data Sources Unstructured Data Sources Structured Data Sources
- 56. E-Commerce Sales Data Sales Transactions Purchchase Orders Inventory POS Information Loyality Cards Customer Service Weather 3rd Party syndicated Data Macroeconomic Indicators Government Census Customer POS Information Household Panel Data Websites Reviews Marketing Campaigns (Mobile) Apps In-Store Devices Texts CRM Data Internal Data Sources External Data Sources Unstructured Data Sources Structured Data Sources Social Media Click Streams Internet of Things Geolocation Devices Digital Personal Assistants Videos
- 57. Data Understanding am Beispiel Daten untersuchen & bewerten - SALES FORECAST Die Daten müssen im Vorfeld auf viele Qualitätsfaktoren hin analysiert werden: Verfügbarkeit, Vollständigkeit, Genauigkeit, Gültigkeit, Konsistenz, Relevanz, Granularität, Kosten
- 58. 1 3 5 2 4 6 Data Preparation
- 59. Data Preparation Daten auswählen Auswahl der Daten auf Basis von Qualität und techn. Restriktionen. Welche Daten(-Sets) sollen in die Analyse aufgenommen werden? Daten bereinigen und transformieren Bereinigung, Aggregieren und Veredelung der ausgewählten Daten. In welcher Qualität und Granularität werden die Daten benötigt?
- 60. Data Preparation Process Data Collection Data Preprocessing Data Transformation* • Formatieren • Bereinigen • Veredeln • Aufsplitten • Skalieren • Normalisieren • Auftrennen • Aggregieren • Encoden • Problem benennen • Daten definieren • Daten sammeln und kombinieren *aka Feature Engineering
- 61. Nicht der Feiertag selbst ist relevant, sondern der Tag davor und danach! Data Preparation am Beispiel BTW: Wo versteckt sich eigentlich der Kunde?* *direkte Korrelation zu Sales, daher kein eigenes Feature
- 62. Data Preparation am Beispiel Feature Engineering*: Tag der Woche Promos Flag „vor/nach Feiertag“ Flag „Schulfeiertag“ Sortiment Saison *Einführung zusätzlicher Features
- 63. Sales Prediction ohne zusätzliche Features 150 100 50 0
- 64. Sales Prediction mit zusätzlichen Features 150 100 50 0
- 65. 1 3 5 2 4 6 Analysis & Modeling
- 66. Analysis & Modeling Modell auswählen Passenden Modellierungstechnik auswählen. Welches Modell passt „am besten“ zur gegebenen Problemstellung aus Phase 1? Modell bewerten* Testmodell erstellen, um Qualität und Genauigkeit des Modells zu prüfen. Liefert das Modell passende Ergebnisse zur Zielsetzung aus Phase 1? *inkl Erstellung und Bewertung eines Testmodell
- 67. Analysis & Modeling am Beispiel Typische Modell-Kandidaten für „Demand Forecasting“ ARIMA / SARIMA Linear Regression XG Boost K-Nearest Neighbors Regression Random Forrest Long Short-Term Memory (LSTM) „Beste“ Lösung abhängig von der Fragestellung, z.B. SARIMA saisonale Vorhersagen Linear Regression Einfluss von Änderungen Trendvorhersagen
- 68. Quelle: https://www.datasciencecentral.com/linear-machine-learning-and-probabilistic-approaches-for-time/ Analysis & Modeling am Beispiel RMSE Root Mean Square Error
- 69. 1 3 5 2 4 6 QA & Validation
- 70. QA & Validation Resultate / Prozess bewerten Bewertung inkl Begründung des Projekterfolges und der Resultat. Erreicht das Modell die Projektziele? Einführung entscheiden Entscheiden, ob das Projekt „beendet“ ist und eingeführt werden kann. Ist das Modell produktionsreif und kann eingeführt werden?
- 71. QA & Validation am Beispiel Short-Term Forecast: 5.3% Fehler zusätzliches Features „Average Sale 3 Tage“ Long-Term Forecast: 7.1% Fehler zusätzliches Features „Average Sale 2 Jahre“
- 72. QA & Validation am Beispiel MAEP of Forecast Mean Avarage Percentage Error Quelle: https://www.relexsolutions.com/resources/measuring-forecast-accuracy/ Gewichtung?
- 73. QA & Validation am Beispiel Quelle: https://www.relexsolutions.com/resources/measuring-forecast-accuracy/ W-MAEP of Forecast Weighted Mean Avarage Percentage Error
- 74. QA & Validation am Beispiel MAEP of Forecast on Group Level Mean Avarage Percentage Error Quelle: https://www.relexsolutions.com/resources/measuring-forecast-accuracy/ Product vs Group Level?
- 75. 1 3 5 2 4 6 Deployment & Operation
- 76. Deployment & Operation MLops etablieren Automatisiertes Deployment inkl Datenprüfung & Testing. Kann das Modell automatisiert wiederholbar deployed werden? Überwachung der Modelle Aufsetzen einer Monitoring-Lösung inkl. Trendanalysen. Ist das Modell noch performant?
- 77. CONTINUOUS DELIVERY “…the ability to get changes of all types — including new features, configuration changes, bug fixes, and experiments — into production, or into the hands of users, safely and quickly in a sustainable way.“ Jez Humble & Dave Farley
- 78. Deployment & Operation am Beispiel MLops etablieren aka CI / CD Pipeline für Änderungen Data Model Code Schema Zeitreihen Mengengerüst Algorithmen Trainings Experimente Anforderungen Bug Fixes Konfigurationen
- 79. Testpyramiden-Stack Exemplarischer Stack der verschiedenen Testpyramiden für DATA, MODEL und CODE Quelle: https://martinfowler.com/articles/cd4ml.html CI/CD Testing
- 80. Deployment & Operation am Beispiel Überwachung der Modelle Model Performance Model Input/Output Distribution Model Learning Curves Model Evaluation Metrics Model QA Results Hardware Metrics CI/CD Pipeline for ML
- 81. ML Monitoring
- 83. RACI Matrix R = Responsible A = Accountable C = Consulted = Consulted I Quelle: https://towardsdatascience.com/crisp-dm-ready-for-machine-learning-projects-2aad9172056a
- 85. 1 3 5 2 4 6 Business Understanding Data Understanding Data Preparation Analysis & Modeling QA & Validation Deployment & Operation ML for Production
- 86. 1 3 5 2 4 6 Business Understanding Data Understanding Data Preparation Analysis & Modeling QA & Validation Deployment & Operation ML for Production Exploration
- 87. 1 3 5 2 4 6 Business Understanding Data Understanding Data Preparation Analysis & Modeling QA & Validation Deployment & Operation ML for PRODUCTION
- 89. #WISSENTEILEN Vielen Dank! #WISSENTEILEN by open knowledge GmbH @_openKnowledge | @mobileLarson Lars Röwekamp, CIO New Technologies
- 90. #WISSENTEILEN BILDNACHWEIS Folie 01: © Merena, iStockphoto.com Folie 20: © Photoplotnikov, iStockphoto.com All other pictures, drawings and icons originate from • pexels.com, • pixabay.com, • unsplash.com, • flaticon.com or were made by my own.