Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Webinar - Sehr empfehlenswert: wie man aus Daten durch maschinelles Lernen Wert schafft

839 views

Published on

Unternehmen sind heutzutage in der Lage ihre Daten mit relativer Leichtigkeit aufzunehmen und zu verwalten. Die Herausforderung besteht nun darin, die verborgenen Muster in den Daten zu erkennen und diese zu verstehen, um einen Mehrwert zu generieren. Aufgrund der großen Datenmengen gelingt dies mit traditionelle Ansätzen zumeist nicht. Das Ergebnis: Organisationen kämpfen, um wirklich zu innovieren und sich zu differenzieren.

Published in: Business
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • Be the first to like this

Webinar - Sehr empfehlenswert: wie man aus Daten durch maschinelles Lernen Wert schafft

  1. 1. 1© Cloudera, Inc. All rights reserved. Wie man aus Daten durch maschinelles Lernen Wert schafft Daniel Tydecks, Systems Engineer DACH & CE, Cloudera Dr. Marcel Rothering, IT Consultant, saracus consulting GmbH
  2. 2. 2© Cloudera, Inc. All rights reserved. “Oil doesn’t generate more oil […] the product of data will generate more data” Piero Scaruffi
  3. 3. 3© Cloudera, Inc. All rights reserved. The most valuable companies are data-driven 0 200 400 600 800 1,000 1,200 1,400 1,600 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 Market capitalization normalized growth ($B) 2007-2017 Apple Google Microsoft Facebook Amazon S&P 500 Normalized 2007 =100
  4. 4. 4© Cloudera, Inc. All rights reserved. The age of “datafication” Cost of compute Data volume Time Machine Learning NO Machine Learning 1950s 1960s 1970s 1980s 1990s 2000s 2010s 2020s
  5. 5. 5© Cloudera, Inc. All rights reserved. Key challenge: Extract true useful meaning from data + make it actionable Open science & reproducible research!
  6. 6. 6© Cloudera, Inc. All rights reserved. Open data science in the enterprise IT drive adoption while maintaining compliance Data Scientist explore, experiment, iterate
  7. 7. 7© Cloudera, Inc. All rights reserved. Sample data science / machine learning workflow From data to exploration to action Data Engineering Data Science (Exploratory) Production (Operational) Data Wrangling Analysis and Visualization Model Training & Testing Production Data Pipelines Batch Scoring Online Scoring Serving Data GovernanceGovernance Processing Acquisition Reports, Dashboards Shared: Data, Operations, Governance, Security, Metadata Dev: Collaboration, Version Control Ops: Deployment, Scheduling, Orchestration, Monitor
  8. 8. 8© Cloudera, Inc. All rights reserved. The good news Data has never been more plentiful Open source data science and machine learning libraries are mature and continuously evolving Commodity (and on-demand) compute makes scalable production machine learning affordable
  9. 9. 9© Cloudera, Inc. All rights reserved. The bad news Most data science done at small scale, individually, and is difficult to replicate Teams have different, conflicting requests for languages & libraries Data needs to move across multiple different systems
  10. 10. 10© Cloudera, Inc. All rights reserved. Access Scale Developer experience Additional challenges
  11. 11. 11© Cloudera, Inc. All rights reserved. Our goal: An open platform for data science at scale Help more data scientists use the power of Hadoop Use a powerful, familiar environment with direct access to Hadoop data and compute Data Scientist Data Engineer Make it easy and secure to add new users, use cases Offer secure self-service analytics and a faster path to production on common, affordable infrastructure Enterprise Architect Hadoop Admin
  12. 12. 12© Cloudera, Inc. All rights reserved. Cloudera Enterprise 1 The modern platform for machine learning and analytics optimized for the cloud EXTENSIBLE SERVICES CORE SERVICES DATA ENGINEERING OPERATIONAL DATABASE ANALYTIC DATABASE DATA CATALOG INGEST & REPLICATION SECURITY GOVERNANCE WORKLOAD MANAGEMENT DATA SCIENCE S3 ADLS HDFS KUDU STORAGE SERVICES
  13. 13. 13© Cloudera, Inc. All rights reserved. For data scientists • Open data science, your way Use R, Python, or Scala • No need to sample Directly access data in secure clusters via Spark & Impala • Reproducible, collaborative research Share with your whole team Accelerate data science from exploration to production For IT professionals • Bring analysis to the data Give data science team the freedom to work how they want, when they want • Secure by default Stay compliant with out-of-the- box Hadoop security • Flexible deployment On-premises or in the cloud EXTENSIBLE SERVICES CORE SERVICES DATA ENGINEERING OPERATIONAL DATABASE ANALYTIC DATABASE DATA CATALOG INGEST & REPLICATION SECURITY GOVERNANCE WORKLOAD MANAGEMENT DATA SCIENCE S3 ADLS HDFS KUDU STORAGE SERVICES DATA SCIENCE
  14. 14. 14© Cloudera, Inc. All rights reserved. Why is this relevant? Focus!
  15. 15. 15© Cloudera, Inc. All rights reserved. CDSW
  16. 16. 16© Cloudera, Inc. All rights reserved. Call to action: 1) Talk to our partners or us – we help to avoid common mistakes 2) Setup a lab with CDH & CDSW 3) Iterate & fail fast: load, transform & analyze to show value quickly 4) Act business focused 5) Get used to keeping data centralized 16© Cloudera, Inc. All rights reserved.
  17. 17. Titelmasterformat durch Klicken bearbeiten Wie man aus Daten durch maschinelles Lernen Wert schafft Cloudera Webinar Referent: Dr. Marcel Rothering Datum: 24.10.2017
  18. 18. Titelmasterformat durch Klicken bearbeitenAgenda 1. Vorstellung: saracus consulting 2. Machine Learning & Spark MLlib 3. ShowCase I: Retail-Clustering 4. ShowCase II: Movie Recommendation Engine 5. Zusammenfassung und Ausblick 18saracus consulting – Cloudera Webinar
  19. 19. Titelmasterformat durch Klicken bearbeitenAgenda 1. Vorstellung: saracus consulting 2. Machine Learning & Spark MLlib 3. ShowCase I: Retail-Clustering 4. ShowCase II: Movie Recommendation Engine 5. Zusammenfassung und Ausblick 19saracus consulting - Cloudera Webinar
  20. 20. Titelmasterformat durch Klicken bearbeiten Mit über 25 Jahren Erfahrung sind wir eines der führenden herstellerunabhängigen Beratungsunternehmen und Systemintegratoren für BI und Big Data Projekten im deutschsprachigen Raum. Schwerpunkt-Branchen sind Versicherungen, Banken, Einzelhandel und Telekommunikation. Gemeinsame Umsetzung von Projekten mit unserem Partner Cloudera. saracus: Mission und Beratungsprodukte 20saracus consulting - Cloudera Webinar DWH academy Utilities Consulting !  Inhouse-Seminare  Studien  Zertifizierung  DWtec©-Methodology  DWH-Automation  DWinsurance  Strategie & Architektur  Analyse & Design  Implementierung  Testing  Betrieb/Wartung  Organisation
  21. 21. Titelmasterformat durch Klicken bearbeitensaracus Kompetenzfelder 21saracus consulting - Cloudera Webinar Integrationsarchitektur  Data Governance  Architekturen für analytische Systeme  Data Warehouse (ETL-Prozesse)  Datenqualität  Master Data Management Analytische Systeme  Berichtswesen & Analyse  Cockpits & Scorecards  Planungssysteme  Datenmodellierung  Mobile BI  Predictive Analytics  BI-Reviews  Analytisches CRM  Kampagnen-Managementnt ! Neue Themen  Big Data: Hadoop  Analysen in der Cloud  Agile DWH / Scrum  Data Vault  Maschinelles Lernen  Data Virtualization  DWH-Automation  Social Media Monitoring
  22. 22. Titelmasterformat durch Klicken bearbeitensaracus Big Data Consulting 22saracus consulting - Cloudera Webinar Roadmap Design Use Case Identifizierung/ (saracus BDUC) Design–Lösungen für Use Cases Product & Technology Evaluation On-premise /Cloud Consulting/Strategie Pilot Architektur & Design Build & Deploy Maintenance / Support / Training Proof of Concept (On-premise, Cloud-Lösung) Pilot Projekt Assessment Scope & Analyse Architektur-Design Infrastruktur Kapazitätsplanung Applikationen Realtime Analytics Advanced Analy. Data Ingestion Data Preparation Data Governance Performance Tuning Services 24/7 Support Hadoop as a Service Administration Support in der Cloud Training (Diverse Schulungen) Experten Review Advising Produktion Deployment
  23. 23. Titelmasterformat durch Klicken bearbeitenVielfältige Kundenprojekte 23saracus consulting - Cloudera Webinar Banken & Finanzdienstleister Versicherungen Telko & Medien Industrie Transport & Reise Handel Öffentliche Verwaltung & Gesundheitswesen Energie
  24. 24. Titelmasterformat durch Klicken bearbeitenAgenda 1. Vorstellung: saracus consulting 2. Machine Learning & Spark MLlib 3. ShowCase I: Retail-Clustering 4. ShowCase II: Movie Recommendation Engine 5. Zusammenfassung und Ausblick 24saracus consulting – Cloudera Webinar
  25. 25. Titelmasterformat durch Klicken bearbeitenWas ist maschinelles Lernen?  Arthur Lee Samuel: "gives computers the ability to learn without being explicitly programmed"  Konstruktion von Algorithmen welche von Daten lernen und Vorhersagen ermöglichen  Use Cases: Spam-Filter, Kundensegmentierung, Next-Best-Offer, Kreditwürdigkeit, Predictive Maintenance, Cyber-Security, … 25saracus consulting – Cloudera Webinar
  26. 26. Titelmasterformat durch Klicken bearbeitenVorgehensweise: CRISP DM 26saracus consulting – Cloudera Webinar
  27. 27. Titelmasterformat durch Klicken bearbeitenCloudera Distribution für Data Analytics  Integration mit Python Anaconda (Parcels)  Cloudera Data Science Workbench für Data Science Projekte  Einfache Installation verschiedener Services mit dem Cloudera Manager  HUE als open source Analytics Workbench 27saracus consulting – Cloudera Webinar
  28. 28. Titelmasterformat durch Klicken bearbeitenApache Spark ML & MLlib  Große Auswahl von verschiedenen Machine Learning Algorithmen: Lineare Regression, naive Bayes, Tree- Based Models, Alternate Least Square, k-means clustering, …  Parallele und verteilte Implementation der Algorithmen  Iterative Algorithmen profitieren von “in-memory datasets”  Pipeline API zum Erstellen komplexer Datenströme für Data Preprocessing, Feature Extraction, Model Evaluation, …  Gute Integration ins Hadoop Ökosystem 28saracus consulting – Cloudera Webinar
  29. 29. Titelmasterformat durch Klicken bearbeitenAgenda 1. Vorstellung: saracus consulting 2. Machine Learning & Spark MLlib 3. ShowCase I: Retail-Clustering 4. ShowCase II: Movie Recommendation Engine 5. Zusammenfassung und Ausblick 29saracus consulting – Cloudera Webinar
  30. 30. Titelmasterformat durch Klicken bearbeitenMotivation & Ausgangslage  Daten: Kassenbons (über 40 verschiedene Attribute), möglicherweise vorhandene Kundendaten (Alter, Geschlecht, Wohnort, …)  Ausgangslage: XML-Format, große Datenmengen, Advanced Analytics im klassischen DWH oftmals nicht möglich  Nutzen: gezielte Werbung z.B. in Prospekten, Personaloptimierung, Rabattaktionen, Produktplazierung in Regalen, Optimierung des Produktsortiments 30saracus consulting – Cloudera Webinar
  31. 31. Titelmasterformat durch Klicken bearbeitenUmsetzung  Anbindung der Kassensysteme an Kafka-Streaming  Transformieren der XML Dateien zu JSON  Ablegen der Daten aufs HDFS  Mögliche Kundendaten mit Sqoop aufs HDFS laden  Aufbereitung der Daten mit Spark SQL  Kundensegmentierung mit Spark ML (k-Means) 31saracus consulting – Cloudera Webinar
  32. 32. Titelmasterformat durch Klicken bearbeitenk-Means Algorithmus 32saracus consulting – Cloudera Webinar Quelle: Introduction to Statistical Learning – Hastie et al.
  33. 33. Titelmasterformat durch Klicken bearbeitenShowCase Demo 33saracus consulting – Cloudera Webinar Retail Clustering
  34. 34. Titelmasterformat durch Klicken bearbeitenAgenda 1. Vorstellung: saracus consulting 2. Machine Learning & Spark MLlib 3. ShowCase I: Retail-Clustering 4. ShowCase II: Movie Recommendation Engine 5. Zusammenfassung und Ausblick 34saracus consulting – Cloudera Webinar
  35. 35. Titelmasterformat durch Klicken bearbeitenMotivation & Ausgangslage • Challenge E-Commerce: „Kunden helfen bei der großen Vielfalt an Produkten die zu finden, welche am besten zu ihnen passen“ • Zwei verschiedene Strategien:  Content Based Approach  Profiling der Benutzer und Produkte, um deren Beziehungen zu finden  Umfangreiche Nutzerprofile liegen oftmals nicht vor  Collaborative Filtering  Erfordert keine Erstellung von expliziten Profilen  Basiert allein auf bisherigem Verhalten von Benutzern  Co-Clustering: „like minded users“ bzw. ähnliche Produkte 35saracus consulting – Cloudera Webinar
  36. 36. Titelmasterformat durch Klicken bearbeitenCollaborative Filtering und ALS 36saracus consulting – Cloudera Webinar • Basiert auf Matrix-Faktorisierung „hidden Features“ • Minimiert RMSE mit alternierender Vorgehensweise • Theorie: „Large-scale Parallel Collaborative Filtering for the Netflix Prize – Zhou et. al.“ • Riesige Matrizen mit Millionen Einträgen • Schnelles Trainieren des Modells erfordert verteiltes Rechnen • CDH und Apache Spark sind dafür bestens geeignet
  37. 37. Titelmasterformat durch Klicken bearbeiten saracus consulting – Cloudera Webinar 37 Umsetzung in der AWS mit CDH und Apache Spark • 5-Node Cluster in der AWS mit CDH • Frei zugänglicher Datensatz von MovieLens (> 10 000 000 Ratings von >10 000 Filmen) • Ziel: Eigene Bewertungen hinzufügen, Modell trainieren und Vorhersagen für Empfehlungen machen
  38. 38. Titelmasterformat durch Klicken bearbeiten saracus consulting – Cloudera Webinar 38 Erkunden des Datensatzes
  39. 39. Titelmasterformat durch Klicken bearbeiten saracus consulting – Cloudera Webinar 39 Eigene Bewertungen abgeben
  40. 40. Titelmasterformat durch Klicken bearbeiten saracus consulting – Cloudera Webinar 40 Modell trainieren und testen
  41. 41. Titelmasterformat durch Klicken bearbeiten saracus consulting – Cloudera Webinar 41 Unsere Empfehlungen
  42. 42. Titelmasterformat durch Klicken bearbeitenZusammenfassung: Recommendation Engine  Modell sollte bei neuen Bewertungen der Benutzer regelmäßig neu trainiert werden  Training sollte nicht lange dauern  Erstellung einer Recommendation Engine auf verteilten System gut umsetzbar mit CDH und Apache Spark  Collborative Filtering auch mit implicit feedback möglich: Ableiten der Nutzervorlieben vom Browserverlauf, Suchmustern, …  Nutzen: Stärkung der Kundenbindung, Steigerung der Einnahmen, Ersparnis von Kosten, …  Justin Basilico (Netlix Recommendation Research Engineer):  „… system influences choice for about 80% of hours streamed“  „…combined effect of personlizations and recommendations saves us more than 1 Billion per year“ 42saracus consulting – Cloudera Webinar
  43. 43. Titelmasterformat durch Klicken bearbeitenAgenda 1. Vorstellung: saracus consulting 2. Machine Learning & Spark MLlib 3. ShowCase I: Retail-Clustering 4. ShowCase II: Movie Recommendation Engine 5. Zusammenfassung und Ausblick 43saracus consulting – Cloudera Webinar
  44. 44. Titelmasterformat durch Klicken bearbeitenZusammenfassung und Ausblick  Maschinelles Lernen ist essentiell um wettbewerbsfähig zu bleiben  CDH mit Spark ML ideal für Machine Learning Development  Wir unterstützen Sie bei der Entwicklung übers Deployment bis zum Monitoring bei Ihren Use Cases  Erfahren Sie mehr über uns auf unserer Homepage www.saracus.com, in unseren White Papern oder im saracus Big Data Blog 44saracus consulting – Cloudera Webinar
  45. 45. Titelmasterformat durch Klicken bearbeiten Ihre Fragen? Vielen Dank für ihre Aufmerksamkeit 45 Homepage: www.saracus.com E-Mail: m.rothering@saracus.com
  46. 46. 46© Cloudera, Inc. All rights reserved. Thank you

×