19. 19
Smart Factory
Virtual + Real World
Human workers
Observation
Data-analysis
Root-cause-analysis
20. 20
Best way through factory
Workloads
Break-downs
Problem: Path finding
21. 21
Piece of software that acts autonomously
Interacts with environment
Agent Systems
22. 22
Multi Agenten Systeme
Agents that cooperatore
Cooperative or self-optimizing strategy
Multi Agent Systems
23. 23
Simulation by Thomy Phan
(LMU)
Agents work cooperatively
Info like tasks, observations,
moving history,...
Exchange infos with neighbors
Reinforcement Learning
Problem: Path finding
24. 24
Symptoms: Visible results of a
problem
Problem: Gap between reality and
goal
Roots: Invisible cause of a
problem
Root Cause Analysis
25. 25
Algorithms can detect errors or outliers
BUT:
Only pre-trained anomalies (Distributions, Patterns,…)
Computers are not creative
Extend algorithmic analysis with visual approach (VR)
Algorithmic vs. Visual Analysis
26. 26
Humans can detect patterns visually
Enable creative approach
Enable discussion
Algorithmic vs. Visual Analysis
28. 28
Teleport
Camera positions
View item processing stage
View item detail information
View item paths
Heatmap
Time travel
Features
29. 29
Controller Interaction
Right Controller
Pad (Teleport)
Left Controller:
LaserPointer
Trigger
MenuButton
Pad
Features
Alexa „Ask Evade to…“
„… switch camera“
„... pause“
„… resume“
„… reset“
„… toggle Heatmap“
„… show Itemdetails of…“
„… Jump to timestep“
„… Show item menu“
Editor's Notes
Erst allgemeiner Teil.
Hinführung zur Technologie, Unterschiede, Devices, Entwicklung
Konkreter wissenschaftlicher Anwendungsfall
Videos Implementierung
Alles braucht einen Titel
Breites Wissen vs. Tiefes Wissen
Extreme Halbwärtszeit von Technologien
Entscheidungen treffen
80er lassen grüßen
Schlüssel für Entwicklung Grafikkarten und hochauflösende Displays
Kombiniere virtuelle mit realer Welt
Unterstützung des Menschen durch virtuelle Informationen
Sehr immersive Erfahrung
Beschreibung mehr wie eine Reise, als nach einem Film
Vergleich: große Fokussierung z.B. bei konzentrierter Arbeit
Gefühle wie Höhenangst etc. leicht möglich
Abstumpfung?
Zwei Displays, die verschiedene Bilder für die Augen erzeugen
Vergleich 3D Filme, Shutter-Brillen
Hochauflösende Displays, da nahe am Auge
Hohe Pixeldichte
Augenabstand einstellbar
Bestes Modell im Moment: HTC Vive Pro 2880 x 1600 ca. 800 €
Oculus Rift: 2160 x 1200 Pixel ca. 400 €
Neu: Oculus Go, Rendering nur an der Augenposition, 220 €, kein extra Rechner
Hololens: 3.299,00 €, veraltet
Rechner: 1000 €
- Infrarot LEDs
Verschiedene Interaktionsparagidmen für VR-Anwendungen
Möglichst wenig Unterbrechung des Erlebnisses <-> Wandel zwischen den Welten
Sprache natürlich, aber funktioniert noch nicht immer perfekt
Controller bieten gutes Erlebnis
Controller-Gesten funktionieren sehr gut, meist Kombination mit Knöpfen
Interessant: LeapMotion Hand-Tracking. Demo bei dem Würfel aufgenommen werden, funktioniert super. Autotür öffnen?
Tracking der Augen
Kann ungenau sein, meist eher in Kombination mit Button-Klick
Sehr schnelle Eingaben möglich
Klassischer Anwendungsfall: Spiele.
Resident Evil (Traumata?), Everest VR, Robo Recall
Zukünftig auch Filme! Faszinierend, komplett anderes Drehbuch notwendig? 360 Grad Kameras
Verkauf z.B. Ikea Möbel in Wohnzimmer projezieren
Visualisierung von Machine Learning Algorithmen, Datenvisualisierung allgemein, SonarCube tauchen in Daten
Anleitungen z.B. wie baue ich Ikea Schrank auf? Wie repariere ich den neuen Motor?
Bekämpfung von Ängsten z.B. Höhenangst (da so immersiv)
Klassisches Werkzeug für Spiele aber auch andere Anwendungen ist Unity
Super schnelles Prototyping
Basis stellen 3D-Modelle, für die kleine Code Snippets geschrieben werden, um diese zu manipulieren
Open VR Framework, bietet sehr leichte Implementierung der Controller etc.
Sprachanbindung durch Amazon Lex (Eingabe) und Polly (Ausgabe)
Übelkeitsgefühl bei zu langem spielen
Übelkeit bei gehen im Spiel
Was soll ich machen?
Wie geht das Spiel weiter, auf was muss ich mich fokussieren?
Any questions so far?
Anwendungsszenario im wissenschaftlichen Bereich
Virtuelle und reale Welt zusammenführen
Bessere Kosteneffizienz
Höhere Produktivität
Bessere Kommunikation mit IT Systemen
Höhere Automatisierung
Was macht der Mensch?
Problem in diesem Szenario: Wegfindung
Roboter: Was ist der beste Weg durch die Fabrik?
Verschiedene Workloads an den Maschinen
Maschinenausfälle
Auslastung der Wege?
Um die Implementierung zu verstehen, sollen kurz Agenten Systeme erklärt werden
Multi Agenten System, indem Agenten kooperativ interagieren
Haben informationen wie Aufgabenliste, Beobachtungen, Bewegungshistorie
Teilen Informationen mit Nachbarn
Lösung über Reinforcement Learning
Beispiel Kind, dass sich die Hand verbrennt (negative Belohnung)
Maximierung der Belohnung für alle Agenten (Kooperativ)
Schritt unten, rechts, links. Maschine -> verschiedene Belohnungen
Oftmals Anzahl möglicher States zu groß -> Approximation über Q-Funktion
Wie evaluiere ich das Ergebnis, wie finde ich Fehler?
Thema Root-Cause-Analysis
Symptome (Blätter), die Agenten prallen zusammen, es gibt Staus
Problem: Lücke zwischen der Realität und dem gewünschten Ergebnis
Ursache sol gefunden werden (Wurzeln)
Wie kann der Root Cause gefunden werden?
Über Algorithmen z.B. outlier detection
Aber vorher muss bekannt sein, welche Fehler überhaupt gesucht werden.
Sind die Fehler Symptome oder Ursachen?
Menschen verwenden oft Kreativität zum lösen solcher Probleme, der Computer kann das (noch) nicht
Verstehen der Ergebnisse durch visuelle Analyse. Zahlen schwer zu interpretieren!
Simulation gibt X und Y Koordinaten der Agenten zum Zeitpunkt T
Wie sieht eine Smart Factory (vereinfacht) in VR aus?
3D Modell
Halle
Fläche, auf der produziert wird
Geländer um Sicht von oben zu ermöglichen
Features, die eingebaut wurden
Teleport ermöglich das bewegen durch die Halle. Dazu wird mit dem Controller gepointet und per Klick bewegt
Beugt Motion-Sickness vor, Ansicht in Video
Verschiedene Camera Positionen, um verschiedene Ansichten zu ermöglichen
Die zu produzierenden Items verändern sich, je nach Prozessstufe