Vortrag kennzahlen-pardoxon __ schaffner

1. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz „Vom Wiegen wird die Sau nicht fett!“ Prof. Dr.-Ing. Michael Schaffner FOM Berlin Hochschule für Oekonomie & Management BIOS Dr.-Ing. Schaffner Beratungsgesellschaft mbH – Oder: Das Kennzahlen-Paradoxon – tekom Regionalgruppe Bodenseeraum | Konstanz | 24.07.2018© liusa - Fotolia.com

2. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz Kurzvorstellung 2 Prof. Dr.-Ing. Michael Schaffner  BIOS Dr.-Ing. Schaffner Beratungsgesellschaft mbH  Gründer und Inhaber  Berater für u.a. Wissensmanagement, Technische Kommunikation, Management von Innovationsprozessen und Change-Management, Druck- und Verlagswesen  FOM Hochschule für Oekonomie und Management gGmbH  Lehrstuhl „Allgemeine BWL - Schwerpunkt Organisation und Innovationsmanagement“  weitere Funktionen o kooptierter Wissenschaftler im FOM KompetenzCenter Technologie- und Innovationsmanagement (KCT) o wissenschaftlicher Studienleiter der FOM Open Business School (OBS), Standort Berlin o Studienleiter für Kooperation & Wirtschaftskontakte, Standort Berlin zuvor u.a.  Geschäftsführer der euroscript-Unternehmen in Deutschland (heute: Amplexor)  Professor für Audiovisuelle Medientechnik, HTWK Leipzig  freiberuflicher Unternehmensberater (Gründung der Fa. BIOS im Jahr 1985)  Promotion, Themengebiet „Innovationsmanagement im Medienwesen“  wissenschaftlicher Projektleiter, Institut für angewandte Innovationsforschung IAI e.V.  Studium der Arbeitsökonomie und Studium der Nachrichten-/Automatisierungstechnik  Ausbildung zum Industriekaufmann 24.07.2018

3. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | KonstanzProf. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz Agenda 324.07.2018 „Vom Wiegen wird die Sau nicht fett!“ – Das Kennzahlen-Paradoxon 1 Was ist eigentlich das Problem? 2 Ein Plädoyer für Kennzahlensysteme im Controlling 3 Handlungshilfen zur Vermeidung von Paradoxien 4 Wie weiter?

4. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 424.07.2018 © bluedesign - Fotolia.com Wahrnehmung ist immer subjektiv!

5. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 1. Was ist eigentlich das Problem Subjektive Wahrnehmung 5 Sind die Farben in den Feldern „A“ und „B“ gleich?  Schachbrett-Illusion nach Edward Adelson  oft dienen Hilfsgrößen der Erkenntnis 24.07.2018 Quelle: www.kreativrauschen.de/blog/2008/02/09/die-schachbrett-illusion-optische-taeuschung/

6. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 1. Was ist eigentlich das Problem Subjektive Wahrnehmung 6 Was bedeutet zum Beispiel …?  … Qualität von Sprache?  … Termintreue?  … Budgeteinhaltung (hinsichtlich möglicher Toleranzen)?  … Redundanz?  … Quote von wiederverwendeten Objekten?  …  Es braucht klar definierte Erwartungs- und/oder Messkriterien 24.07.2018

7. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 7 © fotomek - Fotolia.com 24.07.2018

9. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 1. Was ist eigentlich das Problem? 9 Was ist eigentlich das Problem? Verlust von Glaubwürdigkeit durch Nachlässigkeit in der Erhebung, Auswertung und Interpretation der Kennzahlen  4 Beispiele 24.07.2018

10. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 1. Was ist eigentlich das Problem Beispiel: Rattenplage in Hanoi 1024.07.2018 www.rattengift.com/der-rattenfanger-von-hameln (20.07.2018)

12. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 1. Was ist eigentlich das Problem Beispiel: Branchenstrukturanalyse 12 Untersuchung der Arbeitnehmer-Gehaltsstruktur einer Branche  Fall-Unternehmen mit sieben Mitarbeitenden  Datenreihe: [1500, 1500, 1600, 1650, 1700, 1800, 7000] arithmetischer Mittelwert: 2.393 €  der Median ist robuster bei Datenreihen mit Ausreißern  Alternative: getrimmter Mittelwert (1.625 €) 24.07.2018 Modalwert Median Ausreißer: angestellter Geschäftsführer  verfälscht das Bild

14. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 1. Was ist eigentlich das Problem Beispiel: Klapperstorch 14 Regressionsgerade = linear gerichteter Zusammenhang zwischen zwei oder mehr Variablen  Anzahl brütende Storchenpaare in europ. Ländern zu Geburtsraten bei Menschen  ABER: kein kausaler Zusammenhang (x ⇒ y), sondern (z ⇒ y), wobei z = Größe der Länder Matthews, R. (2000): Storks deliver babies (p= 0.008); in: Teaching Statistics, Jg. 22, Heft 2, S. 36-38 (37) 24.07.2018

16. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 1. Was ist eigentlich das Problem Beispiel: Stickstoffdioxide 1/2 16  aufgrund höherer Grenzwertüberschreitungen wirken Dieselmotoren (Stickstoffdioxide) bedrohlicher als Benziner (Feinstaub) 24.07.2018 Lesch’s Kosmos (2018): Feinstaub & Co. – die Wahrheit über das Risiko, ZDF, 17.07.2018

17. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 1. Was ist eigentlich das Problem Beispiel: Stickstoffdioxide 2/2 17  Doch wie und vom wem wird der Maßstab angelegt? 24.07.2018 Lesch’s Kosmos (2018): Feinstaub & Co. – die Wahrheit über das Risiko, ZDF, 17.07.2018

19. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 1. Was ist eigentlich das Problem? Paradoxon 1924.07.2018 Was passiert, wenn uns die Wirklichkeit nur vorgegauckelt wird? Aquarell von Hans Schmidt Paradoxon „Befund, eine Aussage oder Erscheinung, die dem allgemein Erwarteten, der herrschenden Meinung oder Ähnlichem auf unerwartete Weise zuwiderläuft oder beim üblichen Verständnis der betroffenen Gegenstände bzw. Begriffe zu einem Widerspruch führt.“ [Uwe Meyer: Wörterbuch der Philosophischen Begriffe]

22. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 2224.07.2018 © Sergey Nivens - Fotolia.com

23. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 2. Ein Plädoyer für Kennzahlensysteme im Controlling Effektivität & Effizienz als Controlling-Maßstab 23 Controlling wirkt durch rationalitätssichernde Überlegungen bzw. Handlungen auf die Entscheidungsfindung bzw. den Entscheidungsvollzug anderer Akteure ein.  Maßstab für die Rationalität sind die  Effektivität von Handlungen und Entscheidungen sowie  deren Effizienz 24.07.2018 Controlling als Führungsfunktion (z.B. Doku-Leiter) = Reflexionsaufgabe Controlling als Führungsunterstützungsfunktion (z.B. CIO, CFO) = (abgeleitete) Informationsaufgabe Informationsbedarf Informationsbereitstellung Quelle: Küpper (2013), Controlling, S. 29

24. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 2. Ein Plädoyer für Kennzahlensysteme im Controlling Kennzahlen sollen Objektivität schaffen 24 KPI = Key Performance Indicator = Kennzahl Quantitative Daten, die als bewusste Verdichtung der komplexen Realität über zahlenmäßig erfassbare, betriebswirtschaftliche Sachverhalte sachlich informieren sollen. Kennzahlenarten 24.07.2018 Kennzahlen Absolute Kennzahlen Verhältnis- zahlen Einzelwerte Summen Differenzen Mittelwerte Gliederungszahlen Indexzahlen Beziehungszahlen + - % Vahs, D. / Schäfer-Kunz, J.: Betriebswirtschaftslehre, 5. Aufl., Stuttgart 2007

25. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 2. Ein Plädoyer für Kennzahlensysteme im Controlling Kennzahlen sind die GPS-Daten der BWL 2524.07.2018 © Butch – Fotolia.com  Controlling = Navigationssystem  Kybernetik: Regelung und Steuerung dynamischer Systeme  Festlegung, mit welchen Kennzahlen optimalerweise zu arbeiten ist und wie diese zu interpretieren sind  Kennzahlen = Steuerungsgröße  allein das Arbeiten mit Kennzahlen optimiert noch keine Prozesse  „noch wenig Impulse zur Optimierung von Prozessen“ (Aussage eines RS-Anbieters)  schlüssige Interpretation oft erst durch Kombination verschiedener Kennzahlen  Beispiele vordefinierter Kennzahlen (Quelle: TIM RS) - Anzahl Dokumente nach Dokumententyp, Sprache, Zeiteinheit - Anzahl Topics nach Typ, Sprache, Zeiteinheit - Anzahl Medienobjekte nach Typ, Dateiformat, Sprache, Zeiteinheit - Anzahl Fremddokumente nach Typ, Sprache, Zeiteinheit - Anzahl der Mehrfachverwendung von Objekten nach Typ, Zeiteinheit  Einsatz von Report-Generatoren  Prämisse: Meta-Daten ABER: Nicht alle Phänomene sind direkt messbar!

26. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 2. Ein Plädoyer für Kennzahlensysteme im Controlling 2624.07.2018 „Messe alles, was sich messen lässt, und mache alles messbar, was sich nicht messen lässt.“ Galileo Galilei (15.2.1564 - 8.1.1643)

27. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 2. Ein Plädoyer für Kennzahlensysteme im Controlling Kennzahlenarten 27 Kennzahlen (manifeste Variable) z.B. Seminargebühr, Personalkosten einer Einzelperson z.B. Gesamtbelegschaft, Summe Personalkosten, Summe TD-Kosten z.B. absolute Abgänge, Fehlzeiten, ÜB-Kosten minus Redundanzrabatte z.B. Durchschnittsalter der Mitarbeiter, durchschnittliche Matchraten z.B. Anteil Perso.Kosten von Gesamt, Anteil Term-Fehler je Fehlerklasse z.B. Krankenstand im Verhältnis zu Basisjahr, Veränderung Fehlerkosten im Vergleich zum Vorjahr z.B. Weiterbildungstage pro Mitarbeiter, durchschnittliche Erlöse pro MA Manifeste Variable als Indikatoren (für latente Variable)  latente Variable (z.B. Qualität der Dokumentation, Kundenzufriedenheit) werden über  ein theoretisches Konstrukt (Operationalisierung: Beschreibung empirischer Phänomene)  mittels manifester Variable (= Indikatoren) messbar gemacht 24.07.2018 Einzelwerte Summen Differenzen Mittelwerte Gliederungszahlen Indexzahlen Beziehungszahlen + - %

28. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 2. Ein Plädoyer für Kennzahlensysteme im Controlling KPI-Aussagekraft 28 beschränkte Aussagekraft einzelner Kennzahlen  oftmals müssen verschiedene Kennzahlen in Kombination betrachtet werden, um eine schlüssige Interpretation zu bekommen  Beispiel:  Quote wiederverwendeter Textbausteine in einem CCMS = Maßzahl für die Wirtschaftlichkeit  Ist dies tatsächlich so? o Relation zum Suchaufwand? o Relation zur Qualität? Und daraus entstehende Nachbesserungskosten… 24.07.2018

29. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | KonstanzProf. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz Agenda 2924.07.2018 „Vom Wiegen wird die Sau nicht fett!“ – Das Kennzahlen-Paradoxon 1 Was ist eigentlich das Problem? 2 Ein Plädoyer für Kennzahlensysteme im Controlling 3 Handlungshilfen zur Vermeidung von Paradoxien 3.1 Strategiegeleitete Kennzahlenentwicklung 3.2 Schlüssige Zielausrichtung 3.3 Sinnvolle Stichprobenziehung 3.4 Beachtung von Gütekriterien 3.5 Streuungen um die Kennzahl erkennen 3.6 Kausalitäten erkennen 4 Wie weiter?

30. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 3. Handlungshilfen … Unklare Kennzahlen 30 strategiegeleitete Entwicklung von Kennzahlen  Vermeidung von Hinein-Mystifizieren vermuteter Erkenntnisse 24.07.2018 © drubig- Fotolia.com Was will mir diese Kennzahl sagen?

31. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 3. Handlungshilfen … Kennzahlenbildung und -analyse 3124.07.2018 Phase 1: Interessierende Sachverhalte - wirtschaftliche Zielsetzungen (z.B. aus Strategie ableiten) - Informationsbedürfnis externer Gruppen (z.B. Lieferanten, Shareholder) - Informationsbedarf des Managements Phase 2: Definition der Kennzahlen - präzise Formulierung der notwendigen Kennzahlen - Klärung mehrdeutiger Begriffe und eindeutige Berechnungsanweisungen - Sicherstellung von Konsistenz in der Formelanwendung Phase 3: Erhebung der Daten - Festlegung der Informationsquellen, Metadaten und Verantwortlichkeiten - Wahl der Erhebungsform (Zeitraum, Vollerhebung/Stichprobe, Häufigkeit) - Gegenüberstellung der Erhebungskosten und Steuerungsnutzen Phase 4: Analyse der Kennzahlenwerte - Feinanalyse, Benchmarks mit Vergleichsgrößen zur Problemstellung - Einordnung in den Sinnzusammenhang - Ursachenanalyse (ggfs. weitere Kennzahlen, Befragungen etc.) Phase 5: Aktionsplanung - Ableitung und Durchführung von Maßnahmen zur Zielerreichung - Überprüfung der Zielerreichung (z.B. Erhebung neuer Kennzahlen) - ggfs. Anpassung von Zielen, Maßnahmen, Kennzahlen Informationsaufbereitung Informationsbereitstellung Informationsbedarfsermittlung Informationsbeschaffung BSC- Workshop

32. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 3. Handlungshilfen … strategiegeleitete Kennzahlenentwicklung 3224.07.2018 Strategy-Map einer Balanced Scorecard  Ziele in ihrer Ursachen-Wirkungs-Beziehung darstellen  Transparenz in der Kennzahlenentwicklung  Argumentationshilfe  multi-perspektivisch  Grundlage für die Überführung in ein Kennzahlenkonzept Kennzahlen-Workshop auf der tekom Jahrestagung 2014

33. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 3. Handlungshilfen … Strategy-Map einer BSC 24.07.2018 Innovation/ Wissen ProzesseKundenFinanzen höhere User- Zufriedenheit Zahlungsmoral verbessern Fehlerkosten senken Profit TechDoc erhöhen neue mediale Plattformen Einführung Vorschlagswesen Einführung Richtlinien XML-Kompetenz erhöhen Mitarbeiter- Zufriedenheit steigern Qualität verbessern internes Wissens- management Einführung Projektmeeting 33

34. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 3. Handlungshilfen … strategiegeleitete Kennzahlenentwicklung 3424.07.2018 Perspektive Ziele Kennzahlen Vorgaben Maßnahmen Finanzen Zahlungsmoral verbessern F1.1 … … … Fehlerkosten senken F2.1 Fehlerkosten in % oder € minus 50% lückenlöse Erfassung der Fehlerkosten F2.2 interne Fehlerquote 1/10.000 Stichprobenanalyse Profit TechDoc erhöhen F3.1 … … … Kunden höhere User-Zufriedenheit K. 1.1 Kunden- zufriedenheitsindex x Punkte - Erhebungskonzept erarbeiten - Kundenzufriedenheit 2 x im Jahr messen neue mediale Plattformen K2.1 … … … K2.2 … … … MA-Zufriedenheit steigern K3.1 … … … … K4.1 … … … Prozesse Prozessqualität verbessern P1.1 Anzahl Kundenreklas ≤ 5% (zu Anz. Projekten) Einführung Mess- und Bewertungssystem internes Wissensmanagement P2.1 … … … Einführung Projektmeetings P3.1 Meetingrythmus wöchentlich Spielregeln festlegen … P4.1 … … … Wissen/ Richtlinien einführen W1.1 Anzahl Regelmissachtungen 0% - Richtlinien-Kompetenzen entwickeln - Regelverstöße messbar machen

36. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 3. Handlungshilfen … Sichtachsen im Controlling 36 Controlling-Struktur  Sichtachsen  Zielebene (strategisch bzw. operativ)  Datencharakter (qualitativ bzw. quantitativ)  Ausrichtung (Kosten-, Effizienz- bzw. Effektivitätscontrolling)  Sichtachsen können verknüpft werden  strategisch-quantitative Kennzahl im Effektivitätscontrolling: „Anzahl jährliche Patente“ o Ziel: Messung der Innovationsführerschaft o Quelle: Datenbank  operativ-qualitative Kennzahl: „Kundenzufriedenheit mit Technischer Betriebsanleitung“ o Ziel: Erfolgskontrolle o Quelle: skalenbasierte Kundenbefragung  häufiges Controlling-Instrument: Budgets  potentielles Problem: mit Budgetkontrolle auch Effektivität oder Effizienz steuern zu wollen  Beispiele für paradoxe Unterstellungen o Einhaltung Investitionsbudget  hohe Effektivität in der Zielausrichtung der Doku-Abteilung o Einhaltung Einkaufsbudget für freiberufliche Leistung  hohe Effizienz der Einkaufsprozesse 24.07.2018

37. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 3. Handlungshilfen … Drei Ausrichtungen im Controlling 3724.07.2018 Kosten- Controlling Budgeteinhaltung in der Technischen Dokumentation Ziel: finanzielles Gleichgewicht Kosten / Periode z.B. Einhaltung von Zeit- und Kostenbudgets für Betriebsanleitungen Effizienz- Controlling Effizienter Ressourcen- einsatz in der Technischen Dokumentation Ziel: Vermeidung von Verschwendung Kosten / Prozess z.B. Prozesskosten- optimierung je Erstellungsschritt von Betriebsanleitungen Effektivitäts- Controlling Erfolgsbeitrag der Technischen Dokumentation am Unternehmenserfolg Ziel: Erfolgsbewertung (Kosten, Nutzen) Leistungen / Kosten z.B. Abwendung von Regressforderungen in Bezug auf fehlerhafte Betriebsanleitungen in Anlehnung an: Wunderer, R; Sailer, M. (1987b): Die Controlling-Funktion im Personalwesen, in: Personalführung, 20. Jg. (1987), Heft 3, S. 287–292.

38. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 3. Handlungshilfen … 38 Ihre Positiv-/Negativ-Beispiele für Fehlsteuerungen? 24.07.2018

40. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 3. Handlungshilfen … statistische Zusammenhänge 40 Auswertung von Kennzahlen erfolgt statistisch  Statistik: Lehre von Methoden zum Umgang mit quantitativen Informationen  Vollerhebung  Teilerhebung (Stichprobe)  deskriptive Statistik  Untersuchung empirischer Daten bzw. 1-dim Datenreihen [x1, x2, x3, … xn] anhand von Maßzahlen (Mittelwerte, Streuungswerte)  Ermittlung der Zusammenhänge bezüglich Korrelation und Kausalität zwischen mehr-dimensionalen Datenreihen [x1, x2, x3, … xn] und [y1, y2, y3, … yn]  induktive (oder schließende) Statistik  Übertragung von Befunden aus der (Zufalls-)Stichprobe auf die zugehörige Grundgesamtheit  mathematische Verfahren der Wahrscheinlichkeitsrechnung  kann von einer Stichprobe auf die Grundgesamtheit hochgerechnet werden, wird von Repräsentativität gesprochen (z.B. Anzahl Terminologiefehler in einer 1-Promille-Stichprobe) 24.07.2018

41. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | KonstanzProf. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 41 3. Handlungshilfen … Repräsentativität Zufallsstichprobe  jedes Element der Grundgesamtheit bzw. Merkmalsträgern (z.B. Aufträge, Textbausteine, Zielpersonen)  hat die gleiche Chance (konkret: eine angebbare Wahrscheinlichkeit),  in die Stichprobe zu gelangen Quotenstichprobe  bewusste Auswahl von Elementen einer Grundgesamtheit  repräsentative Zusammensetzung der Stichprobe durch  Festlegung von Quoten (Häufigkeiten) an bestimmten Merkmalen  Verteilung dieser Quoten in der Grundgesamtheit muss bekannt sein  Stichprobe muss dieser Verteilung folgen 24.07.2018 repräsentative Stichprobe  Charakteristik von Datenerhebungen  Ziel: aus einer kleinen Stichprobe können Aussagen über eine wesentlich größere Menge (Grundgesamtheit) getroffen werden

42. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 3. Handlungshilfen … Praxisbeispiele 42 Zufallsstichprobe  über Zufallszahlengenerator bestimmte Elemente aus der Grundgesamtheit ziehen  bei 100.000 Textbausteine und 1-Promille-Stichprobe für einen Qualitätscheck müssten 100 IDs zufallsgestützt generiert und gezogen werden  relativ einfaches Ziehungsverfahren  Problem: stochastische Kenntnisse gefordert (Schluss auf die Grundgesamtheit) bewusste Auswahl von Elementen  jeder 1.000ste Text-Baustein wird gezogen  Sicherstellung, dass die Häufigkeitsverteilungen auswertungsrelevanter Merkmale (z.B. verantwortlicher Redakteur, Kunde, Textart) in der Stichprobe und der Grundgesamtheit identisch sind  Problem: häufig gibt es projekt-induzierte Verdichtungseffekte Quotenauswahlverfahren  relevante Merkmale definieren und deren Quoten (Häufigkeiten) ermitteln (z.B. Modulgröße, Redakteur, Sprache)  Stichprobe nach diesen Merkmalen ziehen (= modellgerechter Miniaturquerschnitt der Grundgesamtheit)  Problem: nicht-triviale Aufgabe  über Metadaten zwar möglich, aber oft fehlen die Metadaten oder die technischen Möglichkeiten im Redaktionssystem  bei Auswahl über einen Menschen, könnten subjektive Auswahleffekte das Ergebnis verfälschen 24.07.2018

44. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 3. Handlungshilfen … Kennzahlenarbeit ist Statistik 44 „Empirie ohne Güte ist wie Fußball ohne Regeln“ 24.07.2018 Orientierung an Gütekriterien der empirischen Sozialforschung  Gütekriterien der quantitativen Forschung  Gütekriterien der qualitativen Forschung zur Plausibilitätssicherung

45. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 3. Handlungshilfen … Gütekriterien quantitativer Forschung 4524.07.2018 Validität (Gültigkeit) • Grad der Genauigkeit, mit dem eine Unter- suchung das erfasst (misst oder zählt), was sie erfassen soll • keine systematischen Fehler • Negativbeispiel: - einzig die Anzahl „reused objects“ misst die Effizienz Reliabilität (Zuverlässigkeit) • Zuverlässigkeit einer Messmethode, bei der eine wiederholte Untersuchung unter denselben Bedingungen und an denselben Gegenständen zu demselben Ergebnis kommt • keine zufälligen Fehler • Negativbeispiel: - (zufällig) veränderte Penalty-Einstellungen - Ergebnisse eines Schüler-Praktikanten fließen mit ein Objektivität (Wertfreiheit) • ein Untersuchungs- ergebnis wird bei der Erhebung, Auswertung und Interpretation nicht von den Durchführen- den beeinflusst • verschiedene Experten kommen bei gleicher Erhebung, Auswertung und Interpretation zu identischen Ergebnissen (Intersubjektivität) • Negativbeispiel: - Manipulation der Stichprobe - schlecht dokumentierte Methodik (nicht belastbar)

46. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 3. Handlungshilfen … Gütekriterien qualitativer Forschung 1/2 4624.07.2018 Verfahrensdokumentation • wertlos sind aus wissenschaftlicher Sicht Erkenntnisse, deren Erhebungsverfahren nicht dokumentiert sind (Mangel an Nachvollziehbarkeit) • z.B. bzgl. Controlling-Logik, Erhebungsmethode, Formelberechnungen, Verknüpfung mit Assistenzdaten argumentative Interpretationsabsicherung • belegen empirische Daten nicht unmittelbar evidente (offensichtliche) Sachverhalte und müssen interpretiert werden, sind diese Interpretationen argumentativ zu begründen • z.B. bzgl. Klärung eines gemeinsamen Vorverständnisses, theoriegeleitete Deutung (z.B. anerkannte Gesetzmäßigkeiten), schlüssige Argumentation • authentisch wirken vor allem auch Widerlegungen oder Negativdeutungen Regelgeleitetheit • das beschriebene Vorgehen ist systematisch und schrittweise abzuarbeiten • Abweichungen (z.B. anderer Erhebungszeitpunkt) sind zu beschreiben und zu begründen

47. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 3. Handlungshilfen … Gütekriterien qualitativer Forschung 2/2 4724.07.2018 Nähe zum Gegenstand • Untersuchung fußt auf realistischen Rahmenbedingungen der Arbeitswelt • keine Labor- oder Experimentalstudien darstellen kommunikative Validierung • die Gültigkeit der Ergebnisse durch Rückspiegelung der Ergebnisse sicherstellen • z.B. „Beforschte“ bestätigen die erarbeiteten Ergebnisse (die Ergebnisse besitzen dann eine gewisse Gültigkeit) Triangulation • sehr bedeutende Forschungsstrategie • Aussagekraft durch Multi-Perspektivität verbessern • gleiche Fragestellung auf unterschiedlichen Lösungswegen und auf Basis verschiedener Datenquellen erzielen vergleichbare oder plausible Ergebnisse

48. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 3. Handlungshilfen … 48 Ihre Erfahrungen mit Gütekriterien in der Kennzahlenarbeit? 24.07.2018

50. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 3. Handlungshilfen … Probleme im Kennzahl-Fitting 50 Reicht der Benchmark des Ist-Wertes mit dem Soll-Wert?  Gefahr: verdeckte Effekte werden übersehen  Beispiel: Bestimmung einer Orthografie-Fehlerquote (Soll-Wert: 1,3 auf 1.000)  Messumgebung: 110 Dokumente, 10%-Zufalls-Stichprobe  Datenreihe: (1,2; 0,7; 1,6; 0,8; 1,3; 3,5; 1,7; 0,9; 1,1; 0,9; 0,75)  Ergebnis: arithmetischer Mittelwert = 1,314  Ziel erreicht  Problem 1: - es gibt einen Ausreißer (orthQuote: 3,5) - ein Schüler-Praktikant hat temporär mitgewirkt Lösung: Wahl des Medians - geordnete Datenreihe: (0,7; 0,75; 0,8, 0,9; 0,9; 1,1; 1,2; 1,3; 1,6; 1,7; 3,5)  Problem 2: - die Werte streuen weit um den arithmetrischen Mittelwert - Folge: es gibt sehr zufriedene, aber sehr unzufriedene Kunden Lösung: Streuungsmaß bestimmen 24.07.2018

51. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 3. Handlungshilfen … Streuung 5124.07.2018 keine Streuung große Streuung Mess-/Skalenwerte Häufigkeit arithm. Mittelwert (KPI Ist-Wert) KPI Soll-Wert  Lageparameter reichen oft nicht aus, um die Merkmale einer Datenreihe befriedigend zu beschreiben  arithm. Mittelwert: Wie weit liegen die Einzelwerte von diesem Lageparameter entfernt?  Streuung: Verteilung von einzelnen Werten um den Mittelwert herum  Beispiel: Datenreihe a = (10, 50, 100) und b = (49, 50, 51) haben den gleichen Mittelwert ( ̅𝑥𝑥 = 50), streuen aber unterschiedlich. Alle Werte sind identisch und nah an der Soll-Kennzahl  alle Kunden sind zufrieden! Messwerte liegen nahe am Soll-Wert  die Kunden sind weitgehend alle zufrieden! einige Werte liegen weit vom Soll entfernt  viele Kunden sind zufrieden, einige sind begeistert, andere aber sehr enttäuscht! kleine Streuung

52. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 3. Handlungshilfen … Streuungsmaße 5224.07.2018  Varianz  mittlere quadratische Abweichung der einzelnen Messwerte 𝑥𝑥𝑖𝑖 vom arithmetischen Mittelwert ̅𝑥𝑥 𝑠𝑠2 = 1 𝑛𝑛 � 𝑖𝑖=1 𝑛𝑛 (𝑥𝑥𝑖𝑖 − ̅𝑥𝑥)2  Standardabweichung 𝑠𝑠 = 2 𝑠𝑠2  je geringer Varianz bzw. Standardabweichung, umso geringer ist die Streuung  die Daten weisen wenig Variabilität aus  sind alle Werte einer Datenreihe identisch: Varianz bzw. Standardabweichung = 0  Varianz am Beispiel zuvor: o Datenreihe: (1,2; 0,7; 1,6; 0,8; 1,3; 3,5; 1,7; 0,9; 1,1; 0,9; 0,75)  s2 = 0,58 o Datenreihe: (1,2; 1,25; 1,3; 1,3; 1,35; 1,3; 1,32; 1,3; 1,4; 1,26; 1,3)  s2 = 0,003

53. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 3. Handlungshilfen … 53 Werden Streuungen um die Kennzahl bei Ihnen in der Praxis beachtet? 24.07.2018

55. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 3. Handlungshilfen … Korrelation 55 Maßzahlen  stehen in einer gemeinsamen Entwicklung zueinanderstehen  entwickeln sich linear miteinander oder  entwickeln sich linear gegeneinander  entwickeln sich nicht-linear  weisen keinen Zusammenhang auf 24.07.2018 z.B. Anzahl Dokumente z.B.Metadatenfehler positiv linear negativ linear

56. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 3. Handlungshilfen … 5624.07.2018 vgl. www.statista.de Korrelation ≠ Kausalität

57. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | KonstanzProf. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 57 3. Handlungshilfen … Korrelation ≠ Kausalität Korrelation misst die Stärke einer statistischen Beziehung von zwei Variablen zueinander  positive lineare Korrelation: „je mehr Variable x desto mehr Variable y“ o „Je mehr ich abends esse, um so dunkler wird es draußen.“  negative lineare Korrelation „je mehr Variable x desto weniger Variable y“ o „Je älter ich werde, um so weniger Pinguine gibt es in der Antarktis.“ Kausalität tatsächliche Auswirkung von einer Variable x auf die Variable y  [WENN … DANN …] – Konklusion o „Je mehr ich abends esse, um so satter werde ich.“ o „Je älter ich werde, umso weniger Lebenszeit bleibt mir.“ 24.07.2018

58. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 3. Handlungshilfen … Korrelation ohne Kausalität 58 positive Korrelation „Schuhgröße zu Gehaltseinkommen“  Formulierung einer Korrelation: "Menschen mit größerer Schuhgröße haben tendenziell ein höheres Einkommen".  Formulierung einer Kausalität: "Die Schuhgröße hat einen Einfluss auf das Nettoeinkommen".  Würde der 2. Satz stimmen, dann könnten Sie sich morgen Schuhe der Größe 65 kaufen und bekämen eine saftige Gehaltserhöhung. 24.07.2018 https://www.crashkurs-statistik.de/korrelation-und-kausalitaet/

59. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 3. Handlungshilfen … fake science 59 Das ist weit hergeholt und wird real nicht passieren?  In der renommierten New England Journal of Medicine wurde 2012 ein Artikel veröffentlicht, der genau diesen Fehler machte  Feststellung einer Korrelation zwischen Schokoladenkonsum und Anzahl an Nobelpreisträgern in einem Land  die Autoren schlossen auf einen Einfluss von Schokolade auf Intelligenz Quelle: Messerli, Franz H. (2012): Chocolate Consumption, Cognitive Function and Nobel Laureates; New England Journal of Medicine, 367:16, 1562-1564. 24.07.2018 https://www.crashkurs-statistik.de/korrelation-und-kausalitaet/

60. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 3. Handlungshilfen … Begrifflichkeiten 60  Korrelationsrechnung  untersucht Zusammenhänge zweier metrisch skalierter Datenreihen (gleichabständige Skalenwerte)  Kovarianz sxy  untersucht, ob ein grundsätzlicher Zusammenhang besteht  mittlere gemeinsame Abweichung der Daten von den Mittelwerten 𝑠𝑠𝑥𝑥𝑥𝑥 = 1 𝑛𝑛 � 𝑖𝑖=1 𝑛𝑛 (𝑥𝑥𝑖𝑖 − ̅𝑥𝑥) � (𝑦𝑦𝑖𝑖 − �𝑦𝑦)  ist die Kovarianz gleich null, gelten die Merkmale als unkorreliert  Korrelationskoeffizient rxy  misst die Stärke eines linearen Zusammenhangs  nach Bravais-Pearson definiert als Quotient aus der Kovarianz und dem Produkt der Standardabweichungen 𝑟𝑟𝑥𝑥𝑥𝑥 = 𝑠𝑠𝑥𝑥𝑥𝑥 𝑠𝑠𝑥𝑥 � 𝑠𝑠𝑦𝑦  Regressionsrechnung  Modellierung einer geeigneten funktionalen Beziehung zwischen x und y (z.B. Gerade, Parabel), die die Kausalität begründet 24.07.2018

61. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 3.2 Wesentliche Grundgedanken einer wissenschaftlichen Arbeit Korrelation und Kausalität (2/3) 6124.07.2018  Korrelationen sind immer ungerichtet  sie enthalten keine Information darüber, welche Variable eine andere bedingt (beide Variablen x bzw. y sind gleichberechtigt)  Korrelationskoeffizient („rxy“) drückt die Stärke des statistischen Zusammenhangs aus [-1 ; +1] positive Korrelation negative Korrelationkeine Korrelation

62. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 3. Handlungshilfen … Scheinkorrelationen 62 Beispiele für Scheinkorrelationen 24.07.2018 https://scheinkorrelation.jimdo.com/ Ordensverleihungen durch das Bundespräsidialamt (rot) und Anzahl der Hamster in Tierversuchen (beige) r = 0,9802 Übernachtungen in Sachsen (gelb) und Index der Erzeugerpreise für Blumenkohl (rot) r = 0,9749 Hausschlachtungsmengen von Schweinen in D (blau) und Zahl der Beschäftigten im öffentlichen Dienst (orange) r = 0,9736

63. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 3. Handlungshilfen … Ursachen für Korrelation 63 vier mögliche Ursachen für eine Korrelation zwischen zwei Variablen („r“ ≈ ±1) 1. rein zufälliger Effekt (Scheinkorrelation)  klassisches Beispiel: die Scheidungsrate im US-Bundesstaat Maine korreliert sehr stark mit dem Pro-Kopf-Konsum von Margarine („r“ = 0,99258)  Beispiel: Erneuerung der Arbeitsplatzbeleuchtung „x“ und Verbesserung der Textqualität „y“ 2. tatsächlicher Wirkungszusammenhang (x ⇒ y)  Kausalität  dieser muss aber nicht monokausal sein, zusätzlich könnte noch eine dritte Variable z auf y einwirken (x ⇒ y und z ⇒ y)  Beispiel: Einhaltung von Terminologie (x) wirkt auf redaktionelle Textqualität (y), zusätzlich wirkt die sprachliche Ausdrucksfähigkeit des Redakteurs (z) auf (y) 2. beidseitiger Zusammenhang (x ⇒ y und y ⇒ x)  Beispiel: Bekanntheitsgrad eines Produktes (x) und dessen Verkaufszahlen (y). 2. indirekter Zusammenhang (x ⇒ y, aber z ⇒ y)  Variable x wirkt nur über eine dritte, nicht betrachtete Variable z, auf die Variable y  Beispiel: Einführung eines Redaktionssystems (x) wirkt nicht direkt auf die Zufriedenheit der Kunden mit der Produktliteratur (y), sondern nur über die redaktionelle Qualität (z)  Beispiel: Anzahl der Metadatenfehler (y) steigt nicht mit der Anzahl der Dokumente (x), sondern mit dem Beauftragen externer Redakteure (z) 24.07.2018

64. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 3. Handlungshilfen … 64 Ihre Beispiel für Scheinkorrelationen im Umfeld der TechDok? 24.07.2018

65. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 3. Handlungshilfen … Prüfung auf Kausalität 65 plausible Interpretation von Korrelationen auf Kausalität  statistisches Analyseverfahren  Kausalitätsprüfung mittels Regressionsanalyse  Untersucht Beziehungen zwischen einer abhängigen Variable von einer oder mehreren unabhängigen Variablen  strukturprüfendes Verfahren (kein strukturendeckendes Verfahren), d.h. eine vermutete Hypothese wird auf Kausalität überprüft  Signifikanztest: untersucht, ob die Befunde der Stichprobe auf die Grundgesamtheit übertragen werden können (z.B. t-Test)  pragmatische Verfahren  Logik (logisches Schließen)  multiperspektive Diskussion (Wahrung weitgehender Objektivität)  dialektische Argumentation (These/Antithese) 24.07.2018

67. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 4. Wie weiter? Reflexion 67 Falscher Weg  „Was liefert mir das System für Kennzahlen?“  dazu geeignete Anwendungsfälle finden Richtiger Weg  zielorientiert mit einem Soll-Konzept beginnen „Was wollen wir steuern?“  anschließend konsequent daran arbeiten, die Erhebungsquellen bereitzustellen  dazu gehört insbesondere auch eine gewissenhafte Metadaten-Pflege Phänomen  Stimme aus der Praxis: „Uns werden unsinnige Kennzahlen vorgegeben.“  Top-down-Vorgaben sind oft Folge eines fehlenden Buttom-up-Engagements 24.07.2018

68. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 4. Wie weiter? Zusammenfassung 68 1. Strategiegeleitete Kennzahlenentwicklung 2. Schlüssige Zielausrichtung 3. Sinnvolle Stichprobenziehung 4. Beachtung von Gütekriterien 5. Streuungen rund um die Kennzahl erkennen 6. Kausalitäten entdecken 24.07.2018

69. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 4. Wie weiter? Umgang mit Gütekriterien 69 Überprüfen Sie regelmäßig die Glaubwürdigkeit Ihrer Kennzahlen durch Reflektion der Gütekriterien! 24.07.2018

70. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 4. Wie weiter? Kennzahlenarbeit ist … 7024.07.2018 Quelle: www.youtube.com/watch?v=06iuga9G9T4 … Präzisionsarbeit

71. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 7124.07.2018

72. Prof. Dr. M. Schaffner | „Vom Wiegen wird die Sau nicht fett!“ | tekom RG Bodenseeraum | Konstanz 72 Herzlichen Dank für Ihre Aufmerksamkeit 24.07.2018 © pathdoc - Fotolia.com Diese Unterlagen sind ausschließlich zu Präsentationszwecken bestimmt. Alle Inhalten wurden nach bestem Wissen und Gewissen erarbeitet, etwaige Fehler gehen allein zu Lasten des Autors. Über Anregungen und Verbesserungen freuen wir uns sehr. Das Copyright liegt bei der BIOS Dr-Ing. Schaffner Beratungsgesellschaft mbH. BIOS Dr.-Ing. Schaffner Beratungsgesellschaft mbH Prof. Dr.-Ing. Michael Schaffner Körtestraße 6a • 10967 Berlin michael@schaffner.de • www.schaffner.de Tel: +49 (0)30 69 81 68 - 01 Fax: +49 (0)30 69 81 68 - 02 mobil: +49 (0)171 688 07 59 FOM Hochschule für Oekonomie & Management gGmbH Hochschulzentrum Berlin Prof. Dr.-Ing. Michael Schaffner Professur für Allg. BWL - Schwerpunkt Organisation, Technologie- und Innovationsmanagement Bismarckstraße 107 • 10625 Berlin michael.schaffner@fom.de • www.fom.de

Vortrag kennzahlen-pardoxon __ schaffner

Vortrag kennzahlen-pardoxon __ schaffner

Recommended

More Related Content

Similar to Vortrag kennzahlen-pardoxon __ schaffner

Similar to Vortrag kennzahlen-pardoxon __ schaffner(11)

More from Michael Schaffner

More from Michael Schaffner(13)

Vortrag kennzahlen-pardoxon __ schaffner