Dr. Thomas Köstlin: Kultur und Evaluation – Controlling statt Kontrolle. Evaluation als Lern- und Erkenntnisprozess
Upcoming SlideShare
Loading in...5
×
 

Dr. Thomas Köstlin: Kultur und Evaluation – Controlling statt Kontrolle. Evaluation als Lern- und Erkenntnisprozess

on

  • 637 views

 

Statistics

Views

Total Views
637
Views on SlideShare
637
Embed Views
0

Actions

Likes
0
Downloads
4
Comments
0

0 Embeds 0

No embeds

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

Dr. Thomas Köstlin: Kultur und Evaluation – Controlling statt Kontrolle. Evaluation als Lern- und Erkenntnisprozess Dr. Thomas Köstlin: Kultur und Evaluation – Controlling statt Kontrolle. Evaluation als Lern- und Erkenntnisprozess Document Transcript

  • D 3.5Kultur und Evaluation – Controlling statt KontrolleEvaluation als Lern- und Erkenntnisprozess Dr. Thomas KöstlinKultureinrichtungen werden intern und extern aufgefordert, ihre Arbeit zu evaluieren. Am Anfangeines Evaluationsprozesses sollte jedoch geklärt werden, welche Erkenntnisse eine Evaluationüberhaupt liefern soll. Evaluation sollte nicht als (repressives) Kontrollinstrument, sondern alsChance für einen Lern- und Entwicklungsprozess angesehen werden. Die Untersuchung ist dem-nach vor allem auf die Unternehmensprozesse und ihre Wirksamkeit für die Unternehmensziele zurichten. Das Beispiel der „Kulturveranstaltungen des Bundes in Berlin GmbH“ zeigt, dass Evalua-tion als Teil einer längerfristig angelegten Organisationsentwicklung verstanden werden sollte.Gliederung Seite1. Was kann man unter „Evaluation“ verstehen? 22. Worum kann es bei einer Evaluation von Kultureinrichtungen gehen? 33. Ist künstlerische Qualität evaluierbar? 64. Fallbeispiel: Kulturveranstaltungen des Bundes in Berlin GmbH 74.1 Vorgeschichte 74.2 Die Entwicklung von Evaluationsthemen, Evaluationsmaßstäben und Evaluationsmethoden 84.3 Baukasten, Evaluationsthemen, Fragenkataloge 104.4 Durchführung der Evaluation 145. Empfehlungen aus der Praxis 15 1
  • D 3.5 Planung und SteuerungEvaluation und Qualitätsmanagement 1. Was kann man unter „Evaluation“ verstehen?Abgrenzung von Im allgemeinen Sprachgebrauch wird der Begriff Evaluation heuteanderen Kontroll- und inflationär eingesetzt. Unterschiedslos werden dabei eine Reihe vonSteuerungsinstrumenten Prüfungs-, Kontroll- oder Steuerungsverfahren wie gleichwertige Eva- luationsinstrumente nebeneinander genannt, egal wie unterschiedlich sie nach Methodik oder Zielsetzung sind. Dies gilt insbesondere für diverse betriebswirtschaftliche oder verwaltungswissenschaftliche Verfahren, bei denen die wirtschaftliche oder rechtliche Überprüfung im Vordergrund steht.1 • Auditing/Rechnungskontrolle durch Rechnungshöfe oder Wirt- schaftsprüfer – die nachträgliche Überprüfung der rechtmäßigen oder wirtschaftlichen Verwendung der Mittel. Ein Instrument, das sich zur Kontrolle, nicht aber zur laufenden Steuerung von Unter- nehmensprozessen eignet. • Controlling/Monitoring – Sammlung und Zusammenstellung von Unternehmensdaten zur kontinuierlichen und aktuellen Steuerung der Prozesse (ohne diese zu bewerten). „Controlling“ wird meist auf Finanz- bzw. Kostencontrolling beschränkt, während „Monito- ring“ sich auf inhaltliche oder strategische Fragen erstreckt mit dem Ziel, die programmatische Entwicklung und Zielerfüllung des Unternehmens zu beobachten und zu steuern. • Kennzahlensysteme – standardisierte Vergleiche der Entwicklung eines Unternehmens über einen bestimmten, meist längeren Zeit- raum. Hierbei geht es meist um eine mittelfristige Beobachtung ei- nes einzelnen Unternehmens und darum, bestimmte Entwicklungen und Veränderungen nachzuverfolgen. • Benchmarking – standardisierter Vergleich des eigenen Unterneh- mens mit anderen vergleichbaren Unternehmen, z. B. im Bezug auf Strukturen, Strategien oder Kennzahlen. Der Vergleich verschiede- ner Unternehmen setzt dabei voraus, dass die Unternehmen min- destens grob miteinander vergleichbar sind. Reine Zahlenverglei- che laufen stets Gefahr, entscheidende Unterschiede unverhältnis- mäßig einzuebnen oder zu ignorieren. Gerade Kultureinrichtungen mit sehr spezifischen, individuellen Ausrichtungen tun sich schwer, sich einem Benchmarking zu unterziehen.Bewertung der Auch wenn die Grenzen fließend sind, so konzentrieren sich dieseWirksamkeit des Untersuchungen meist auf die Beobachtung von Finanzdaten. DieUnternehmenshandelns betriebswirtschaftliche und sozialwissenschaftliche Literatur grenzt diese Instrumentarien von Evaluation im eigentlichen Sinne ab. Eva- luation wird vorwiegend als Bewertungssystem beschrieben, das die Wirksamkeit des Unternehmenshandelns im Hinblick auf seine Ziele untersucht und das strategische Unternehmenshandeln nachhaltig ver-2
  • Planung und Steuerung D 3.5 Evaluation und Qualitätsmanagementbessern soll. Allerdings kann es auch hier unterschiedliche Schwer-punkte geben: Wirkungs- und Erfolgsmessung, Bewertung von Unter-nehmensprozessen oder -entwicklungen, retrospektive oder zukunfts-gerichtete Untersuchungen.Im Kern gibt es keine einheitliche Ausgestaltung von Evaluation. Jede Maßgeschneiderte(Kultur-)Einrichtung muss sich vielmehr konkret darüber Gedanken Lösungen schaffenmachen, welches Ziel mit welchen Schwerpunkten sie mit einer Eva-luation verfolgt, und das Evaluationsverfahren danach ausrichten.Darin liegt eine große Chance: Die Kultureinrichtung kann die Evalu-ation konkret auf ihre eigenen Bedürfnisse maßschneidern, die Er-kenntnisse sammeln, die sie für die Verbesserung ihrer Arbeit benötigt,und damit gezielt für ihre Unternehmensentwicklung einsetzen. Eva-luation ist damit ein wichtiger Schritt im Rahmen von Organisations-entwicklung.2. Worum kann es bei einer Evaluation von Kultureinrichtungen gehen?Welche Schwerpunkte eine Kultureinrichtung für die Evaluation ihrer Evaluation imArbeit wählt, hängt letztlich davon ab, welche Ziele sie damit verfolgt. Kontroll- undEine Evaluation ist sehr arbeitsaufwendig und sollte deshalb möglichst Steuerungssystemdort greifen, wo die Kultureinrichtung nicht bereits anderweitig über-prüft oder untersucht wird. Insbesondere öffentlich geförderte Kultur-einrichtungen unterliegen einer Vielzahl externer und interner Kon-troll- und Steuerungsinstrumente. Zu denken ist insbesondere an:1. gesellschaftsvertragliche Berichtspflichten der Geschäftsführung gegenüber Aufsichtsgremien,2. jährlicher Lagebericht entsprechend Gesellschafts- und Bilanz- recht,3. jährliche Prüfung des Jahresabschlusses durch Wirtschaftsprüfer,4. Prüfung der Verwendungsnachweise2 durch Zuwendungsgeber,5. Erfolgskontrolle gemäß Bundeshaushaltsordnung3,6. speziell vom Zuwendungsgeber angeordnete Prüfungen, z. B. Or- ganisationsuntersuchungen des Bundes- oder Landesverwaltungs- amtes,7. Prüfungen des Rechnungshofs,8. Prüfungen durch das Finanzamt oder die Sozialversicherungsträger, 3
  • D 3.5 Planung und SteuerungEvaluation und Qualitätsmanagement 9. interne Prüfungen, z. B. interne Revision, aber auch interne Orga- nisationsüberprüfungen, 10. internes (Kosten-)Controlling.Evaluation untersucht Die meisten dieser Prüfungs- und Steuerungsmechanismen zielen aufQualität der Unter- die ordnungsmäßige Geschäftsführung, die rechtmäßige und wirt-nehmensprozesse schaftliche Abwicklung der Unternehmensgeschäfte oder die Einhal- tung von Budgets ab. Es sind damit vornehmlich Instrumente der nachträglichen Kontrolle oder wirtschaftlichen Steuerung. Der Erfolg des Programms kommt dabei ebenso selten zur Sprache, wie die Wirksamkeit organisatorischer Abläufe oder die strategische Entwick- lung. In diese Lücke kann Evaluation treten, indem sie sich vor allem auf Fragen der Qualität der Unternehmensprozesse konzentriert – sei es in organisatorischer, wirtschaftlicher, inhaltlich-programmatischer oder strategischer Sicht.Evaluation als Insofern sollten Kultureinrichtungen Evaluation nicht so sehr als Kon-Teil der Organisations- trollmethode verstehen, sondern sie als Instrument der Organisations-entwicklung entwicklung einsetzen. Ausgangspunkt ist zunächst der Blick zurück: Es gilt, die Leistungen der Kultureinrichtungen in der Vergangenheit zu erfassen. Daran schließt sich eine Wirkungsanalyse an, d. h. es ist zu bewerten, ob und wie gut die verschiedenen Unternehmensprozesse geeignet sind, die Unternehmensziele zu unterstützen. Der Ansatz von Evaluation ist damit stärker als bei anderen Steuerungsinstrumenten dynamisch auf die zukünftige Unternehmensentwicklung ausgerichtet. Kultureinrichtungen können Evaluation dazu einsetzen, ihre Organisa- tion, ihre strategische und programmatische Ausrichtung zu verbes- sern. Evaluation wird zum Lern- und Erkenntnisprozess.Ausrichtung an konkre- Damit muss sich die Evaluation einer Kultureinrichtung aber vor al-ten Unternehmenszielen lem an deren konkreten Unternehmenszielen ausrichten. Dies hat gro- ße Vorteile. Einerseits wird Evaluation den besonderen Spezifika des evaluierten Unternehmens besser gerecht, indem sie vor allem die selbst gesetzten Ziele des Unternehmens zum Maßstab erhebt und die Wünsche (externer) Dritter eher nachrangig berücksichtigt. Zum ande- ren vermeidet Evaluation dadurch eine eindimensionale Sichtweise, z. B. nur auf rechtmäßiges Handeln oder wirtschaftlichen Erfolg.Keine Beschränkung auf Evaluation bietet die Chance, die Umsetzung auch anderer als nur klas-betriebswirtschaftliche sisch betriebswirtschaftlich definierter Ziele zu überprüfen. Hier lassenDimension sich Qualitäts- oder Imageziele, aber auch inhaltlich-programmatische Erwartungen berücksichtigen. Allerdings werden dadurch die Verfahren und Ergebnisse einer Evaluation automatisch komplexer. Unternehmensziele sind in der Regel multidimensional und keines- wegs untereinander konkurrenz- oder konfliktfrei. Im Zentrum stehen meist inhaltlich-programmatische Fragestellungen, die das Profil einer Kultureinrichtung in der Öffentlichkeit prägen. Daneben finden sich4