Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Marcin Śliwa, Kaja Dziermakowska - Kulturalna ewaluacja – jak i dlaczego ewaluować projekty kulturalne

750 views

Published on

Komentarz do projektu Małopolskiego Instytutu Kultury:
Poprawa jakości gromadzenia danych – o publicznych i niepublicznych instytucjach kultury w Polsce

Published in: Education
  • Be the first to comment

  • Be the first to like this

Marcin Śliwa, Kaja Dziermakowska - Kulturalna ewaluacja – jak i dlaczego ewaluować projekty kulturalne

  1. 1. Dofinansowano przez Ministerstwo Kultury i Dziedzictwa Narodowego 1 Komentarz do projektu Małopolskiego Instytutu Kultury: Poprawa jakości gromadzenia danych – o publicznych i niepublicznych instytucjach kultury w Polsce Marcin Śliwa, Mazowiecki Instytut Kultury Kaja Dziarmakowska, Pracownia Badań i Innowacji Społecznych „Stocznia” KULTURALNA EWALUACJA – JAK I DLACZEGO EWALUOWAĆ PROJEKTY KULTURALNE? Refleksje na podstawie trzech lat obecności Mazowieckiego Centrum Kultury i Sztuki w Szydłowcu I. Wprowadzenie Artykuł, który macie Państwo przed sobą, powstał w ramach projektu Małopolskiego Instytutu Kultury (MIK) pt. Poprawa jakości gromadzenia danych o publicznych i niepublicznych instytucjach kultury w Polsce, finansowanego z grantu Ministerstwa Kultury i Dziedzictwa Narodowego (MKiDN) w ramach programu Obserwatorium kultury. W projekcie wzięli udział m.in. przedstawiciele Mazowieckiego Instytutu Kultury: Agata Roman oraz niżej podpisany, by podzielić się doświadczeniami w zakresie ewaluacji projektów edukacyjnych i animacyjnych. Poniższy artykuł, będący częścią projektu, powstał we współpracy z Kają Dziarmakowską, niezależną ekspertką specjalizującą się w ewaluacji projektów edukacyjnych. Współpracuje ona z Pracownią Badań i Innowacji Społecznych „Stocznia”, która na zlecenie MKiDN opracowała ogólnodostępne narzędzia ewaluacyjne dla projektów edukacji kulturalnej1 . Uznaliśmy, że warto skonfrontować doświadczenie praktyczne z wiedzą teoretyczną i dodatkowo zakotwiczyć wspólny namysł w konkretnym projekcie, a właściwie trzyletnim 1 http://www.mkidn.gov.pl/pages/strona-glowna/finanse/programy-ministra/programy-mkidn- 2014/edukacja/edukacja-kulturalna.php
  2. 2. Dofinansowano przez Ministerstwo Kultury i Dziedzictwa Narodowego 2 eksperymentalnym i interdyscyplinarnym programie edukacyjno-artystyczno-animacyjnym Mazowieckiego Centrum Kultury i Sztuki (MCKiS; obecnie Mazowiecki Instytut Kultury) w Szydłowcu na południowym Mazowszu2 . Rozmawialiśmy, analizowaliśmy obszerną dokumentację foto, video, teksty, debaty, które narosły wokół projektu. Postanowiliśmy skupić się na barierach w ewaluacji projektów animacyjnych i edukacyjnych. Efekty przedstawiamy Państwu poniżej. Marcin Śliwa II. Witajcie w raju – niszczycielskie polowanie na autentyczność Podróżowanie bywa niemoralne. Kiedyś – w czasach, gdy kolonizacji poddano pół świata – było to może bardziej jaskrawe, oczywiste. Dziś o masowej turystyce uzależniającej lokalne społeczności od kapryśnego ruchu turystycznego mówi się, że jest kolonizacją w białych rękawiczkach. Pragnienie odkrywania nowych miejsc i kultur, zanurzania się w nieznanym rytmie, obcowania z autentycznością, to z pozoru czyste i nieszkodliwe motywy. Można by wręcz powiedzieć, że dzięki takim doświadczeniom przenikają się kultury, budują nowe więzi, a świat staje się miejscem lepszym i bardziej sprawiedliwym. Cóż, kiedy podróżowanie bez głębszej refleksji prowadzi (en masse i w uproszczeniu) do podporządkowywania kolejnych miejsc dyktatowi paru sieci hotelarskich… Jak daleka jest „chęć poszerzania pola kultury” od napędzającego podróżnika „apetytu odkrywcy”? Czy rezydencje i tzw. loty do lokalnych społeczności, niewielkich domów kultury, gminnych bibliotek, prywatnych muzeów to działania służące odwiedzanym czy odwiedzającym? Pytanie o to, jakie konsekwencje przynoszą wizyty animacyjne w lokalnych społecznościach oraz – szerzej – jakie są faktyczne efekty działań prowadzonych w ramach edukacji kulturalnej, bardzo często wybija się na pierwszy plan dyskusji o tego rodzaju przedsięwzięciach. 2 Materiały zostały zebrane na stronie: www.ciecie.org [dostęp: 20.12.2015].
  3. 3. Dofinansowano przez Ministerstwo Kultury i Dziedzictwa Narodowego 3 W debacie Pułapki partycypacji 3 , pomyślanej jako dynamiczny komentarz do filmów 4xDudziarska i Szydłowiec, które zrealizowano w związku z działaniami MCKiS w 2012 r., wątek „kolonizacyjny” wybija się bardzo wyraźnie, a rozmowa ogniskuje się wokół obawy o dalszy los „obudzonych” i czystość motywacji edukatorów. W związku z trzyletnią obecnością MCKiS w Szydłowcu nieraz padały pytania o ostatecznych beneficjentów sytuacji aranżowanej przez edukatorów (podobnie zresztą dzieje się przy okazji wielu innych przedsięwzięć animacyjnych czy edukacyjnych, niezależnie od ich skali, zwykle znacznie mniejszej niż w omawianym przypadku):  Kiedy i pod jakimi warunkami można mówić o wspieraniu kapitału społecznego, a kiedy prowadzone działania są eksploatowaniem lokalnej społeczności na zewnętrzny użytek?  Czy korzyści czerpane przez instytucje prowadzące działalność kulturalną są z gruntu złe i niemoralne? Czy możliwa jest sytuacja, w której obie strony relacji stoją po wygranej stronie?  Gdzie kończy się odpowiedzialność edukatora za społeczność/instytucję, w której za sprawą jego działań miała się dokonać zmiana? Wzmożona uważność, szacunek, empatia to bezwzględnie prawidłowe, choć może naiwnie brzmiące rozwiązania powyższych dylematów. Za praktyczny wariant tych romantycznych postulatów należałoby uznać aktywne zainteresowanie efektami działań animacyjnych – ewaluację. III. Odkładanie na jutro – o praktykach ewaluacyjnych w projektach edukacji kulturalnej Współpraca z edukatorami i animatorami przy ewaluacji ich projektów pozwala się domyślać, że postrzegają oni ewaluację jako pożądany element działań – planują, że kiedyś na pewno warto się za to zabrać na poważnie i solidnie, poświęcić środki i czas, może zaprosić specjalistę. Kiedyś tak, tym razem trzeba będzie jeszcze polegać na własnym osądzie. Gorzej, gdy pojawi się potrzeba udokumentowania projektu w sprawozdaniu. To wówczas zaczynają krążyć naprędce 3 „Pułapki partycypacji” – debata wokół filmów „4xDudziarska” oraz „Szydłowiec”, 08.10.2012, [online:] http://www.ciecie.org/pulapki-partycypacji-debata-wokol-filmow-4xdudziarska-oraz-szydlowiec/ [dostęp: 20.12.2015].
  4. 4. Dofinansowano przez Ministerstwo Kultury i Dziedzictwa Narodowego 4 tworzone ankiety, wówczas zlicza się głowy na listach obecności, cytuje okolicznościowe notki pojawiające się w lokalnej prasie... Inaczej mówiąc, podejmuje się spory wysiłek, którego efektem jest produkowanie wiedzy dość powtarzalnej (zwłaszcza z perspektywy osoby czytającej raporty spływające pod koniec okresu sprawozdawczego od beneficjentów programów), a przy tym, niestety, powierzchownej i budzącej spore wątpliwości co do obiektywizmu sprawozdawcy. Trudno podjąć na tej podstawie decyzję o dalszym losie programów, z których finansowane są projekty, trudno dobrać właściwe elementy wsparcia, trudno promować dobre praktyki, służyć głosem doradczym. Z kolei dla realizatorów projektów kulturalnych ewaluacja na potrzeby sprawozdania dla grantodawcy to tylko formalny i zwykle przykry obowiązek, który nie niesie realnej korzyści (np. w postaci uzyskania istotnych informacji o funkcjonowaniu elementów projektu). W takim wydaniu ewaluowanie się oznacza dopełnienie biurokratycznych wymogów, a treść ewaluacji jest nastawiona na spełnienie wyobrażonych oczekiwań grantodawcy, a nie na zaspokojenie ciekawości autora projektu. Nie dziwi wobec tego, że w najbardziej popularnym scenariuszu myślenie o ewaluacji pojawia się w projektach edukacji kulturalnej jako ostatni akord, który ma wieńczyć i spinać działania. Ma się zacząć w zasadzie już „po wszystkim”, gdy ważne (i ciekawe) rzeczy zostaną zrobione, gdy będzie czas na oddech i pomyślenie o rzeczach nawet jeśli istotnych, to przecież drugoplanowych. Jak ewaluacja właśnie. Niestety, w takim momencie nakładają się na siebie ryzyka z bardzo różnych „życiowych” obszarów. Najbardziej banalną, ale niemożliwą do pokonania czy zignorowania przeszkodą jest brak czasu. Otóż koniec projektu oznacza, cóż, jego koniec właśnie. Kończą się pieniądze na wynagrodzenia dla realizatorów, pojawia się konieczność wprawiania w ruch kolejnych przedsięwzięć, zespół zaczyna się rozglądać za nowymi aktywnościami. Najwyższy poziom osiąga też znużenie – zwykłe, wstydliwe, ale bardzo ludzkie zmęczenie tematem. Motywacja do kolejnych, a skądinąd właściwie niekoniecznych, nadmiarowych działań w projekcie nie mogłaby być niższa. Wydaje się, choć trudno mówić o tym głośno, że z tego rodzaju wypaleniem zmaga się wielu edukatorów. Działania animacyjne są z natury bardzo angażujące, często przez wiele miesięcy żyje się intensywnie, jakby nieswoim życiem, czasem faktycznie z dala od domu, w innym miejscu, wśród innych, nagle bliskich ludzi.
  5. 5. Dofinansowano przez Ministerstwo Kultury i Dziedzictwa Narodowego 5 Po takim doświadczeniu trudno spojrzeć na wszystko z dystansu. Przypadek obecności MCKiS w Szydłowcu pokazuje, że im wyższa intensywność działań, im dłuższe zaangażowanie, tym więcej czasu może wymagać decyzja o „powrocie ewaluacyjnym”. Bo choć zamiary ewaluacyjne towarzyszyły działaniom podejmowanym na miejscu, były to raczej luźne intencje niż konkretne plany i siłą rzeczy nigdy nie stały się one meritum aktywności. Nie mogąc konkurować z bieżącymi wydarzeniami, miały się wydarzyć później, co w praktyce zaowocowało odsunięciem ewaluacji w czasie na – jak się obecnie wydaje – co najmniej rok od zakończenia działań animacyjnych w Szydłowcu. Na szczęście w trakcie trzyletniej obecności zebrano wiele materiałów, które mogą stanowić dobrą, bogatą i bardzo różnorodną podstawę do ewaluacji, nawet tak odsuniętej w czasie. W przypadku wielu projektów taka dokumentacja jednak w ogóle nie powstaje, co znacznie utrudnia odtworzenie realiów projektu i zewaluowanie go w późniejszym terminie4 . IV. Zmiana akcentów – jak przeorientować myślenie o ewaluacji? Choć z różnych stron słychać głosy o pojawieniu się mody na ewaluację, biurokratyczne odium nie sprzyja zmianie paradygmatu ewaluacyjnego przyjętego w wielu instytucjach. Studiując raporty z ewaluacji, można odnieść wrażenie, że musi być to przedsięwzięcie poważne, na odpowiednim poziomie naukowego zaawansowania, odwołujące się do statystyk, operujące językiem liczb i wykresów. Umacniać taki wizerunek mogą także opisy, takie jak ten ze strony Polskiego Towarzystwa Ewaluacyjnego, gdzie ewaluacja przedstawiana jest jako:  ocena wartości projektu z zastosowaniem określonych kryteriów w celu jego usprawnienia, rozwoju lub lepszego rozumienia;  zbieranie, analiza oraz interpretacja danych na temat znaczenia i wartości projektu przy zwróceniu uwagi na zagadnienia istotne dla zainteresowanych; 4 Ewaluacja ex post jest opisywana w literaturze przedmiotu, funkcjonuje też powszechnie w rzeczywistości projektowej, jednak powyższe argumenty pokazują, że jest to przedsięwzięcie obarczone ryzykiem – nie zawsze bowiem udaje się dotrzeć do materiałów i osób pozwalających dokonać pełnej i pogłębionej ewaluacji już po zakończeniu działań w projekcie.
  6. 6. Dofinansowano przez Ministerstwo Kultury i Dziedzictwa Narodowego 6  ocena efektywności, skuteczności, oddziaływania, trwałości i zgodności projektu w kontekście założonych celów, porównywanie rezultatów projektu ze wstępnymi zamierzeniami5 . Aby nieco uprościć sprawę, w najogólniejszym ujęciu można jednak powiedzieć, że ewaluacja to proces pozwalający na sprawdzenie, czy w projekcie zrobiono wszystko, by zrealizować zamierzenia stojące za podjętymi działaniami. Ewaluacja to nie audyt i nie rozliczenie realizatorów z wykonanych zadań. Jej funkcją nie jest sprawowanie kontroli, ale refleksja, głębokie zastanowienie się nad sensem projektu, nad jego faktycznym wpływem na otoczenie. Sednem ewaluacji jest próba zrozumienia, co takiego zadziało się pod wpływem naszych oddziaływań, czy coś drgnęło? Coś się zmieniło? Czy tak właśnie miało być? Powinna być ponadto, jak postulują autorzy poradnika Ewaluacja, jak to się robi?6 , procesem samokształcenia, wobec czego próby scedowania tej części pracy nad projektem na zewnętrznych specjalistów mijają się z celem. Mądra ewaluacja nigdy nie wydarzy się bez udziału zespołu projektu. Naprawdę i niezależnie od tego, jak wiele osób czytając te słowa, prycha z rozdrażnieniem albo wręcz odczuwa chęć ucieczki. Na szczęście zaangażowanie autorów i realizatorów projektu w działania ewaluacyjne nie musi być procesem bolesnym. Dobra ewaluacja powinna respektować naturę projektu, pasować do niego jak szyty na miarę garnitur. Tragiczne przypadki ankietowania uczestników spektakli teatralnych w momencie największych wzruszeń albo równie dramatyczne odpytywanie rodziców z tego, „co pomyślały ich dzieci”, to nie ewaluacja, tylko pusty rytuał, bez większych szans na wartościowe wnioski. Innymi słowy, ewaluacja, aby dostarczać rzetelnej wiedzy o projekcie, musi być do niego adekwatna, i to pod wieloma względami. Musi uwzględniać metody pracy. Rozmiary i budżet projektu. Jego kalendarz. Specyfikę zespołu i uczestników. A wreszcie – musi dawać możliwość prześledzenia wpływu projektu na jego otoczenie. 5 http://www.pte.org.pl/index.php/o-ewaluacji/czym-jest-ewaluacja, dostęp: 29.12.2014 6 Poradnik do pobrania: http://stocznia.w1.laboratorium.ee/publikacje-stoczni/, dostęp: 29.12.2014
  7. 7. Dofinansowano przez Ministerstwo Kultury i Dziedzictwa Narodowego 7 Odwołując się bezpośrednio do doświadczeń z realizacji projektów podczas obecności MCKiS w Szydłowcu, można opisać pożądaną ewaluację także jako taką, która wspierałaby realizatorów już w trakcie programu, pozwalając korygować kurs i dokonywać świadomych wyborów decydujących o kształcie kolejnych zamierzeń. W ujęciu długofalowym idealna ewaluacja pozwalałaby sprawdzić, kto skorzystał na projekcie, tzn. czy – niezależnie od chęci – projekt pozwolił osiągnąć pożądaną przez autorów zmianę społeczną. A biorąc pod uwagę aspekt jak najbardziej praktyczny, powinna móc uwiarygodniać projekt w oczach partnerów i przyszłych mecenasów podobnych działań. Oznacza to zatem, że ewaluacja idealna powinna:  być częścią zaplanowanych w projekcie działań, towarzyszyć im od samego początku;  angażować osoby najlepiej rozumiejące projekt – autorów, realizatorów;  odwoływać się do otoczenia;  „mówić” tym samym językiem co pozostałe działania projektowe;  przynosić sensowną, wartościową dla autorów projektu wiedzę – bazować na wskaźnikach, które pozwolą sprawdzić, na ile osiągnięto zamierzone cele, co się udało, a co nie;  być efektywna – nie generować niepotrzebnych, dodatkowych ruchów, powinna dziać się niejako przy okazji;  być jasna i czytelna – dawać mierzalne, porównywalne wyniki. V. Mierzenie niewysłowionego – specyfika ewaluacji projektów edukacji kulturalnej Przestrzeń działania edukatora kulturalnego i animatora jest trudna do precyzyjnego zdefiniowania. Jak jednoznacznie i bez wątpliwości odróżnić ją od dziedziny sztuki? Jednym ze
  8. 8. Dofinansowano przez Ministerstwo Kultury i Dziedzictwa Narodowego 8 sposobów jest skoncentrowanie się nie na działaniach i metodach pracy, ale celach przedsięwzięć: Istnieje tradycyjne rozróżnienie na artystę i edukatora. Jeśli artysta ma dokładnie uświadomiony cel swojego działania, to nie jest artystą. Dokładnie odwrotnie jest z edukatorem. On ma właśnie klarownie sformułowany cel. Ja wolę artystów edukatorów, niż szaleńców bożych. Bo taki szaleniec jest zwolniony z odpowiedzialności za to, co robi7 . Artysta skierowany jest na siebie, tymczasem edukator skupia się na konsekwencjach swoich działań: Kiedy my wchodzimy w społeczność, by ją zmienić za pomocą sztuki, interesuje nas przede wszystkim właśnie ta społeczność. Chcemy mieć trwałe, mierzalne rezultaty, widoczne zmiany. Interesuje nas stan, w jakim zostawiamy „obudzonych” przez nas z letargu ludzi, interesują nas ich dalsze losy. Wy [artyści] używacie społeczności jako paliwa dla sztuki, a my sztuki jako paliwa dla społeczności. To fundamentalna różnica, fundamentalnie inna odpowiedzialność8 . Sfera projektów czysto artystycznych, realizowanych z pozycji sztuki, nie edukacji czy animacji, jest trudna do zmierzenia. Niektóre strategie artystyczne zakładają poświęcenie człowieka lub społeczności w celu wskazania problemu społecznego, moralnego, a nawet osiągnięcia czystej wartości artystycznej. Są projekty, które są anarchistyczną interwencją artysty, więc ich ewaluację można (chyba) uznać za bezcelową. Są też działania delikatne, sztuka efemeryczna, relacyjna, intuicyjna, performatywna – tu bardzo trudno wyobrazić sobie ewaluatora z odpowiednim wyczuciem, ale i śmiałością, by chcieć takie przedsięwzięcia ewaluować. Z kolei aż się prosi o ewaluację wysokobudżetową klasyczna „sztuka wysoka”, tworzona przez wielkie i średnio wielkie, a nawet małe i nieistotne instytucje – sztuka, która pochłania olbrzymie budżety, a jej ważkość społeczna jest dyskusyjna. 7 Marcin Śliwa, Posłaniec, który nas budzi, w: Wojciech Kłosowski [red.], Kierunek kultura. W stronę żywego uczestnictwa w kulturze, s. 25, [online:] http://www.kierunekkultura.waw.pl/images/stories/PDF/kierunek_kultura_w_strone_zywego_uczestnictwa_w_kul turze.pdf [dostęp 07.01.2015]. 8 Tamże, s. 22
  9. 9. Dofinansowano przez Ministerstwo Kultury i Dziedzictwa Narodowego 9 Niezależnie jednak od poglądów na ewaluację działań artystycznych, jeśli zgodzimy się, że nastawienie na cel i zainteresowanie oddźwiękiem społecznym to elementy konstytuujące edukację kulturalną, naturalną konsekwencją takiego ujęcia powinna być właśnie ewaluacja działań. Tymczasem, choć jest to dziedzina, która aż się prosi o ewaluację, praktyka wygląda zupełnie inaczej. Dlaczego tak się dzieje? Podobnie jak skoncentrowanie na celach może odróżniać działania edukacyjne i animacyjne od uprawiania sztuki, tak ich eksperymentalny, innowacyjny charakter odróżnia je zwykle od reszty projektów zaangażowanych społecznie. Oryginalność form oddziaływania wymaga wyjątkowego, specjalnie zakrojonego podejścia, co – przy ograniczonym budżecie – może stać się poważną przeszkodą w zorganizowaniu adekwatnej ewaluacji. Z kolei zastosowanie bardziej konwencjonalnych metod może nie wystarczyć do pomiaru wpływu projektu. Odwołanie się do tradycyjnych metod badawczych może też dostarczyć realizatorom przykrego dyskomfortu (któż chciałby się wcielić w rolę ankietera tuż po tym, gdy inspirował, otwierał oczy na nowe, był „mistrzem karnawału”?), a nawet wiązać się z ryzykiem negatywnego oddziaływania na odbiór projektu (czy zakreślanie kwadracików ankiety nie zniweczy magii wydarzenia?, czy nie wzbudzi niesmaku, nie zniechęci do udziału w kolejnych przedsięwzięciach?). Obecność MCKiS w Szydłowcu to trzy lata eksperymentalnych przedsięwzięć obejmujących tak różne inicjatywy, jak koncert w kamieniołomie, warsztaty recyclingowo-modowe, wykłady o tuningu, świetlna instalacja artystyczna na polach uprawnych, warsztaty stolarskie, instalacja „błotna” w starej synagodze, partycypacyjne tworzenie mapy turystycznej i kilkadziesiąt innych maksi-, midi-, mini- i mikroprzedsięwzięć. Wspólnym mianownikiem było „poszerzanie pola kultury”, cel szeroki na tyle, że w praktyce uniemożliwia zastosowanie jednorodnej metody ewaluacyjnej. Zmierzenie poziomu realizacji takiego celu wymaga uzgodnienia przez inicjatora projektu i jego ewaluatora, czym jest pole, o które chodzi, a następnie opracowania szeregu wskaźników, które mogłyby świadczyć o jego poszerzeniu. Jest to z oczywistych względów trudne, cele projektów edukacyjnych łatwiej bowiem zrozumieć i wyczuć na poziomie intuicji niż opowiedzieć precyzyjnym językiem.
  10. 10. Dofinansowano przez Ministerstwo Kultury i Dziedzictwa Narodowego 10 Opracowanie procedury ewaluacyjnej dla Szydłowca dodatkowo utrudniał fakt ewoluowania przedsięwzięcia. Podczas trzech lat pracy zmieniały się szczegółowe zamierzenia, doprecyzowywały cele. Można powiedzieć, że projekt „łagodniał”, a inaczej, że „dostrajał się” do rzeczywistości zastanej na miejscu. W pewnym sensie taki właśnie efekt powinna przynieść dobrze funkcjonująca maszyna ewaluacyjna – pozwolić w porę zmienić kurs i nie tyle dopuścić do błędów (tych nie unikniemy, realizując projekty eksperymentalne), ile szybko na nie zareagować. Dodatkową wartością ewaluacji byłoby jednak reagowanie na przeszkody w uporządkowany sposób, uczenie się instytucjonalne, nie tylko zdobywanie doświadczeń przez kolejne osoby realizujące konkretne działania. Wnioski płynące zarówno z sukcesów, jak i porażek miałyby szansę przysłużyć się nie tylko pojedynczym realizatorom, ale stać się realną korzyścią dla całych instytucji czy społeczności. Uporządkowanie wiedzy o efektach aktywności edukacyjnej, zebranie wniosków o tym, jakie konkretne korzyści może przynieść, można uznać obecnie za jeden z ważniejszych celów ewaluacji przedsięwzięć zbliżonych do działań w Szydłowcu oraz szeregu innych projektów o podobnym charakterze. Omawiany przypadek Szydłowca jest o tyle szczególny, że spośród setek projektów animacyjnych i kulturalno-edukacyjnych realizowanych każdego roku, miał on zupełnie wyjątkową skalę – obejmował wydarzenia korzystające z dorobku i narzędzi różnych dziedzin sztuki, miał niezwykle szerokie zaplecze instytucjonalne (w Szydłowcu pojawili się przedstawiciele MCKiS oraz innych warszawskich instytucji: Centrum Sztuki Współczesnej, Muzeum Sztuki Nowoczesnej, Akademii Sztuk Pięknych, Krytyki Politycznej, Centrum Myśli Jana Pawła II i wielu, wielu innych znanych i mniej znanych podmiotów – instytucji, organizacji, kolektywów artystycznych, niezależnych artystów i animatorów). Ponadto od samego początku było to przedsięwzięcie pomyślane jako rodzaj dłuższej rezydencji, a więc oddziaływania długofalowego, a nie akcyjnego. Przy takiej skali działań tym więcej mówi o kondycji ewaluacji w sferze edukacji kulturalnej brak doradcy ewaluacyjnego w zespole realizatorów (trzeba jednak uczciwie powiedzieć, że kilka lat temu nieobecność takiej osoby nie budziła żadnego zaskoczenia, wręcz przeciwnie – zaangażowanie badacza ewaluatora uznano by pewnie za posunięcie niecodzienne, jeśli nie dziwaczne).
  11. 11. Dofinansowano przez Ministerstwo Kultury i Dziedzictwa Narodowego 11 Nawet przy najmniejszej skali działań, jaką byłaby pojedyncza interwencja animacyjna (np. warsztat kreatywny w ramach lekcji muzealnej), ewaluacja wiąże się z trudnościami wynikającymi z braku rutyny w prowadzeniu tego typu działań. Realizatorom brakuje własnych doświadczeń w tym zakresie (jeśli nie brać pod uwagę zliczania uczestników wydarzeń i wymienia tej liczby w sprawozdaniu), wiedza o tym, gdzie szukać wskazówek, jest słaba, a w kręgu zawodowych znajomości edukatorów rzadko kiedy znajduje się ktoś taki jak badacz ewaluator. Sprawy nie ułatwia także to, że budżety projektów niekoniecznie obejmują takie pozycje jak profesjonalna ewaluacja. Należy tu jednak podkreślić, że w wielu, zwłaszcza ogólnopolskich programach grantowych ewaluacja coraz częściej jest elementem nie tylko wymaganym, ale i traktowanym jako odrębna dziedzina kosztów. Cóż, gdy stałą praktyką finansowania projektów kulturalnych jest ograniczanie wnioskowanego budżetu o kilka–kilkadziesiąt procent, realizatorzy stają wobec konieczności redukowania kosztów, co skutkuje m.in. likwidacją budżetu na badania. Doświadczenia z Szydłowca pokazują, że nawet pewna swoboda finansowa nie daje gwarancji przeprowadzenia ewaluacji. O ile budżet na badania nie zostanie zawczasu wyłoniony i zamrożony, o tyle wydatki ewaluacyjne mogą się przekładać na poczucie utraty środków niezbędnych do sfinansowania bieżących działań projektowych. To prosta droga do odłożenia planów ewaluacyjnych na inne, lepsze czasy. Ewaluacja wymaga zatem wysiłku, doświadczenia, czasu i pieniędzy, co na ogół niweczy szanse na jej zaistnienie w sferze projektów edukacyjnych. Na domiar złego elementem, który najsilniej przekłada się na niechęć edukatorów, jest coraz bardziej powszechny… wymóg jej przeprowadzania. Narzucanie ewaluacji bez zaoferowania realizatorom wsparcia we wprowadzaniu jej w życie tworzy wokół tego procesu złą atmosferę, lokując go w świecie biurokratycznych fanaberii. Trudno się też oprzeć wrażeniu, że nieprzychylny ewaluacji klimat to skutek zjawiska specyficznego nie tylko dla projektów edukacyjnych czy kulturalnych, ale znacznie szerszego i
  12. 12. Dofinansowano przez Ministerstwo Kultury i Dziedzictwa Narodowego 12 przenikającego różne dziedziny życia. Analizując styl działania przeróżnych instytucji, organizacji, a także pojedynczych osób można dojść do wniosku, że za niechęć do ewaluacji odpowiada nasz narodowy charakter. Generalnie, wydaje się, że my Polacy nie mamy najlepszych doświadczeń z planowaniem i myśleniem strategicznym. Panuje u nas raczej kultura prowizorki, improwizacji, kult „załatwiania” i „łatania”. To nasz narodowy żywioł i nasza tradycja. Także instytucjonalna9 . Planowanie i regularna weryfikacja rezultatów łatwo może zostać uznana za nudziarstwo. W sferze działań artystycznych, ale także okołoartystycznych jest to w zasadzie „przestępstwo”. Dlatego myśląc o ewaluacji projektów edukacji kulturalnej, konieczne musimy zaproponować działania niestandardowe, zaskakujące, zabawne. I jakkolwiek forma nie powinna dominować nad treścią, to z pewnością nie wolno jej zaniedbywać. VI. Kulturalna ewaluacja – jak zwiększyć szanse na bezbolesną ewaluację projektów edukacyjnych i animacyjnych? W obliczu tak licznych przeciwności wydaje się, że tylko wyjątkowy entuzjazm realizatora projektu może sprawić, by działaniom edukacji kulturalnej towarzyszyła ewaluacja. Istnieje jednak szereg sposobów, dzięki którym prawdopodobieństwo przeprowadzenia ewaluacji w sposób elastyczny i bezbolesny wzrasta. Dobrze zaplanowana ewaluacja jest efektywna pod względem czasu i środków finansowych, dzieje się – jeśli tylko to możliwe – przy okazji podstawowej aktywności projektowej, korzysta z zasobów, które siłą rzeczy są obecne w projekcie, unika generowania dodatkowych wysiłków. W projekcie powstaje mnóstwo materiałów, które jeśli do nich ponownie i wielokrotnie (krytycznie?) nie zajrzymy, po prostu się zmarnują. A przecież gromadziliśmy je pieczołowicie i z intuicją, że warto to robić, że to ważne, by je przechować. Szuflady i regały są pełne dokumentacji, na komputerach zapisujemy masę interesujących ewaluacyjnie danych. Warunkiem tego, by uczynić z nich materiał, z którego można wyciągnąć wartościowe wnioski, 9 Por. Marcin Śliwa w rozmowie z Pauliną Sobieszuk: Strategia Rozwoju Kultury w województwie mazowieckim na lata 2013-2020 jako wyraz odpowiedzialności za „obudzonych”, [w:] Wojciech Kłosowski [red.], Proces powstawania strategii rozwoju kultury w województwie mazowieckim na lata 2013–2020, s. 13 [online:] http://www.mazowia.org.pl/files/proces_powstawania_strategii_rozwoju_kultury_mazowia_57ra.pdf [dostęp: 20.12.2015].
  13. 13. Dofinansowano przez Ministerstwo Kultury i Dziedzictwa Narodowego 13 jest względny porządek – oznaczone daty czy choćby notka pozwalająca rozpoznać, z jakiego wydarzenia pochodzi dane zdjęcie, czego dotyczy ważny mail, kiedy powstało nagranie, film itp.. Przy prowadzeniu działań animacyjnych w dość skrupulatny sposób zbiera się dane na temat frekwencji na wydarzeniach. Sprawdza się ją nawykowo, a poza tym jest to dość łatwy do mierzenia wskaźnik, często wymagany przez grantodawców jako miara oceny przedsięwzięcia. Wymóg szacowania liczby odbiorców działań, czyli próba określenia zasięgu oddziaływania przekłada się na krzywdzącą dla ewaluacji opinię, że polega ona w gruncie rzeczy na zliczaniu i nie ma szans na oddanie ducha projektu. Jest bowiem jasne, że liczba zapełnionych miejsc będzie słusznym miernikiem w odniesieniu do oceny sukcesu komercyjnego, jednak o powodzeniu wydarzenia o charakterze niekomercyjnym ciężko wnioskować tylko na podstawie jego popularności. Bywa przecież i tak, że obiektywnie niskiej frekwencji towarzyszy poczucie, że projekt nie był klapą, że miał swój wpływ na społeczność albo będzie „pączkował” w przyszłości. W Szydłowcu fiaskiem frekwencyjnym okazał się, ku zaskoczeniu i rozgoryczeniu organizatorów, pewien nietypowy wykład. Dotyczył światowych trendów w tuningu samochodowym, stanowiąc ofertę absolutnie unikatową, adresowaną do niszowego grona zagorzałych miłośników tej sztuki, których w Szydłowcu nie brakuje. Wykładowca był charyzmatyczny, a promocji wydarzenia nawet z perspektywy czasu nie można niczego zarzucić. Uczestniczył w nim jednak zaledwie trzy osoby i nie była to frekwencja, którą można uznać za zadowalającą, nawet gdyby wszystkie one napisały po latach doktoraty z tej wyjątkowej dziedziny. Zawiódł, jak to się zdarza w takich sytuacjach, kalendarz – wykład odbywał się w godzinach pracy zainteresowanych. Zdarzenie to może figurować jako niebywała klapa w sprawozdaniu, można też o nim wspominać w ramach anegdoty. Ewaluacja, w której można by się odwołać do liczb, obserwacji czy wywiadów, stanowiłaby krok w kierunku przekucia tej jakby nie było porażki w sensowną wytyczną na przyszłość (nie tylko naukę dla pomysłodawców). Trzeba podkreślić, że frekwencja nie musi być złą miarą. Nie mówi wszystkiego, na pewno nie należy uznawać jej za główny wskaźnik w ewaluacji, ale jest przecież czegoś wyraźnym świadectwem. Dokumentując frekwencję z wydarzenia na wydarzenie, gromadzimy bogate
  14. 14. Dofinansowano przez Ministerstwo Kultury i Dziedzictwa Narodowego 14 dane. Możemy na tej podstawie śledzić zmianę w partycypacji. Oczywiście, aby zwiększyć trafność wnioskowania, lepiej byłoby wyposażyć nasze narzędzie ewaluacyjne w dodatkowe miary. Idealna byłaby uporządkowana obserwacja (jak przygotować arkusz obserwacyjny i prowadzić obserwację, można się dowiedzieć np. z Miniporadnika ewaluacji dla realizatorów projektów Edukacji kulturalnej przygotowanym dla MKiDN przez Pracownię Badań i Innowacji Społecznych „Stocznia”10 ), sprawdzi się jednak także „wrażeniowa” notatka głosowa albo zapiski w formie SMS w telefonie. Wzmianki o atmosferze, komentarze do wydarzenia, obserwacje reakcji uczestników, refleksje o obecnych i nieobecnych można potraktować jako dane jakościowe, które w zestawieniu z pomiarami frekwencji powiedzą nam dużo o tym, co się naprawdę zadziało w trakcie naszej obecności. Czy udało nam się wejść w dialog, czy kogoś zainteresowaliśmy, podrzuciliśmy komuś myśl, a może tylko pozwoliliśmy nieco rozwiać nudę, dostarczyliśmy rozrywki, dzięki nam ktoś mógł spędzić czas w inny niż zwykle sposób? To, czy wyniki ewaluacji nas usatysfakcjonują, zależy od celów, jakie sobie wyznaczyliśmy. Istotne, że nawet tak proste zabiegi i intuicyjne wnioski wnoszą zupełnie nową jakość, która pozwala skomentować działania edukacyjne, lepiej je ukierunkować, wzmacnia motywację, pokazuje sens czy bezsens zastosowanych rozwiązań. Trudno wymienić, a nawet wyobrazić sobie, jak różne formy mogą przybrać dane przydatne przy ewaluowaniu przedsięwzięcia. W przypadku obecności MCKiS w Szydłowcu niezwykle cennym z perspektywy ewaluatora zasobem jest bogaty materiał filmowy wyprodukowany w ramach projektu. Dokumentacja projektów edukacyjnych MCKIS była wielokrotnie wykorzystywana w różnego rodzaju konferencjach, sympozjach czy warsztatach organizowanych przez podmioty zewnętrzne. Ponadto trafiła do Archiwum Wizualnego Uniwersytetu Adama Mickiewicza w Poznaniu – w kategorii dziesięciu najlepiej udokumentowanych projektów animacyjno- edukacyjnych w Polsce. Prawdopodobnie zostanie wykorzystana jako ważny zasób badawczy. 10 Maja Durlik, Kaja Dziarmakowska, Miniporadnik ewaluacji dla realizatorów projektów edukacji kulturalnej, 2013, [online:]http://stocznia.org.pl/wp-content/uploads/2014/04/Miniporadnik_ewaluacji_cc_by.pdf [dostęp: 20.12.2015].
  15. 15. Dofinansowano przez Ministerstwo Kultury i Dziedzictwa Narodowego 15 Jeśli weźmiemy pod uwagę specyfikę tego rodzaju danych11 , wypowiedzi sfilmowane w trakcie działań mogą posłużyć za wywiady z uczestnikami i realizatorami, w zależności od zawartości merytorycznej filmu można wykorzystać go także jako sposób na utrwalenie powstałych w przedsięwzięciu prac, zapis ewentualnych zmian w sposobie ekspresji uczestników wydarzeń, zmian w filmowanym otoczeniu i na wiele innych sposobów. Przy analizie niezbędne będzie wspieranie się dodatkowymi materiałami (w omawianym przypadku świetnym zastanym źródłem danych jest blog o działaniach w Szydłowcu), próby kontaktu i przeprowadzenia wywiadów lub ankiet z uczestnikami i dużym zespołem realizatorów. Nawet bliska ideału „ewaluacja mimochodem”, czyli ta dokonywana przy okazji podstawowych działań projektowych, wymaga wysiłku. Zebrany materiał zdjęciowy, blog, nagrania koncertów, filmy to źródło danych, które wymaga prześledzenia, uporządkowania i analizy pod kątem konkretnych pytań badawczych. W wersji minimalistycznej, dokładnie tak jak przy najbardziej złożonych badawczo planach, ewaluacja rozpoczyna się od odtworzenia celów przedsięwzięcia, nazwania ich w sposób jak najprostszy, postawienia pytań o spełnienie tych celów i znalezienia takich wskaźników, które pozwoliłyby na te pytania odpowiedzieć12 . Trzeba pamiętać o ograniczeniach, które wynikają z przyjętych procedur. Ewaluowanie się po latach jest obarczone brzemieniem upływu czasu, ewaluacja na podstawie zapisów wolontariuszy lub własnych naprędce tworzonych notatek może się okazać zbyt ogólnikowa, mało pogłębiona, nie całkiem obiektywna. Warto sięgać do opinii innych, uzupełniać swoje zdanie o wrażenia uczestników wydarzenia, współpracowników. Nie należy jednak być zbyt ostrożnym, unikać rozstrzygnięć. Jeśli ewaluacja ma służyć wewnętrznym celom, pomagać w podejmowaniu decyzji o projekcie, kierunkowaniu działań, to intuicja (wynikająca przecież i z doświadczenia, i z wyczucia) nie jest mniej ważnym argumentem. Jeśli z kolei ewaluacja służy także celom zewnętrznym, ma stanowić rodzaj uwiarygodnienia przedsięwzięcia, to konieczne będą jasne, powtarzalne, obiektywne miary. Zakres pytań, a także zasoby, którymi dysponuje ewaluator, będą decydować 11 Film nie jest czystym zapisem wydarzeń, został „przefiltrowany” przez realizatora, stąd istotne mogą być np. uzupełniające rozmowy i odwołania do dodatkowych źródeł. 12 W przypadku materiału filmowego dalsza procedura badania może polegać na oglądaniu wynotowywaniu „znalezisk”, które następnie kategoryzujemy i analizujemy pod kątem postawionych pytań ewaluacyjnych.
  16. 16. Dofinansowano przez Ministerstwo Kultury i Dziedzictwa Narodowego 16 o kształcie ewaluacji. Pomocą dla ewaluatorów amatorów mogą być gotowe narzędzia badawcze np. Zrób to sam. Jak zostać badaczem społeczności lokalnych? Poradnik dla domów kultury13 , Miniporadnik ewaluacji dla realizatorów projektów kulturalnych14 . Dobrym, obiektywizującym, rozwiązaniem będzie zatrudnienie do prześledzenia dokumentacji projektowej zewnętrznego badacza. Także w przypadku projektów większych, trudnych do zbadania metodami „chałupniczymi”, po amatorsku, warto zatrudnić zewnętrznego ewaluatora lub zespół. Trudno o większy banał, jednak nie może tu tych słów zabraknąć: o wyborze nie powinno przesądzać kryterium cenowe. Jeśli przeszkodą jest niezwykle szczupły budżet, może sprawę rozwiąże zwrócenie się po wsparcie do najbliższego koła studentów socjologii? Kimkolwiek by nie byli, ważne, by badacze opracowywali założenia ewaluacji równolegle z powstawaniem planów projektu edukacyjnego. Pozwoli to nie tylko zminimalizować koszty badania, ale przede wszystkim uporządkuje myślenie o ewaluacji na tyle, by powstały adekwatne i kreatywne narzędzia badawcze. VII. Postscriptum W powyższym artykule nie wyczerpujemy kwestii ewaluacji projektów animacyjnych, artystycznych i edukacyjnych. Jesteśmy raczej przekonani, że to głos w aktualnej debacie. Namysł nad tą problematyką będzie jednym z kluczowych wyzwań, które stawiamy sobie w ramach Mazowieckiego Obserwatorium Kultury, które właśnie uruchomiliśmy w Mazowieckim Instytucie Kultury. 13 Michał Danielewicz [i in.], Zrób to sam. Jak zostać badaczem społeczności lokalnych? Poradnik dla domów kultury, [online:] http://www.kulturalna.warszawa.pl/pi/73489_1.pdf [dostęp: 04.01.2013]. 14 Maja Durlik, Kaja Dziarmakowska, dz. cyt.
  17. 17. Dofinansowano przez Ministerstwo Kultury i Dziedzictwa Narodowego 17 W ramach badań obserwatorium podejmiemy trud zewaluowania kluczowych projektów warszawskiego MIK – od interdyscyplinarnych i eksperymentalnych działań w Szydłowcu po projekty impresaryjne. O wynikach będziemy Państwa informować na bieżąco.

×