Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Recenzja prof. Jarosława Górniaka

467 views

Published on

Recenzja raportu Nowa sprawozdawczość instytucji kultury opracowanego w ramach projektu „Poprawa jakości gromadzenia danych o publicznych i niepublicznych instytucjach kultury w Polsce”

Published in: Education
  • If you’re looking for a great essay service then you should check out ⇒ www.HelpWriting.net ⇐. A friend of mine asked them to write a whole dissertation for him and he said it turned out great! Afterwards I also ordered an essay from them and I was very happy with the work I got too.
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • Be the first to like this

Recenzja prof. Jarosława Górniaka

  1. 1. prof. dr hab. Jarosław Górniak Instytut Socjologii i Centrum Ewaluacji i Analiz Polityk Publicznych Uniwersytet Jagielloński Recenzja raportu „Nowa sprawozdawczość instytucji kultury” Raport „Nowa sprawozdawczość instytucji kultury” zawiera wynik diagnozy stanu statystyki publicznej dotyczącej instytucji kultury w Polsce i ich działalności, rekomendacji w tym zakresie oraz propozycje nowego, opartego na aplikacji internetowej narzędzia gromadzenia danych oraz charakterystyki jego kluczowych komponentów, a także przykłady wykorzystania wyników. Zaprezentowane zostały rownież wyniki pilotażu nowego rozwiązania. W raporcie przyjęto koncepcję dopełnienia opracowania eksperckiego obszernymi wypowiedziami ekspertów. Wszystko to stanowi interesujący materiał diagnostyczny przedstawiający dowody na kluczową tezę o konieczności zbudowania nowego podejścia do przedmiotu badania w statystyce publicznej. Zasadniczo do części diagnostycznej nie wnoszę uwag: spełnia ona swoją rolę przedstawiając zbiór argumentów na rzecz zmiany. Jedynym brakiem, który odczułem, wyobrażając się siebie w roli potencjalnego twórcy nowej propozycji modelu badania z jednej strony oraz decydenta w zakresie polityki kulturalnej — z drugiej, jest nieobecność systematycznego przeglądu miedzynarodowego wzorcowych rozwiązań z oceną ich mocnych i słabych stron w porównaniu do analizowanego modelu polskiego. Dobrze jest przy okazji wyważania drzwi sprawdzić, czy zamek nie jest przynamniej w połowie otwarty. Bardziej od części diagnostycznej stanowiącej uzasadnienie zmiany interesuje mnie jednak propozycja pozytywna. Ona jest bowiem zasadniczym wkładem w postęp w dziedzinie statystyki kultury, a w konekwencji — także w poprawę sposobu prowadzenia polityki kulturalnej na różnych szczeblach. Dlatego na tym aspekcie skoncentruję moje uwagi. Istotą pomysłu jest bowiem zbudowanie nowego systemu informacji statystycznej o instytucjach kultury i ich działalności. Sposób podejścia do tego zadania wzbudził we mnie 1
  2. 2. zdecydowanie więcej wątpliwości niż część diagnostyczna, z której zespół wywiązał się dobrze. Drobne kwestie redakcyjne dotyczące tej części zapewne zostaną, zgodnie z zapewnieniem, skorygowane w toku ostatecznej edycji, więc nie warto poświęcać im uwagi. Kluczowym deficytem w zakresie projektu nowego systemu jest brak jasnego zdefiniowania jego celów, odbiorców i listy potrzeb informacyjnych (zapewne jej ustaleniu warto było poświęcić także więcej uwagi w toku diagnozy, w tym zapoznając się z materialem międzynarodowym). Lista potrzeb informacyjnych powinna prowadzić do ustalenia potrzebnego zestawu wskaźników, ich klarownych definicji, algorytmu ich obliczenia i sposobu zasilenia danymi (np. poprzez uzyskanie odpowiedzi na określone, zacytowane pytania kwestionariusza) oraz wykorzystania i interpretacji. Wykorzystanie wskaźników dla zaspokojenia potrzeb informacyjnych wymaga często podania ich w różnych układach dekompozycji ze względu na wybrane cechy klasyfikacyjne, które również wymagają zdefiniowania. Jeśli pełen zestaw wskaźników ma być zasilany wyłącznie danymi z kwestionariusza, wówczas należy dokonać mapowania poszczególnych wskaźników na odpowiednie pozycje zaprojektowanego narzędzia. Tego wszystkiego w raporcie brakuje. Przez to bardzo trudno określić, na ile kompletne jest zaprojektowane narzędzie. Niestety, w tym wypadku nie wystarczy zapytanie o to przestawicieli instytucji zajmujących się kulturą. Są oni bowiem w stanie wyrazić tylko ogólne odczucie, podczas gdy analiza kompletności wymaga przeprowadzenia weryfikacji analitycznej. Mogły być w tym pomocne analizy i prezentacje danych z pilotażu pozwalając wyjść poza analizę logiczną w kierunku weryfikacji treściowej. Przykład metodyki konstrukcji systemu mierników, choć z innego obszaru diagnozy dla potrzeb polityk publicznych, można znaleźć w załączonej do tej recenzji publikacji, przygotowanej w 2007 r. przez zespół z UJ i UEK pt. „Wybrane wskaźniki wykluczenia społecznego i sytuacji na rynku pracy” (sugeruję zwłaszcza zapoznanie się z częścią poświęconą tzw. wskaźnikom z Laeken od str. 140). Nie chodzi mi o literalne naśladowanie takiego sposobu ujęcia — gdyż mamy tu do czynienia z innymi obszarami życia społecznego i innym, instytucjonalnym charakterem jednostek objętych pomiarem w projekcie statystyki instytucji kultury — ale przykład typu informacji o wskaźnikach, które powinny stać za propozycją systemu dla statystyki publicznej. Potrzeba zadania każdego pytania w 2
  3. 3. kwestionariuszu powinna być ściśle uzasadniona jego rolą w generowaniu danych elementarnych, które po wykonaniu odpowiednich przeliczeń pozwolą ustalić wartości zaplanowanych wskaźników. Proponowane przeze mnie podejście do konstrukcji systemu statystyki obszarowej zakłada też w praktyce sporządzenie precyzyjnego planu analizy danych i planu raportu statystycznego. Sporządzenie takiego planu jest, tak czy owak, zawsze etapem projektowania badań, który zaleca się przed zamknięciem prac nad kwestionariuszem (pozwala to sprawdzić kompletność narzędzia badawczego). Podsumowując: kluczowym deficytem opracowania jest brak opisu systemu informacji statystycznej, który ma być uzyskany, a także odniesienia tego systemu do narzędzia badawczego i instrukcji jego wypełnienia. Druga istotna uwaga odnosi się do samego narzędzia badawczego, ale poniekąd jest pochodną niewykonania systematycznej pracy nad systemem wskaźników. Kwestionariusz internetowy, którego demonstracyjna wersja jest udostępniona w sieci pod adresem wskazanym w raporcie, wymaga optymalizacji. Co przez to rozumiem? Chodzi o to, by badanych jednostek nie obciążać koniecznością obliczania wielkości agregatowych, które są wynikiem przeliczenia danych jednostkowych, o których wyczerpujące wprowadzenie prosimy objęte badaniem instytucje. A precyzyjnie, chodzi np. o konieczność podania liczby odbiorców w różnych kategoriach (punkt 8), których podanie wymaga zsumowania liczby uczestników działań/projektów podawanych w „Informacjach o działaniu”. Dobrze opracowany system gromadzenia danych powinien być użyteczny dla samych instytucji (co jest jedną z ważnych konkluzji diagnozy), a więc należałoby pomyśleć o nim także jako systemie bieżącej rejestracji wydarzeń/projektów w jednostce, który jej samej pozawala dostarczyć systemu wskaźników dla potrzeb zarządzania. Do takich informacji należą agregaty dotyczące liczby uczestników w różnych przekrojach, które powinny być generowane z danych jednostkowych. Z dobrze opisanego systemu wskaźników powinien wynikać zbiór danych elementarnych, które należy uzyskać w pomiarze (tutaj: = uzyskiwanych przez wypełnienie kwestionariusza), z których to z kolei można wyliczyć ostatecznie wartości wskaźników na różnych poziomach granulacji i przy różnych układach dekompozycji. W narzędziach badawczych należy unikać redundancji i nadmiernego obciążenia respondentów (a takim jest każde zadanie obliczania wartości sumarycznych i pochodnych). 3
  4. 4. Błędem kwestionariusza jest pytanie o przedziały wartości w przypadku informacji o budżecie (pkt. 7). Taka redukcja informacji nie ma uzasadnienia. W ustalaniu wielkości finansowych zadajemy pytanie otwarte o kwotę (podobnie jak czynimy to w sondażach pytając np. o wiek, liczbę wizyt w kinie w ostatnich 3 miesiącach czy inne ilości). Jest to powszechnie znana zasada w metodologii badań kwestionariuszowych (choć, przyznaję, nie zawsze przestrzegana, co wynika, niestety, z nieznajomości metodologii konstrukcji kwestionariuszy po stronie badaczy). Jakie jest uzasadnienie pytania o budżet podmiotu, który jest instytucją, w przedziałach wartości? Nie ma! Podobnie jak nie ma uzasadnienia w podziale na przedziały odpowiedzi na pytanie o liczbę uczestników, na jaką było zaplanowane działanie. Przedziały można sobie zawsze ustalić na poziomie raportów, jeśli będzie taka potrzeba. Problematyczne są definicje grup odbiorców. Zamiast podawać nieostre określenia, jak „dzieci i młodzież”, lepiej podać przedziały wiekowe, które te kategorie definiują. Tym bardziej, że mamy problem z rozłącznością kategorii: wiek produkcyjny (czyli, jak rozumiem, związany z aktywnością zawodową), to 18-59/64 w zależności od płci, a dzieci i młodzież kończy się: 18? 25? 30? 35? Kto to są seniorzy? Osoby powyżej pewnego wieku, które już nie są aktywne zawodowo, czy może powyżej pewnego wieku po prostu? Jakiego? Kto to jest osoba niepełnosprawna? Mająca orzeczenie komisji czy charakteryzująca się jakąś dysfunkcją niezależnie od statusu formalnego? Jaką? Co mamy na myśli w przypadku „grup wykluczeń społecznych”? Czy pytanie o grupy ze względu na „specyfikę” spełnia kwestionariuszowe roszczenie zupełności, czy nie? W moim przekonaniu — nie. Dlaczego, np. nie ma wśród nich rodzin z dziećmi do lat 6 albo np. rodziców samotnie wychowujących dzieci, albo kobiet powracających na rynek pracy, albo…. Żartuję nieco, ale wyraźnie ta kafeteria nie jest przemyślania i nie wiadomo, dlaczego są w niej użytkownicy aplikacji, cokolwiek to znaczy, a nie ma inaczej wyodrębnionych grup. Brak tu jakiegokolwiek kryterium. Mam też wątpliwości co do kompletności kafeterii w przypadku pytania o to, jak było zorganizowane działanie. 4
  5. 5. Jak definiuje się sponsora (to wcale nie jest trywialne, o czym wie każdy, kto pozyskuje środki zewnętrzne), a do tego — prywatnego? Dlaczego pytanie dotyczy tylko sponsorów prywatnych, a nie po prostu źródeł finansowania? Jaka jest definicja grupy docelowej? Czy chodzi o to, do kogo była skierowana informacja o wydarzeniu, dla kogo było dopuszczalne uczestnictwo, kogo zaproszono, kogo sobie wyobrażano jako adresata, czy też — kto faktycznie dominował wśród uczestników. czy w sprawozdawczości statystycznej powinniśmy badać intencje czy fakty? Co oznacza udostępnienie infrastruktury i zasobów? Czy wystarczy wystąpienie udostępnienia tylko jednego z wyliczonych zasobów, czy wszystkich (koniunkcja czy alternatywa)? Może prościej — jak już ustalimy, czym jest to udostępnienie (najlepiej jak kwestionariusz jest zrozumiały bez dodatkowych instrukcji) — poprosić o zaznaczenie każdego, który został „udostępniony”. Czym się różnią periodyki od czasopism? Czy warto kwitować jako „inne wydawnictwa” to co się na tak masową skalę dzieje obecnie w sieci? Na przykład: podcasty, filmy, audio, radio internetowe telewizja internetowa, videoblogi itd.? Wyliczenie zdaje się być niezwykle konserwatywne i ograniczone. W pytaniach dobrze jest unikać pytania o więcej niż jedną kwestię na raz. Bardzo podstępne jest użycie w pytaniu czy kategoriach odpowiedzi spójnika i/oraz. W przypadku kwestionariusza, który ma być samodzielnie wypełniany, zasadnicze informacje dotyczące sposobu wypełnienia, a także rozumienia kategorii powinny być podane w kwestionariuszu, by uniknąć niejednoznaczności. W swojej kluczowej części, którą jest informacja o działaniu, kwestionariusz sprawia wrażenie jeszcze nie do końca przemyślanego narzędzia. Wynika to jednak, czemu dałem wyraz, z braku formalnego projektu systemu wskaźników, który miałby być zasilony przez dane gromadzone przez kwestionariusz, dane elementarne, a nie wartości wskaźników. Z drugiej strony, brakuje klarownej wizji wymiarów charakteryzujących format aktywności i ich kategorii. 5
  6. 6. Podsumowując: przedstawiony raport dobrze oceniam w jego części diagnostycznej, uzasadniającej zmiany, ale gorzej w zakresie rozpoznania istniejących doświadczeń międzynarodowych i w zakresie sposobu podejścia do projektowania i ostatecznej propozycji nowego rozwiązania. To wymaga jeszcze dalszej pracy. 6

×