Badanie Delphi

1. Badanie Delphi
w Narodowym Programie
Foresight Polska 2020
Doświadczenia i wnioski
Prezentację przygotowali:
Dr Jerzy Głuszyński (jgluszynski@pentor.pl)
Anna Kowalewska (akowalewska@pentor.pl)
Pentor Research International
Prezentacja wyników NPF Polska 2020, Warszawa 16.02.2009 r.

2. O czym chcemy powiedzieć w
dzisiejszej prezentacji?
Chcemy podzielić się doświadczeniami z
realizacji badania eksperckiego Delphi -
realizowanego w Polsce po raz pierwszy na
tak szeroką skalę i obejmującego tak duży
zakres tematyczny
Chcemy przybliżyć ideę metody, sposób jej
zastosowania w NPF Polska 2020 i
wykorzystania jej wyników do budowy
scenariuszy
Chcemy spróbować ocenić metodę, wskazać
jej zalety i wady z punktu widzenia
realizatora badania

3. Jakie główne wnioski
chcielibyśmy przekazać?
Delphi jest skutecznym sposobem zwiększenia
społecznej partycypacji w projektach typu foresight.
1 Dzięki Delphi udało się nam zgromadzić wokół NPF
Polska 2020 kilka tysięcy ekspertów. W tym kontekście
można traktować Delphi jako narzędzie kształtowania
w Polsce kultury myślenia o przyszłości.
2 Metoda ma jednak swoje ograniczenia, jest trudna,
czasochłonna i wymagająca dużego nakładu pracy.
Mimo tego pozwala ona na odkrycie obrazu przyszłości
3 w sytuacji niepewności, a uzyskane wyniki mogą być
użytecznym wkładem w budowę scenariuszy rozwoju.

4. Zanim przejdziemy do szczegółów,
kilka słów o metodzie…

5. Co to jest Delphi?
Badanie eksperckie
Składające się zazwyczaj z dwóch lub trzech rund
Narzędziem badawczym w każdej z rund jest ten sam
kwestionariusz ankiety, adresowany do tego samego grona
ekspertów
Respondentom wypełniającym ankietę po raz drugi/kolejny
prezentowane są zbiorcze odpowiedzi ekspertów z
pierwszej/poprzedniej rundy.
Zaprojektowanie
kwestionariusza I runda – zebranie
Analiza danych
opinii ekspertów
Przesłanie ekspertom
zbiorczych odpowiedzi Opracowanie i
z I rundy i realizacja II analiza wyników
rundy końcowych

6. Idea Delphi
Przezwyciężenie ograniczeń związanych z
tradycyjnym komunikowaniem się ekspertów:
wpływ liderów opinii, dominujących
osobowości
konformizm
niechęć do odrzucania wyrażonych sądów
komunikacja nie na temat
Metoda budowania konsensusu – respondenci
kształtują swoją opinię pod wpływem opinii
innych uczestników
Służąca do oceny i prognozy zjawisk w
dłuższej perspektywie czasowej
Kluczowe cechy Delphi:
anonimowość
informacja zwrotna w postaci
statystycznego opisu danych z
pierwszej/poprzedniej rundy.

7. Rola Delphi
w NPF Polska 2020
Wkład do budowy scenariuszy
identyfikacja trendów społeczno-gospodarczych i
przyszłościowych technologii
prognoza horyzontu czasowego ich realizacji
ocena ich skutków społeczno-gospodarczych
analiza potencjału niezbędnego do ich realizacji oraz
identyfikacja związanych z nimi problemów i wyzwań
Sposób zwiększenia społecznej partycypacji
konsultacja ze środowiskami eksperckimi
poinformowanie głównych interesariuszy o
najważniejszych kwestiach podejmowanych przez
Program i pozyskanie ich zaangażowania
osiągnięcie konsensusu co do obrazu przyszłości i
kształtu polityki naukowo-badawczej.

8. W jaki sposób zrealizowaliśmy
badanie?

9. Pod „pretekstem” Delphi
postanowiliśmy skupić grono
ludzi wokół NPF
Zespół Ekspertów Zewnętrznych NPF Polska
2020
Deklarujących posiadanie wiedzy w którejś z
dziedzin objętych NPF
Uspołecznienie procesu – zaangażowanie
wielu stworzenie poczucia
środowisk,
współuczestnictwa
Maksymalna różnorodność ekspertów -
reprezentacja ekspertów z różnych dziedzin
Możliwie największy udział w próbie
przedstawicieli biznesu
Możliwie liczna reprezentacja osób młodych,
do 35 roku życia
Motywacja – certyfikat uczestnictwa w
Programie

10. Zastosowaliśmy zarówno zamknięty, jak i
otwarty model rekrutacji
2. Otwarta rekrutacja –
1. Nominacja możliwość zgłoszenia
kandydatów się do Zespołu z własnej
inicjatywy
przez
informację o naborze rozesłano
ekspertów wewnętrznych m.in. do
Instytucje Partnerskie pracowników nauki
kierowników innych projektów przedsiębiorstw
foresight uczelni wyższych, instytutów PAN
jednostek badawczo-rozwojowych
izb gospodarczych
instytucji wspierających
innowacyjność
organizacji pozarządowych
portali regionalnych i branżowych
Model 1, stosowany jako jedyny, wiąże się z ryzykiem:
pominięcia osób o potencjalnie o dużej wiedzy, ale nie znanych w
środowisku
nadreprezentacji top-ekspertów, odznaczających się w swoich
przewidywaniach największym optymizmem. 10

11. Realizacja badania
I runda – 24 kwietnia – 13 maja 2008 r.
II runda – 10 czerwca – 01 lipca 2008 r.
Współczynnik realizowalności
próby
Eksperci zewnętrzni
I runda – 2587 / 5413 - 48%
II runda – 2385 / 2587 -
92%
11

12. Podsumowując - zadanie trudne
realizacyjnie i pracochłonne, ale wykonalne
Trudna i czasochłonna rekrutacja
ekspertów
Angażująca komunikacja z kilkoma
tysiącami ekspertów
Pilotaż ankiety, zebranie uwag i
komentarzy
Żmudna weryfikacja ankiety CAWI pod
względem poprawności logicznej
Opracowanie narzędzia do
prezentowania danych w II rundzie
Czasochłonna analiza danych
Przygotowanie internetowej
przeglądarki wyników

13. Co nasze doświadczenie podpowiada
nam na przyszłość?

14. Delphi – próba ewaluacji
Pozwoliło włączyć w projekt Czasochłonne i wymagające
kilka tysięcy osób dużego nakładu pracy
Zmusiło respondentów do
myślenia o przyszłości i Ryzyko traktowania wyników
wyrażenia tych myśli w jako fakty
sposób zwięzły i prosty
Zmusiło respondentów do Ignorowanie jednostkowych
przemyślenia poglądów opinii, „tyrania” większości
między rundami
Problemy z uwiarygodnieniem
Pokazało, czy istnieje
ekspertów
konsensus
Uzyskane wyniki dają się
łatwo analizować, wskazują
na priorytety
14

15. A jak ocenili metodę
eksperci zewnętrzni?
Cenię sobie możliwość zobaczenia
91%
zbiorczych odpowiedzi innych ekspertów
w II rundzie badania
To wartościowa metoda pozwalająca na
74%
przewidywanie przyszłych wydarzeń
66%
Metoda pozwala na uzyskanie konsensusu
Metoda wymaga zastosowania
43%
długotrwałej procedury
Wypełnienie ankiety Delphi w NPF Polska
40%
2020 było czasochłonne
Tezy i pytania w ankiecie Delphi w NPF
25%
Polska 2020 były sformułowane w sposób
skomplikowany, czasem niezrozumiały
Wartość prognostyczna metody nie jest
21%
wyższa niż w przypadku innych metod
Nie widzę sensu drugiej i kolejnych rund
8%
w badaniach tego typu

16. Delphi jest skuteczną techniką poszukiwania
odpowiedzi na odpowiednie pytania
Gordon