Ocena nauki i uczonych w systemie komunikacji naukowej
1. Ocena nauki i uczonych w
systemie komunikacji naukowej
dr hab. Marek Nahotko
V Seminarium CPI Badania naukowe,
1 Warszawa 21.11.2012
2. Trzy tendencje rozwojowe
Na rozwój nauki w kontekście komunikacji
naukowej wpływają w wielkim stopniu trzy
czynniki:
Wzrost liczby uczonych (a więc także autorów)
Wzrost liczby publikacji
Wzrost ilości i dostępności danych oraz procesów
ich przetwarzania
V Seminarium CPI Badania naukowe,
2 Warszawa 21.11.2012
3. Trzy tendencje
V Seminarium CPI Badania naukowe,
3 Warszawa 21.11.2012
4. Korelacja zjawisk
Ware 2006
V Seminarium CPI Badania naukowe,
4 Warszawa 21.11.2012
5. Wzrost liczby uczonych
Na „zwykły” rozwój nauki nakłada się wzrost publikacji
związany z publikowaniem w Sieci:
Liczba członków matematycznych towarzystw naukowych
1930 1960 1990 2010
USA 1.926 6.725 25.623 29.000
Polska 216 555 - 1.900
Redukcja barier publikowania i dystrybucji.
Ocena po opublikowaniu, a nie przed.
Zacieranie różnic między uczonym a amatorem:
Dostępność narzędzi do analizy danych, jak Many Eyes
i Google Maps i pakietów statystycznych, jak STATA;
Dostępność platform współpracy, jak Walkaround,
Google Docs.
V Seminarium CPI Badania naukowe,
5 Warszawa 21.11.2012
7. Wzrost liczby publikacji
Fragmentacja wyników badań:
Dotąd: „Work. Finish. Publish” (Faraday) lub
„Publish or Perish” (Harnad) – recenzowany artykuł
„złotym standardem” publikowania;
Teraz: wiele mniejszych, mniej formalnych form
publikowania (blogi, twitty, raporty).
„Płynna” nauka: syndrom „beta wersji” – wyniki
rozpowszechniane jako drafty, dla zebrania uwag
i dalszej modyfikacji; rozwój open science i jej
nowych narzędzi.
V Seminarium CPI Badania naukowe,
7 Warszawa 21.11.2012
8. Wzrost ilości danych i przetwarzania
Łatwiejszy dostęp do danych (np. rządowych).
Znaczny wzrost podaży danych, w tym nieoficjalnych.
Olbrzymie zasoby danych oficjalnych i nieoficjalnych
do potencjalnego wykorzystania w badaniach
naukowych.
Problemy: dane o krótkotrwałej wartości, bardzo
szczegółowe, dane na poziomie mikro: osobiste,
instytucjonalne.
Nowe metody badań: data mining, odszukiwanie
korelacji między danymi w heterogenicznych bazach
danych, zamiast tradycyjnych eksperymentów.
V Seminarium CPI Badania naukowe,
8 Warszawa 21.11.2012
9. Konieczność selekcji
Wielkie ilości danych i publikacji zmuszają do
poszukiwań nowych sposobów dostępu do nich.
Potrzeba wiarygodnych serwisów filtrujących
treści.
Filtracja oparta na reputacji:
Reputacja jako czynnik ściągający uwagę,
zapewniający uznanie i źródła finansowania;
Niezbędne łączenie czynników ilościowych i
jakościowych;
Powstają zewnętrzne systemy dynamicznej
ewaluacji reputacji uczonych, m.in. na podstawie
danych z Sieci (ImpactStory, ScienceCard).
V Seminarium CPI Badania naukowe,
9 Warszawa 21.11.2012
10. Autorytety kognitywne
Autorytety kognitywne to ludzie (ale także teksty i
instrumenty), których osądom ufamy w określonej
sytuacji lub sprawie.
Bycie autorytetem kognitywnym zależy od wielu
czynników, w tym od rodzaju odbiorców (sieci
praktyk).
Sposoby określania poziomu autorytetu tekstu:
Przejęcie autorytetu od osób odpowiedzialnych za tekst
(autorzy, redaktorzy, recenzenci);
Historia tekstu: np. publikacja przez prestiżowe
wydawnictwo w prestiżowym czasopiśmie, afiliowanym
w prestiżowym stowarzyszeniu;
Przydatność dla użytkownika: przedstawianie ważnych
idei w dobrze sformułowany sposób.
V Seminarium CPI Badania naukowe,
10 Warszawa 21.11.2012
11. System reputacji
Tworzenie autorytetów kognitywnych:
Reputacja uczonego
Reputacja instytucji naukowej, zatrudniającej
uczonych
Reputacja w działalności wydawniczej (czasopisma,
redakcji, wydawcy)
V Seminarium CPI Badania naukowe,
11 Warszawa 21.11.2012
12. Reputacja uczonego
Pozycja uczonego budowana poprzez wiele
czynników: wskaźników ilościowych,
jakościowych: reputacji, „widzialności” i „wpływu”
w otoczeniu.
Reputacja uzyskiwana w środowisku otwartym –
potrzeba uzyskania szerszej publiczności; ryzyko
przedostawania się teorii popularnych, ale mało
naukowych.
Szczególna potrzeba oceny uczestników badań w
otwartych inicjatywach współpracy naukowej.
V Seminarium CPI Badania naukowe,
12 Warszawa 21.11.2012
13. Reputacja uczonego
V Seminarium CPI Badania naukowe,
13 Warszawa 21.11.2012
14. Reputacja uczonego
V Seminarium CPI Badania naukowe,
14 Warszawa 21.11.2012
15. Reputacja uczonego
V Seminarium CPI Badania naukowe,
15 Warszawa 21.11.2012
20. Przydatność oceny publikacji
W świecie druku kontrola jakości niezbędna dla
wydawców w celu selekcji materiałów do druku w
sytuacji nadmiaru podaży tekstów w stosunku do
możliwości technicznych i ekonomicznych.
Kontrola jakości dla uczonych ma różne
znaczenie – np. w trakcie komunikacji
nieformalnej między specjalistami podobnego
poziomu i specjalizacji jest w ogóle zbędna.
Kontrola przydatna dla urzędników
podejmujących decyzje o przyznawaniu funduszy
itp. celów.
V Seminarium CPI Badania naukowe,
20 Warszawa 21.11.2012
21. Ocena tradycyjna
Przed opublikowaniem:
Brak oceny (stosunkowo częste dla mat.
konferencyjnych);
Przegląd dokonywany przez redaktora lub zespół
redakcyjny;
Recenzowanie realizowane w różnych wariantach.
Po opublikowaniu: cytowania.
Sposoby te pozostają „w długim cieniu
Oldenburga”.
V Seminarium CPI Badania naukowe,
21 Warszawa 21.11.2012
22. Nowe formy oceny
Powstały formy oceny typowe dla środowiska
elektronicznego.
Ocena dokonywana przed opublikowaniem.
Ocena dokonywana po opublikowaniu.
Ocena na każdym etapie badań.
V Seminarium CPI Badania naukowe,
22 Warszawa 21.11.2012
23. Ocena przed opublikowaniem
Recenzowanie otwarte (komentarze) tekstów
zamieszczanych w Sieci przed oficjalnym
opublikowaniem – możliwość oceny oceniających,
co pozwala uzyskiwać im reputację.
Systemy mieszane, łączące recenzowanie
tradycyjne z komentowaniem; ostateczna wersja
powstaje na podstawie uwag z recenzji,
komentarzy i modyfikacji autora.
V Seminarium CPI Badania naukowe,
23 Warszawa 21.11.2012
24. Ocena po opublikowaniu
Komentarze i adnotacje po opublikowaniu (PLoS,
Annotea, Faculty of 1000).
Zakładki do stron publikacji naukowych (Zotero,
CiteUlike, Connotea, Mendeley).
Punktowanie przez czytelników (Digg, PLoS).
Ocena stopnia wykorzystania publikacji: metody
webometryczne:
Liczba dostępów (otwarcia: ilość, czas,
skopiowania, wydruku);
Cytowania (bibliografie, hiperlinki).
V Seminarium CPI Badania naukowe,
24 Warszawa 21.11.2012
25. A.nnotate
V Seminarium CPI Badania naukowe,
25 Warszawa 21.11.2012
26. Komentarze – scholarly skywriting
V Seminarium CPI Badania naukowe,
26 Warszawa 21.11.2012
27. Komentarze
V Seminarium CPI Badania naukowe,
27 Warszawa 21.11.2012
28. Komentarze
V Seminarium CPI Badania naukowe,
28 Warszawa 21.11.2012
29. Wady komentarzy
Mała popularność tej metody oceny:
Brak gotowości do publicznej krytyki ze strony
uczonych;
Komentarze nie uwzględniane w dorobku.
Zasada 90-9-1:
90% zainteresowanych tylko obserwuje,
9% bierze skromny udział,
tylko 1% bierze aktywny udział.
V Seminarium CPI Badania naukowe,
29 Warszawa 21.11.2012
30. Komentarze – inaczej? – reddit.com
V Seminarium CPI Badania naukowe,
30 Warszawa 21.11.2012
31. F1000: rekomendacje i punktowanie
V Seminarium CPI Badania naukowe,
31 Warszawa 21.11.2012
32. Ocena: recenzowanie
V Seminarium CPI Badania naukowe,
32 Warszawa 21.11.2012
38. Ocena na każdym etapie badań
V Seminarium CPI Badania naukowe,
38 Warszawa 21.11.2012
39. Wnioski
Jakość publikacji naukowych nie zależy od medium,
w jakim są publikowane.
Zasadnicze znaczenie ma dostępność danych w
środowisku otwartym.
Potrzeba meta-serwisu dla nauki, integrującego
wszystkie miary ocen.
Nowe formy oceny jakości powodują zmianę od
preselekcji do publikacji ku opiniom środowiska po
opublikowaniu.
Wzrost jawności oceny.
Czas jednym z najważniejszych czynników
wpływających na sposób prowadzenia kontroli.
V Seminarium CPI Badania naukowe,
39 Warszawa 21.11.2012
40. Dziękuję za uwagę!
marek.nahotko@uj.edu.pl
V Seminarium CPI Badania naukowe,
40 Warszawa 21.11.2012
