Your SlideShare is downloading. ×
Newsletter 2008 02
Newsletter 2008 02
Newsletter 2008 02
Newsletter 2008 02
Newsletter 2008 02
Newsletter 2008 02
Newsletter 2008 02
Newsletter 2008 02
Newsletter 2008 02
Newsletter 2008 02
Newsletter 2008 02
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×
Saving this for later? Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime – even offline.
Text the download link to your phone
Standard text messaging rates apply

Newsletter 2008 02

443

Published on

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
443
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
3
Comments
0
Likes
0
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. newsletter apríl 2008 | číslo 2 | ročník 2 Editorial téma čísla Hodnotenie kvality výskumu a akreditáciaústavov SAV sa uskutočňujú pravidelne od roku1992. V roku 2005 sa vedenie a zastupiteľské Komplexnáorgány pracovníkov SAV rozhodli uskutočniťpodrobnejšie a hlbšie hodnotenie výskumnejpráce ústavov SAV. Tento ambiciózny pokus sa akreditácia ústavov SAV v roku 2007uskutočnil v roku 2007. Stál nemálo práce a ná-mahy. Obdivuhodné je to, že na hodnotení kva-lity výskumu sa zúčastnili všetky ústavy SAV. V úvodnom článku tohto čísla ARRA ne-wslettra podáva Peter Samuely, predseda Akre-ditačnej komisie SAV, prehľad o histórii hod-notenia ústavov SAV a o koncepcii komplexnejakreditácie v roku 2007. V druhom príspevku predseda Akreditačnejkomisie pre I. oddelenie vied SAV Štefan Olejníkhovorí o niektorých podrobnostiach akreditácietohto oddelenia a o výsledkoch. Sme veľmi radi, že v treťom príspevku Ka-rol Iždinský, ktorý bol predsedom Snemu SAVv čase, keď komplexná akreditácia prebiehala,prezentuje svoj pohľad na akreditáciu. Slová„pohľad č. 3“ v názve jeho príspevku naznačujú,že tento pohľad bude trocha iný ako prvé dvapríspevky. Ďakujeme mu za alternatívny pohľad,pretože takéto pohľady pomáhajú odstrániť exis-tujúce problémy, stimulujú diskusiu a urýchľujúvývoj. Výsledky komplexnej akreditácie a zarade- v čísle nájdete Komplexné hodnotenie kvalitynie ústavov do skupín A*, A, B sa prejavia aj nafinancovaní jednotlivých ústavov. Každý mana-žér vie, že táto úloha sa rieši oveľa ľahšie v situ-ácii, keď do systému pritekajú nove prostriedky,ako keď sú prostriedky prakticky konštantné, a vedeckých organizácií SAVpritom veľmi obmedzené. autor: Peter Samuely Rozsah príspevkov v tomto čísle ARRA ne-wslettra je taký, aký zvyčajne v jednom čísle býva. strana 2Dúfame, že sa nám podarí získať aj príspevky okomplexnej akreditácii II. a III. oddelenia vied Názory a komentáreSAV a uverejníme ich čo najskôr po obdržaní včísle venovanom týmto oddeleniam. Akreditačné hodnotenie vedeckých organizácií I. oddelenia vied V roku 2007 sa uskutočnila aj evalvácia ve- SAV: Stálo to vôbec za to?, Štefan Olejník strana 5rejných vysokých škôl na Slovensku Európskouasociáciou univerzít. Výsledky boli zverejnené Akreditačné hodnotenie vedeckých organizácií SAV vzačiatkom roku 2008. Bude zaujímavé porovnať roku 2007 – pohľad č. 3, Karol Iždinský strana 8metodiku obidvoch hodnotiacich postupov aradi uverejníme príspevky k tejto tematike. Ján Pišút
  • 2. Komplexné hodnotenie uverejnila v roku 2006 aj prvé hodno- tenie ústavov SAV z oblasti prírodných, technických, lekárskych a pôdohospodár-kvality vedeckých skych vied a ich porovnanie s najlepšími fakultami slovenských VŠ a v súčasnosti pripravuje ďalšie. Bude zaujímavé porov-organizácií SAV v roku 2007 nať výsledky prístupu ARRA, založeného na sledovaní niekoľkých vybraných para- metrov (databázové publikácie a citácie, grantové zdroje, doktorandské štúdium) s komplexným hodnotením SAV, ktoré pra-doc. RNDr. Peter Samuely, DrSc. covalo s mnohonásobne bohatšou bankou údajov, ale pri jej hodnotení muselo zá-predseda Akreditačnej komisie SAV konite uplatniť subjektívny pohľad posu- dzovateľov a členov komisií (peer review). Vo svete sú bežné odborné porovnávacieHodnotenie kvality výskumu a následná akreditá- štúdie takýchto dvoch krajných prístupov hodnotenia, ktoré sú veľmi užitočné naj-cia prebieHajú v slovenskej akadémii vied od r. 1992 mä pri vylepšovaní metodiky hodnotenia.každé tri-štyri roky. sav týmto pravidelným spô-sobom Hodnotí kvalitu svojicH ústavov a snaží Zmeny oproti minulostisa skvalitňovať icH prácu a vytyčovať úloHy do Hodnotenie kvality výskumu a násled- ná akreditácia 1 prebiehajú v Slovenskejbudúcnosti. akadémii vied od r. 1992 každé tri-štyri roky. Predsedníctvo SAV, ktoré nastúpilo Slovenská akadémia vied je spolu s výskumu, na celkovú politiku krajiny v do funkcie v r. 2005, sa rozhodlo doterajšívysokými školami hlavným reprezentan- oblasti výskumu, vývoja a inovácií. Spo- systém hodnotenia výskumu v SAV inovo-tom základného a sčasti aj aplikovaného medzi krajín porovnateľných veľkosťou vať a uskutočniť komplexnú akreditáciu,výskumu na Slovensku. Pre organizácie so Slovenskom možno spomenúť Fínsko zameranú na všetky aspekty výskumu svo-takéhoto typu, čerpajúce na svoju čin- s jeho rešpektovanou agentúrou TEKES jich organizácií, zahŕňajúcu aj úroveň ma-nosť prostriedky z verejných zdrojov, je (http://www.tekes.fi/eng/tekes/). Veľmi nažmentu. Nové zásady hodnotenia bolihodnotenie kvality výskumu mimoriadne ďaleko je tiež Rakúsko, kde sa vednými vypracované Predsedníctvom SAV a jehopotrebné. Vnútri hodnotenej organizácie politikami, vrátane hodnotenia, zaoberá pomocným orgánom Akreditačnou ko-pomáha zistiť jej miesto v domácom aj viacero organizácií, ako FWF – Austrian misiou SAV, za účasti členov Snemu SAV,európskom výskumnom priestore. Navo- Science Fund (www.fwf.ac.at), Platform a boli schválené Snemom SAV v r. 2006.nok môže odpovedať na celý rad otázok, fteval – Platform Research and Techno- Doteraz najkomplexnejšia akreditáciaktoré si kladú (veríme) tí, ktorí verejné logy Policy Evaluation (www.fteval.at) a všetkých 56 vedeckých organizácií SAVzdroje spravujú, tí, ktorí chcú budovať pod. Bohužiaľ, v SR zatiaľ neexistuje veľ- prebehla v roku 2007. Pri vypracovanívedomostnú spoločnosť, a teda efektívne mi potrebný jednotný národný protokol nového systému hodnotenia sa SAV opie-investovať do výskumu a vývoja. Podobne alebo postup, ktorým by sa kvalita výsku- rala o svoj doterajší systém, ale aj o skú-ako v iných verejných sektoroch, aj tu sa mu a vývoja v jednotlivých organizáciách senosti z iných krajín EÚ. Inšpirovala saobjavuje otázka, či predtým, ako sa doň hodnotila podľa rovnakého metra. Tento britským systémom (Research Assessmentalokujú oveľa vyššie zdroje, už celý sek- stav komplikuje možnosť vytvoriť si kom- Exercise), holandským Štandardným eva-tor (VŠ, SAV, rezortný výskum) prešiel plexný obraz o stave a kvalite výskumu, luačným protokolom a hodnotením Aka-vhodnou systémovou reformou a pod. V ale aj univerzitného štúdia (minimálne démie vied ČR.krajinách OECD, ktoré majú rozhodujú- jeho tretieho stupňa) v SR. V súčasnostici podiel na výskume, vývoji a zavádzaní sa v pripravovaných dokumentoch Minis- Základné inovácie boli nasledujúce:inovácií vo svetovom hospodárstve, sa terstva školstva SR, resp. v pripravovanej 1) Hodnotenie prebehlo naraz vohodnoteniu efektívnosti výskumu a vývo- novelizácii zákona o podpore výskumu a všetkých organizáciách SAV, berúc doja venujú značné kapacity. V tejto oblasti vývoja jednotný systém hodnotenia znovu úvahy výsledky rokov 2003 až 2006, tedapracuje niekoľkotisíc odborníkov. Hod- spomína. Takéto snahy boli aj v minulos- štvorročné obdobie. To prinieslo zvýšenénotenie výskumu a vývoja vo všetkých ti, ale z rôznych dôvodov sa nenaplnili. nároky na organizáciu a logistiku procesu,aspektoch je dnes dokonca samostatnou Aktivity súkromnej Akademickej rankin- ktorý v minulosti prebiehal po častiach.vednou disciplínou s prestížnymi kon- govej a ratingovej agentúry (ARRA) po- (Ročne sa hodnotila asi tretina organizá-ferenciami (pozri napr. http://www.pra- važujem tiež za užitočný pokus priniesť cií, čo prinášalo riziko, že jednotný štan-gueforscience.cz/) a bohatou literatúrou. jednoduchý, objektívne merateľný systém 1 Pod akreditáciou sa tu myslí proces vedúciVýsledky prepracovaného systému hod- hodnotenia kvality výskum a vývoja na k oprávneniu (akreditívu) danej organizácienotenia na národnej úrovni majú rozho- Slovensku. Po hodnotení slovenských vy- vykonávať výskum z verejných zdrojov, na čo je SAVdujúci vplyv na prideľovanie zdrojov do sokých škôl (prebehlo už trikrát) ARRA ako celok zo zákona oprávnená, ale jej organizácie sa musia „akreditovať“, resp. „re-akreditovať“.2 ARRA newsletter | apríl 2008
  • 3. dard sa mohol v priebehu rokov meniť.) podrobne špecifikovaných do mnohých hodnotení. AKOV aj posudzovatelia pra- 2) Zvýšila sa špecializácia hodno- podpoložiek v excelovskom databázovom covali s akreditačnými dotazníkmi (väčši-tiacich komisií a dôraz na autonómiu súbore Questionnaire 3, ktorý obsahoval nou v anglickom jazyku) a s výročnýmiodlišných skupín vied. V novom systéme tiež základné informácie o hodnotenej správami ústavov. Keďže posudzovateliavznikli tri hodnotiace akreditačné komisie organizácií, jej organizačnej a personál- na rozdiel od členov AKOV posudzova-(AKOV), zamerané na tri oddelenia vied nej štruktúre, financovaní a pod. Orga- li len jednu organizáciu, ich referenčnéSAV, pre vedy o neživej prírode, o živej nizáciou vyplnený dotazník umožňoval hladiny, resp. nároky boli zákonite rôzne.prírode a pre spoločenské a humanitné pomerne podrobnú analýzu a normova- Preto úloha konsenzuálneho panelu, avedy. Tri oddelenia vied ešte delia organi- nie údajov. Jeho súčasťou bola tiež vízia teda aj záverečné hodnotenie organizáciezácie do troch vedných pododborov 2: organizácie na ďalšie obdobie. Ďalšie in- pripadlo AKOV, pričom posudky posu- I. oddelenie vied o neživej prírode: formácie o hodnotenej organizácii boli dzovateľov boli pre AKOV významnýmvedy o Zemi a vesmíre; matematicko-fyzi- získané zo 4 výročných správ za jednotli- ukazovateľom. Na základe celkového hod-kálne vedy a informatika; technické vedy, vé roky hodnoteného obdobia. Dotazník notenia AKOV navrhla zaradenie vedeckej II. oddelenie vied o živej prírode a aj výročné správy boli verejne prístupné organizácie do jedného z piatich stupňovchemických vedách: lekárske vedy; biolo- na webovskej stránke organizácií SAV, čo výkonnosti:gické a chemické vedy; poľnohospodárske umožňovalo nielen jednoduchý prístup,a veterinárne vedy, ale aj kontrolu zverejnených údajov. Organizácia akreditovaná v kategórii A* III. oddelenie vied o spoločnosti a kul- (80 % bodov a viac)túre: vedy o dejinách; vedy o človeku a Jednotlivé ukazovatele sa hodnotili na- Vynikajúca organizácia, v ktorej väč-spoločnosti; vedy o kultúre a umení. sledujúcimi stupňami: šia časť výskumu spĺňa medzinárodný Úlohou AKOV bolo zohľadňovať aj vynikajúco – 4 body, štandard. AKOV v takom prípade vydávašpecifiká vedných pododborov. veľmi dobre – 3 body, návrh na zaradenie organizácie s hodno- 3) Viac ako tretinu členov komisií dobre – 2 body, tiacim protokolom bez podstatných pri-AKOV tvorili odborníci mimo SAV. dostatočne – 1 bod, pomienok k činnosti organizácie a úloh nedostatočne – 0 bodov. na ďalšie obdobie. Jedným z rozhodujúcich faktorov ino-vovaného systému hodnotenia bola po- AKOV mali možnosť stanoviť si váhu Organizácia akreditovaná v kategórii Ažiadavka, aby každá samostatná vedecká jednotlivých ukazovateľov v záverečnom (60 % bodov a viac)organizácia, bez ohľadu na jej vedné zame- hodnotení. AKOV-I pridelil všetkým Veľmi dobrá organizácia s niektorýmiranie, zdokumentovala plnenie siedmich siedmim ukazovateľom rovnakú váhu, no výskumnými skupinami na medzinárod-ukazovateľov, resp. siedmich „vitálnych AKOV-II a AKOV-III preferovali ukazo- nej úrovni. AKOV v takom prípade vydá-činností“, ktorými si zabezpečuje miesto vatele základného výskumu, najmä rozsah va návrh na zaradenie organizácie s hod-v slovenskom a európskom výskumnom a kvalitu publikačnej činnosti. AKOV sa notiacim protokolom, v ktorom uvediepriestore. Úlohou troch 12-členných tiež pokúsili stanoviť orientačné požia- pripomienky k činnosti organizácie.AKOV bolo vyhodnotiť organizáciu podľa davky v jednotlivých ukazovateľoch natýchto siedmich ukazovateľov. stupeň „dobre“, pričom mali k dispozícií Organizácia akreditovaná k kategórii B rôzne analýzy, ako sú napr. mediány im- (40 % bodov a viac) Sedem základných ukazovateľov: pakt-faktorov svojich vedných odborov Organizácia s prevažne dobrými ve- 1. hodnotenie počtu a kvality vedec- a pododborov (zo zdrojov, ako je Web of deckými výsledkami, ktoré ale nedosa-kých publikácií, Science) a pod. hujú medzinárodný štandard. AKOV v 2. hodnotenie ohlasov na vedecké Keďže 12 odborníkov, členov AKOV, takom prípade vydáva návrh na zaradeniepublikácie (tieto údaje sú prístupné z nepokrylo všetky vedné odbory v hod- organizácie s hodnotiacim protokolom, vmedzinárodných databáz, ako je Web of notených organizáciách, mala každá or- ktorom uvedie výhrady k činnosti organi-Science), ganizácia od AKOV pridelených troch zácie formou pripomienok a konkrétnych 3. dokumentovanie postavenia organi- posudzovateľov-špecialistov. Minimálne úloh, ktoré musí organizácia splniť dozácie v európskom kontexte, dvaja z týchto posudzovateľov boli zo za- ďalšieho pravidelného hodnotenia. 4. získavanie grantových prostriedkov, hraničia, pričom jeden bol z krajín V4 anajmä z medzinárodných a zahraničných jeden zo „starých“ krajín Európskej únie. Organizácia akreditovaná v kategórii Czdrojov, Posudzovatelia vypracovali písomné po- (20 % bodov a viac) 5. výchova doktorandov a pedagogický sudky do jednotne koncipovaného for- Organizácia s prevažne slabými vedec-proces, mulára, vyjadrili sa v nich k jednotlivým kými výsledkami. AKOV v takom prípade 6. aplikácie výsledkov v praxi a popu- ukazovateľom s cieľom zaradiť organizácie vydáva návrh na zaradenie organizácie slarizácia, do európskeho rebríčka kvality. Vzniklo hodnotiacim protokolom, v ktorom uve- 7. manažment a rozvoj vlastnej in- tak 168 štruktúrovaných posudkov pre die výhrady k činnosti organizácie for-fraštruktúry. 56 posudzovaných organizácií, ktoré boli mou pripomienok a konkrétnych úloh, Sedem základných ukazovateľov bolo východiskom AKOV pri kvalifikovanom ktoré musí organizácia plniť pred ďalším pravidelným hodnotením. AKOV postúpi2 Medzinárodne uznávaný Frascati manuál klasi- 3 Slovenskú verziu dotazníka možno nájsť na návrh na zaradenie s hodnotiacim proto-fikuje 6 základných vedných odborov a 20 podod- adrese http://www.sav.sk/uploads/d0070806865/ kolom P SAV a odporučí ďalší postup.borov. Quest_sk.pdfARRA newsletter | apríl 2008 3
  • 4. Organizácia neakreditovaná – kategória SAV, ktoré ich akceptovalo a zaslalo hod- podrobne kvantifikované (počty CC pub-D (menej ako 20 % bodov) noteným organizáciám spolu s podrobný- likácií, počty autorských hárkov v mo- Organizácia, ktorá neplní úlohy ulo- mi protokolmi, ktoré obsahovali analýzu nografiách, počty citácií, počty vysokožené zriaďovacou listinou. AKOV v ta- výsledkov a návrhy na prípadné zmeny. citovaných publikácií, získané projektovékom prípade vydáva návrh na zaradenie zdroje a pod., a toto všetko v rôznych nor-organizácie s hodnotiacim protokolom, v V priebehu októbra 2007 mali orga- movaniach: per capita, na mzdový fond aktorom uvedie dôvody neodporúčať pod- nizácie možnosť odvolania sa voči výsled- pod.). Takáto kombinácia mala zaručiť čoporovanie ďalšej činnosti organizácie. kom hodnotenia. Organizácie zaslali cel- najväčšiu objektívnosť výsledku. Samo- kovo 8 odvolaní. Akreditačná komisia sa zrejme, nastavenie systému malo mnoho V priebehu dvoch mesiacov, od 15. s AKOV dohodli na jednotnom postupe voľných parametrov a jeho výsledný tvarmája do polovice júla 2007, prebehli pre- pri prerokovaní odvolaní. Tento postup bol kompromisom vzniknutým v mno-zenčné hodnotenia všetkých organizácií. akcentoval najmä potrebu prerokovať tie hých diskusiách v P SAV, Sneme SAV aNa hodnoteniach sa zúčastnili členovia základné ukazovatele, v ktorých sa hod- jeho komorách, AK SAV, ale aj na špeciál-akademickej obce hodnotenej organi- notená organizácia cítila nedocenená, a nych fórach k tomu zvolaných v prípravnejzácie, členovia AKOV, posudzovatelia, zvážiť, či existujú relevantné argumenty, fáze. V takej zložitej a kontroverznej zále-zástupcovia oddelení vied a Snemu SAV. na ktoré AKOV nebrala ohľad už pri pô- žitosti, ako je hodnotenie kvality vedeckejHodnoteniu väčšiny organizácií bol ve- vodnom hodnotení. Pri tomto postupe sa práce, je vždy mnoho protichodných ná-novaný jeden deň. Napriek náročnosti ukázala vysoká konzistentnosť postojov zorov. Z mnohých sporných otázok spo-celej akcie sa dosiahla vysoká účasť, ktorá AKOV, ktoré po veľmi podrobnom prero- meniem len jeden príklad: spojenie popu-svedčí o veľkom záujme o hodnotenie v kovaní odvolaní trvali na svojom pôvod- larizačných aktivít a aplikácií do jednéhoradoch všetkých zainteresovaných. Účasť nom stanovisku v 7 odvolaniach. Jedine v ukazovateľa. V prospech tohto spojenia sačlenov AKOV bola 77 % a účasť posudzo- prípade odvolania sa Ústavu ekológie lesa argumentovalo tým, že každá organizáciavateľov zo všetkých kútov Európy až 84 SAV, AKOV-II zvýšila hodnotenie v uka- musí ukázať „daňovému poplatníkovi“%. V priebehu júla a augusta 2007 AKOV zovateli „2. Ohlasy na vedecké publiká- svoju užitočnosť. Ak má možnosť, dokáževyhodnotili celý proces. Navrhli zaradiť cie“, čo viedlo následne k návrhu zaradiť to cez aplikáciu svojich výsledkov v praxi,organizácie do troch z piatich možných ústav do kategórie A. Poznamenávam, že ak nie, tak popularizáciou svojej hlavnejvýkonnostných stupňov a vypracovali tento ústav bol zo všetkých hodnotených vedeckej činnosti. V neprospech spojeniapodrobné hodnotiace protokoly, ktoré ústavov SAV najbližšie ku hranici medzi sa uvádzalo, že ide o málo porovnateľnédeklarujú silné a slabšie stránky organizá- kategóriami. činnosti, popularizovať sa požaduje odcie a navrhujú prípadné zmeny. každého, ale absencia aplikácií sa nieko- P SAV po odvolaniach rozdelilo or- mu jednoducho a ľahko „odpustí“ kvôli Ku konkrétnym výsledkom: AKOV ganizácie SAV takto: jeho zameraniu.rozdelili 56 vedeckých organizácií SAV do A*: 15 organizácií Mimoriadne náročný problém v celom3 výkonnostných kategórií. Skonštatovali, A : 33 organizácií svete predstavuje hodnotenie spoločen-že po dôkladnej reforme, vrátane zrušenia B : 8 organizácií ských a humanitných vedných disciplín.desiatich organizácií v deväťdesiatych ro- Tie – na rozdiel od prírodných, technic-koch minulého a začiatkom tohto storo- Finančné dopady akreditácie kých, či lekárskych vied –nemajú ani zďa-čia, nie sú už v SAV organizácie, ktoré by Predsedníctvo SAV zohľadní výsledky leka tak podrobne rozvinutý databázovýnemohli súťažiť v európskom výskumnom komplexného hodnotenia vo finančnej systém, akými sú Web of Knowledge čipriestore. bonifikácii úspešnejších organizácií. Po Scopus, ktoré sú skôr „šité“ na hodno- schválení Zásad rozdelenia rozpočtu SAV tenie vyššie spomínaných odborov. Ako Komisie dospeli k záveru, že: pre rok 2008 Snemom 19. 12. 2007 sa malý bonmot poznamenávam, že samot- - 15 organizácií možno označiť ako or- počíta so zvýšením mzdového fondu ústa- né hodnotenie vedeckej činnosti je oveľaganizácie kategórie A*; vu kategórie A* o sumu do 4 %, čo zod- viac spoločenská než prírodovedecká dis- - 32 organizácií patrí do kategórie A; povedá jednej ročnej valorizácii vo verej- ciplína, čo nepochybne skomplikuje jeho - 9 organizácií patrí do kategórie B. nom sektore, so zvýšením prideľovaných „metaanalýzu“. Ale nič iné nám neostáva, bežných výdavkov na tovary a služby o 10 ako sa s touto úlohou vyrovnať. Prišiel čas Činnosť troch komisií AKOV koor- až 20 % a s priorizáciami v kapitálových celý systém vyhodnotiť. AKOV spracova-dinovala centrálna Akreditačná komisia, zdrojoch. li veľké množstvo údajov a analýz, ktorézložená z vybraných členov AKOV, pri- ponúkajú do diskusie. Tá by mala uká-čom jej predsedom bol člen Predsedníc- Analýza systému komplexného hod- zať, nakoľko je použitý systém robustný,tva SAV zodpovedný za priebeh celého notenia t. j. ako je celkový výsledok toho-ktoré-hodnotiaceho a akreditačného procesu. Komplexné hodnotenie kvality ve- ho hodnoteného pracoviska odolný vočiÚlohou AK SAV okrem vypracovania ce- deckých organizácií SAV v r. 2007 bolo zmene v systéme, spojeniu, či rozdeleniulej metodiky bolo tiež dohliadať na do- založené na kombinácii dvoch prístupov, niektorého parciálneho parametra a pod.držanie rovnakej náročnosti hodnotenia tzv. peer review, teda posudku kvalifiko- O čo bude záujem vedeckých pracovníkovvo všetkých troch vedeckých oddeleniach vaných kolegov (členov AKOV a posu- o takúto diskusiu väčší, o to bude užitoč-SAV. AK podporila návrhy jednotlivých dzovateľov), a hodnotení 7 parciálnych nejšia a o to viac môže poslúžiť zlepšova-AKOV a predložila ich na schválenie P ukazovateľov, pričom niektoré z nich boli niu vedeckej kultúry v celej spoločnosti.4 ARRA newsletter | apríl 2008
  • 5. Akreditačné hodnotenie dobre“) mal zodpovedať medzinárodnému štandardu. Ich hodnotenie bolo v priemere veľmi vysoké (3,11) a malo len malý rozptylvedeckých organizácií (od 2,75 po 3,33). Komisia tak profitovala oveľa viac zo slovných komentárov a pripo- mienok posudzovateľov ako z číselných hod-I. oddelenia vied SAV: notení. Pri príprave pravidiel akreditácie bola diskutovaná otázka, či by posudzovatelia ne- mali navštíviť hodnotené ústavy ešte pred na- písaním svojho posudku. Komisia však veľmiStálo to vôbec za to? často získala užitočné postrehy o činnosti or- ganizácií práve od tých posudzovateľov, ktorí s organizáciami nemali v minulosti žiadnu skúsenosť a hodnotili dosiahnuté výsledky a plány do budúcnosti iba na základe akredi- tačných podkladov a vlastných predstáv. Prí- padné nepresnosti v posudkoch, ktoré boliŠtefan Olejník zapríčinené nedostatočnou znalosťou reálnejFyzikálny ústav SAV situácie výskumu v SR, boli prediskutované počas návštevy pracovísk.a predseda Akreditačnej komisie I. OV SAV Prezenčné hodnotenia vedeckých orga- nizácií I. OV SAV sa uskutočnili v období od polovice mája do júla 2007. V 12 z 15 ústavov boli na prezenčných hodnoteniach“akreditácia vedeckýcH organizácií sav v roku prítomní všetci traja posudzovatelia, vo zvyš-2007 si vyžiadala nemalé úsilie všetkýcH zain- ných 3 ústavoch boli prítomní po dvaja po- sudzovatelia. Vysoká bola aj prezencia AKO-teresovanýcH: členov akreditačnýcH komisií, V-I na zasadnutiach. Účasť členov s právomposudzovateľov, predsedníctva sav, manažmentu hlasovacím bola v priemere takmer 78-per-a pracovníkov HodnotenýcH organizácií. stála centná. Komisia sa podrobne oboznámila s činnosťou organizácie, navštívila vybrané od-tiež nemalé finančné prostriedky. výsledky Hod- delenia, pracoviská a/alebo laboratóriá, dis-notenia v i. oddelení vied sav sa pritom výrazne kutovala s vedením organizácií, pracovníkminelíšia od týcH, ktoré vzišli z predcHádzajúcej a posudzovateľmi. Špeciálna pozornosť bola venovaná diskusii, keď posudzovatelia použiliakreditácie. otázka v nadpise je teda na mieste. odlišnú referenčnú úroveň a ich hodnoteniaanalýzou výsledkov v i. oddelení vied sav sa sa výrazne líšili.pokúsim zHromaždiť niekoľko argumentov pre Vzhľadom na malý rozptyl v hodnote- niach posudzovateľov dôležitú úlohu prikladnú odpoveď.” hodnotení organizácií zohrala AKOV-I. Pri záverečnom hodnotení komisia vychádzala: Hodnotenie vedeckých organizácií I. OV I. Priebeh a výsledky hodnotenia 1. zo štandardizácie jednotlivých parciál-SAV prebehlo podľa ustanovení „Zásad pra- Jedným z hlavných podkladov k akre- nych indikátorov,videlného hodnotenia organizácií SAV“. Tie ditačnému hodnoteniu boli jednotné akre- 2. z posudkov externých posudzovateľov,sa nerodili ľahko, peripetie ich vzniku, ako aj ditačné dotazníky. Tie spoločne s textami z ich bodového a slovného hodnotenia,pravidlá akreditácie boli načrtnuté v príspev- záverečných správ za jednotlivé roky hodno- 3. z vlastných poznatkov z návštev v ústa-ku predsedu AK SAV doc. Samuelyho. teného obdobia poskytli posudzovateľom a voch a z diskusií s posudzovateľmi, I. oddelenie vied SAV – oddelenie vied o komisii informácie o činnosti hodnotených 4. z komplexného porovnania podkladovneživej prírode – tvorí 15 vedeckých organi- organizácií. Pre každú organizáciu boli vybra- v akreditačných dotazníkoch.zácií, ktoré spadajú do troch skupín: vedy o tí traja posudzovatelia: jeden bol z vedeckého Vzhľadom na odlišný charakter výskumu,Zemi a vesmíre, matematicko-fyzikálne vedy pracoviska na Slovensku, jeden z krajín tzv. publikačné zvyklosti a možnosti, možnostia informatika, technické vedy. Organizácie Višegrádskej štvorky okrem SR (t. j. z Českej získavania prostriedkov z externých zdrojovhodnotila Akreditačná komisia I. OV SAV republiky, Maďarska alebo Poľska) a jeden z v troch skupinách vied I. OV sa komisia tiež(AKOV-I), ktorú tvorili 8 pracovníci z ústa- pôvodných („starých“) krajín Európskej únie usilovala prihliadať na špecifiká jednotlivýchvov I. OV a 4 externí členovia (po jednom z (mimo V4). V dvoch prípadoch bol miesto vedných odborov.STU v Bratislave, TnUAD v Trenčíne, TU slovenského posudzovateľa vybratý posudzo- Bodovanie jednotlivých parciálnych in-a UPJŠ v Košiciach), pričom každá skupina vateľ z ČR. dikátorov činnosti vedeckých pracovísk savied mala v AKOV-I po 4 zástupcoch. Ex offo Posudzovatelia mali hodnotiť bodmi od uskutočnilo po skončení všetkých prezenč-boli členmi bez hlasovacieho práva podpred- 0 po 4 iba parciálne indikátory č. 1 až 4 (po- ných hodnotení v ústavoch na zasadnutíseda SAV pre I. OV a predseda I. komory zri príspevok doc. Samuelyho alebo nadpisy AKOV-I v júli 2007. Výsledky zhŕňa tabuľkaSnemu SAV. stĺpcov v tabuľke 1), pričom stupeň 3 („veľmi 1 a obrázok 1.ARRA newsletter | apríl 2008 5
  • 6. Výsledky bodovania Pri pozornom pohľade na obrázok by Obrázok 1. Výsledky bodovaniamalo byť zrejmé, že v rozdelení ústavov sa pri- 0,00 20,00 40,00 60,00 80,00 100,00rodzene črtajú tri skupiny, ktoré zodpovedajú Fyzikálny ústavzaradeniu do stupňov A* (spolu 5 ústavov), A Elektrotechnický ústav(6 ústavov) a B (4 ústavy). Z tohto rozdele- Ústav experimentálnej fyzikynia sa mierne vymykajú iba dva ústavy: geo- Matematický ústavlogický medzi 1. a 2. skupinou a geofyzikálny Astronomický ústavblízko hranice medzi 2. a 3. skupinou. Geologický ústav AKOV-I po hodnotení tiež vypracovala Ústav materiálov a mechaniky strojov Ústav materiálového výskumuhodnotiace protokoly, v ktorých zhrnula bo- Ústav stavebníctva a architektúrydové a sformulovala stručné slovné hodnote- Ústav informatikynie všetkých ústavov, ďalej celkové hodnotenie Ústav geotechnikya – podľa zaradenia ústavu do akreditačného Geofyzikálny ústavstupňa – zoznam odporúčaní, pripomienok Geografický ústavalebo konkrétnych úloh, ktoré by sa mali re- Ústav meraniaalizovať do ďalšieho hodnotenia. Ústav hydrológie AK SAV postúpila návrhy na zaradenie % max. počtu bodovorganizácií do hodnotiacich stupňov spoloč-ne s hodnotiacimi protokolmi Predsedníctvu Tabuľka 1. Výsledky bodovania parciálnych indikátorov Ústavy I. OV sú zoradené podľa abecedy, skratka v zátvorke označuje skupinu: ZV – vedy o Zemi a vesmíre, MFI –SAV, ktoré ich schválilo na zasadnutí dňa 2. matematicko-fyzikálne vedy a informatika, TV – technické vedy. Žltá farba zvýrazňuje hodnotenie zodpovedajúce10. 2007. Proti svojmu zaradeniu sa v sta- kategórii A*, bledožltá kategórii A, bledošedá kategórii B, šedá kategórii C.novenom termíne odvolal iba jediný ústav I. 1 2 3 4 5 6 7OV, jeho odvolanie však P SAV zamietlo. Spoločenské výstupy (aplikácie, Projektová štruktúra, výskumné medzinár. a domácom kontexte Organizácia doktorand. štúdia, Infraštruktúra a manažment Ohlas vedeckých výstupov granty a iné zdroje financií Vedecké postavenie v iné pedagog. aktivity II. Analýza výsledkov hodnotenia Akreditačný stupeň Vedecké výstupy % z max. počtu popularizácia) Užitočné a poučné je podrobiť výsledkybodovania komisie podrobnejšej analýze. SpoluTakáto analýza vždy predstavuje určitú hrus číslami a vyžaduje si ich osobnú interpre-táciu, usiloval som sa však, aby závery bolipodložené dostatočne presvedčivými argu-mentmi.1 Organizácia I. OV SAV Z analýzy výsledkov vyplynulo viacero Astronomický ústav (ZV) 3,55 3,18 3,18 2,64 2,82 4,00 3,55 22,91 81,82 A* Elektrotechnický ústav (TV) 3,82 3,55 3,73 4,00 3,36 2,82 3,64 24,91 88,96 A*zaujímavých skutočností: Fyzikálny ústav (MFI) 3,91 4,00 3,73 3,82 3,09 3,18 3,27 25,00 89,29 A* 1. Žiaden ústav nepatrí všetkými indiká- Geofyzikálny ústav (ZV) 1,64 2,09 2,27 2,64 2,55 3,09 2,27 16,55 59,09 Btormi do rovnakej kategórie, aj organizácie Geografický ústav (ZV) 2,09 1,73 2,36 1,55 1,91 3,00 2,73 15,36 54,87 Bs výsledným hodnotením A* majú rezervy a Geologický ústav (ZV) 3,00 3,55 3,09 2,82 2,82 2,91 3,00 21,18 75,65 Adosahujú aspoň v jednom indikátore iba úro- Matematický ústav (MFI) 3,82 3,55 3,36 2,45 3,91 3,00 3,09 23,18 82,79 A*veň A; naopak, ústavy zaradené do stupňa B Ústav experimentálnej fyziky (MFI) 3,91 4,00 3,73 3,45 3,27 2,91 3,27 24,55 87,66 A*vo viacerých indikátoroch dosahujú vyššiu Ústav geotechniky (TV) 2,45 2,55 2,00 3,27 2,82 2,00 2,55 17,64 62,99 A Ústav hydrológie (ZV) 1,91 1,55 2,09 2,64 2,18 2,27 2,45 15,09 53,90 Búroveň. Výsledné zaradenie zodpovedá zara- Ústav informatiky (MFI) 1,91 1,55 3,00 3,82 2,36 2,64 2,82 18,09 64,61 Adeniu vo väčšine parciálnych indikátorov. Ústav materiálov a mechaniky strojov (TV) 2,09 2,36 2,82 3,82 2,27 2,91 3,00 19,27 68,83 A 2. V jednotlivých parciálnych indikáto- Ústav materiálového výskumu (TV) 2,73 2,36 2,82 2,91 2,73 2,55 2,82 18,91 67,53 Aroch získali najvyššie hodnotenie výlučne Ústav merania (TV) 1,64 1,73 2,00 2,45 2,45 2,55 2,36 15,18 54,22 Bústavy kategórie A*, pričom každý z nich bol Ústav stavebníctva a architektúry (TV) 2,82 2,64 2,73 2,82 2,00 2,73 2,64 18,36 65,58 Anajlepší aspoň v jednom parciálnom indiká-tore. Naopak, ústavy kategórie B mali spravi- Tabuľka 2. Koeficient korelácie výsledného hodnotenia s parciálnymi indikátormidla po dve umiestnenia na najnižšej pozícii. Presnú definíciu korelačného koeficientu a diskusiu jeho vlastností možno napr. nájsť vo Wikipedii, pozri http:// en.wikipedia.org/wiki/Correlation. Zjednodušene: ak je absolútna hodnota koeficientu pod 0,3, je korelácia slabá, 3. Pozoruhodná bola pomerne vysoká strednej korelácii zodpovedá koeficient s absolútnou hodnotou od 0,3 po 0,5; silnú koreláciu indikuje hodnota nad 0,5.zhoda v hodnotení členov AKOV-I. Nebola Interpretácia silnej/slabej korelácie však závisí aj od kontextu a počtu údajov.však úplná; nielen posudzovatelia, aj členovia 1 2 3 4 5 6 7AKOV-I mali latku hodnotenia posadenú na Spoločenské výstupy ( aplikácie, Vedecké postavenie v medzinár. Projektová štruktúra, výskumné Organizácia doktorand. štúdia, Infraštruktúra a manažmentrôzne vysokej úrovni. Napriek odlišnostiam Ohlas vedeckých výstupov granty a iné zdroje financií a domácom kontexte iné pedagog. aktivityvšak bol zrejmý vysoký stupeň konsenzu Vedecké výstupy popularizácia)pri všetkých ústavoch, ktoré patria výslednedo kategórie A*, resp. B; to tiež dokumen-1 Úplný text analýzy s tabuľkami a obrázkami jedostupný na webstránkach SAV: http://www.sav.sk/uploads/d0081731470/sprava_AKOV1_pre_PSAV.pdf. Koeficient korelácie 0,944 0,935 0,946 0,525 0,790 0,495 0,9026 ARRA newsletter | apríl 2008
  • 7. Obrázok 2. Závislosť bodového zisku pridŕžali pokynov v hodnotiacom formulári, 100 resp. chybne interpretovali údaje v akreditač- ných materiáloch. Posuny smerom nahor alebo nadol však neboli iba výsledkom singulárneho hodnote- nia jedného alebo niekoľkých členov AKO- % bodov z indikátorov B1 až B4 80 V-I, ale aj v nich bol zrejmý značný konsen- zus. III. Všeobecnejšie závery z akreditačné- 60 ho procesu Z procesu hodnotenia činnosti organizá- cií I. OV SAV za r. 2003 – 2006 vyplynulo niekoľko všeobecnejších záverov. Stručne zhr- niem tie, ktoré ešte neboli uvedené vyššie: 40 40,00 60,00 80,00 100,00 1. Rozdiely v priemernej výkonnosti me- % bodov z indikátorov B1 až B7 dzi ústavmi sú menšie ako rozdiely medzi jednotlivcami a skupinami v rámci jednot- livých ústavov. Vo väčšine pracovísk I. OVtuje robustnosť výsledkov hodnotenia voči tabuľku 2), že celkový bodový zisk ústavov zo SAV jadro najlepších výsledkov a ohlasovodchýlkam v hodnotení posudzovateľov a všetkých 7 hodnotených indikátorov bol iba produkuje relatívne malá časť výskumnýchprípadným chybám v bodovaní niektorých stredne korelovaný s indikátormi č. 6 (spo- pracovníkov. V riešení tohto problému tkvieindikátorov. ločenské výstupy) a 4 (projektová štruktúra); silný rozvojový potenciál. 4. Najvyšší priemerný rozptyl v hodnote- naopak, veľmi silná bola korelácia s indiká- 2. Priemerný vek tvorivých pracovníkovní členov komisie sa vyskytol v prípade Geo- tormi č. 3 (vedecké postavenie), 1 (vedecké vo väčšine ústavov je vysoký a počet dokto-grafického ústavu SAV a Ústavu informatiky výstupy) a 2 (ohlas), o niečo slabšia s č. 7 randov a postdoktorandov je nízky. ProblémSAV. Domnievam sa, že to možno pripísať (infraštruktúra a manažment), ešte slabšia s nedostatku doktorandov je sčasti zapríčinenýproblematickému zaradeniu týchto pracovísk indikátorom č. 5 (organizácia doktorandské- nedostatočným záujmom vysokých škôl odo I. OV SAV, resp. do skupín v rámci I. OV ho štúdia). Výsledok sa dá interpretovať tak, spoluprácu s ústavmi SAV, nerovnoprávnymSAV. Časť činnosti geografického ústavu spa- že hodnotenie pracoviska podstatne viac zá- postavením SAV v novom systéme dokto-dá svojím zameraním do I. OV, no časť má viselo od excelentnosti a významu dosiahnu- randského štúdia a skutočnosťou, že niektoréskôr charakter výskumu v III. OV. Podobne tých vedeckých výsledkov než od množstva programy doktorandského štúdia nie sú naústav informatiky je síce zaradený do skupi- získaných prostriedkov a od výstupov do VŠ akreditované a nemôžu byť preto akredi-ny matematicko-fyzikálno-informatických spoločenskej praxe. Rovnako ho však mož- tované ani v SAV, kde je dostatok potenciál-vied, no značnou časťou činnosti skôr zapadá no pripísať problémom pri kvantifikovaní a nych garantov a školiteľov.medzi vedy technické. Rozdiely v hodnotení štandardizácii indikátorov č. 4 až 7 a proble- 3. Väčšina ústavov má relatívne zastaralúčlenov AKOV-I tak pravdepodobne súvisia s matickosti porovnávania výstupov rozličných experimentálnu bázu a infraštruktúru. Beztým, že toto špecifikum spomenutých praco- ústavov I. OV v týchto indikátoroch. Zdá sa podstatných investícií nebude možné udržaťvísk viacerí reflektovali odlišne. prirodzené, že indikátory, ktoré sa dajú ťažšie konkurencieschopnosť so zahraničím. 5. Zaujímavou otázkou je, do akej miery objektívne zhodnotiť, sa na výsledku odráža- 4. Do skupiny najvyššie hodnotenýchovplyvnili zaradenie ústavov do kategórií A*, jú slabšie než kvantifikovateľné indikátory. pracovísk patria spravidla väčšie ústavy, na-A a B parciálne indikátory č. 5 až 7 (dok- 6. Hodnotenia indikátorov č. 1 až 4 člen- opak, v skupine nižšie hodnotených sú zväčšatorandské štúdium; spoločenské výstupy; in- mi AKOV-I a externými posudzovateľmi sa malé pracoviská. Počet tvorivých pracovníkovfraštruktúra a manažment), ktoré sa hodno- vo viacerých prípadoch odlišovali. Túto sku- v niektorých pracoviskách je podkritický natia ťažšie ako kritériá č. 1 až 4 a tiež sa ťažšie točnosť možno podľa môjho názoru pripísať to, aby mohli dosahovať veľmi dobré výsled-kvantifikujú a štandardizujú. Názornú odpo- niekoľkým faktorom: ky vo všetkých hodnotených indikátoroch.veď poskytuje obrázok 2. V ňom je vynesený (a) Hodnotenie posudzovateľov bolo 5. Vo viacerých ústavoch sa riešia úlohygraf závislosti bodového zisku (v %) z indi- vysoké (v priemere takmer 78 % maxima), podobného zamerania bez toho, aby tietokátorov č. 1 až 4 (merajúcich predovšetkým komisia ho musela korigovať, vychádzajúc z pracoviská tesnejšie spolupracovali.vedecké výstupy, ich ohlas a postavenie pra- porovnania pracovísk aj s prihliadnutím na 6. Bolo by užitočné zintenzívniť spolu-coviska) od celkového bodového zisku (v %) prijatú špecifikáciu a štandardizáciu parciál- prácu s VŠ, predovšetkým s „mladšími“ uni-zo všetkých indikátorov. Z grafu je zrejmé, nych indikátorov, a to spravidla smerom na- verzitami mimo Bratislavy a Košíc.že indikátory č. 5 až 7 výsledky ovplyvnili dol (v priemere udelila iba 70 % z maximaminimálne, iba v jedinom prípade zaradenie bodov). IV. Teda: Stálo to za to?ústavu podľa indikátorov č. 1 až 4 nezodpo- (b) Komisia – viac ako posudzovatelia – Je zrejmé, že výsledky akreditačného pro-vedá jeho celkovému zaradeniu (ide o Astro- rozovrela „nožnice“ medzi najvyššie a najniž- cesu bude treba ďalej analyzovať a vyvodiť znomický ústav SAV, ktorému k zaradeniu do šie hodnotenými ústavmi. nich dôsledky v prospech ďalšieho skvalitne-kategórie A* napomohlo vysoké hodnotenie (c) Vo viacerých prípadoch sa komisia nia činnosti pracovísk SAV a výsledkov ichspoločenských výstupov a manažmentu). nestotožnila s hodnoteniami posudzovateľov, výskumu. Niet pochýb, že proces hodnoteniaKoeficient korelácie týchto dvoch veličín je ak ich nepovažovala za úplne objektívne ale- je možné ďalej vylepšovať a objektivizovať.veľmi vysoký, 0,985. Ukazuje sa ďalej (pozri bo dospela k záveru, že sa posudzovatelia ne- Akreditácia v roku 2007 však podľa môjhoARRA newsletter | apríl 2008 7
  • 8. Akreditačné hodnotenienázoru predstavuje výrazný krok správnymsmerom. V tomto kontexte je vhodné spome-núť, že viacerí posudzovatelia ústavov I. OV vedeckých organizácií SAVSAV so skúsenosťami z hodnotenia činnostivedeckých organizácií v zahraničí skonštato-vali, že akreditačný proces v SAV je podobný v roku 2007 – pohľad č. 3a podobne nastavený ako v zahraničí. V čom vidím hlavné pozitíva ukončené-ho hodnotenia v I. OV SAV: 1. Po prvýkrát sa uskutočnila komplexnáanalýza výsledkov pracovísk I. OV „na jed-nej čiare“, za rovnaké časové obdobie, jednouhodnotiacou komisiou z I. OV, no s ohľadomna špecifiká jednotlivých oblastí a s vypoču-tím kvalifikovaného názoru externých posu- Karol Iždinskýdzovateľov. 2. Členmi akreditačnej komisie oddelenia Ústav materiálov a mechaniky strojov SAVvied boli aj pracovníci mimo SAV. 3. Latka náročnosti nebola postavená níz-ko, snahou bolo odvodiť hodnotenie činnosti “prijal som výzvu na napísanie môjHo poHľadu nastupňom „veľmi dobre“ nie od lokálnych, aleod medzinárodných štandardov. pravidelné Hodnotenie ústavov sav. rád by som 4. Aj keď sa konečný „rebríček“ ústavov ním prispel do mozaiky názorov, ktoré dokresliavýrazne nelíši od predchádzajúcich hodnote- samotnú prípravu, priebeH a dôsledky toHto mi-ní, vyššia je úroveň jeho spoľahlivosti, a týmaj výpovedná hodnota. moriadne náročnéHo procesu, spolu s ťažkosťami, 5. Zatiaľ čo v predchádzajúcich akre- ktoré Ho prirodzene sprevádzajú.”ditáciách sa väčšina organizácií „tlačila“ vnajvyššej kategórii a iba zlomok pracovískbol v nasledujúcej, teraz sa ústavy rozvrstvi- Pravidelné hodnotenie ústavov (akredi- ho najmä predstaviť výsledky ústavov dosiah-li do troch stupňov výkonnosti, pričom do tácia) je výsledkom interakcie a spolupráce nuté v predchádzajúcom roku, prideliť týmtonajvyššieho ich spadá iba tretina v I. OV a Predsedníctva SAV, Snemu SAV a Akreditač- výsledkom určitú bodovú hodnotu, zoradiťštvrtina v celej SAV. Potešujúcim zistením je, nej komisie P SAV. P SAV je zodpovedné za ústavy podľa výkonnosti a použiť uvedenéže do dvoch najnižších stupňov C a D nie pravidelné hodnotenie ústavov, Snem SAV hodnotenie na prerozdelenie približne 1 %je možné s čistým svedomím zaradiť žiadnu schvaľuje základné dokumenty, podľa ktorých mzdového fondu oddelenia. Prvé hodnotenieorganizáciu, čo je zrejme aj dôsledkom seba- má prebehnúť, a Akreditačná komisia SAV je vykonávala 10-členná evalvačná komisia, na-očistného procesu, ktorým SAV prešla v 90. bezprostredným vykonávateľom hodnotenia vrhnutá P SAV tak, aby svojou odbornosťourokoch a ktorý niektoré iné organizácie vedy v zmysle schválených dokumentov. Ide o vy- pokrývala zameranie 15 ústavov I. oddeleniaa výskumu a VŠ stále iba čaká. vážený systém právomocí, ktorý nevyhnutne vied. Hodnotenie ich činnosti prebiehalo na 6. Organizácie dostali od posudzovateľov vyžaduje vzájomnú spoluprácu a dohodu. základe posúdenia výkonnosti v 6 vybranýchcelý rad podnetov, ktoré môžu prispieť k ďal- Hneď na úvod chcem povedať, že ako kritériách:šiemu skvalitneniu ich činnosti. Súčasne po- zástupca Ústavu materiálov a mechaniky - publikovanie výsledkov,sudzovatelia často poukázali na problémy, o strojov SAV v Sneme SAV, a v priebehu akre- - ohlas,ktorých sme si niekedy mysleli, že ich vidno ditácií aj jeho predseda, som bol od začiatku - medzinárodná spolupráca,iba „znútra“ a navonok sa neprejavujú; v po- pri tvorbe a pripomienkovaní základných - získavanie prostriedkov,sudkoch boli mnohé neomylne odhalené. akreditačných dokumentov a absolvoval som - aplikácia výsledkov a ich popularizácia, 7. Aj keď sa niektoré prvky hodnotiaceho množstvo diskusií najmä na úrovni snemu a - výchova.procesu v spätnom pohľade javia pravdepo- predsedníctva. Naopak, keďže ústav nemaldobne ako chybné (napr. spojenie popula- svojho zástupcu v žiadnej z hodnotiacich V diskusiách, ktoré prebiehali pred sa-rizácie a aplikácií do jedného hodnoteného komisií, nemôžem sa vyjadrovať k spôso- motným evalvačným hodnotením, najväčšiaukazovateľa), akreditačné zaradenie organizá- bu, akým dospeli ku konečným výsledkom. kritika smerovala k tomu, že takýto systémcií výrazne neovplyvnili. Keďže akreditácie prebiehali do istej miery kladie nesplniteľné nároky na spravodlivé Na záver osobný postreh: Kytica činností autonómne vo všetkých troch oddeleniach rozhodovanie členov komisie, nedáva ima výsledkov ústavov I. OV SAV, s ktorou som vied, moje postrehy sa budú týkať najmä I. do rúk nástroje, ktoré by im to dostatočnepočas hodnotenia mal potešenie zoznámiť sa, oddelenia vied SAV, do ktorého je zaradený uľahčovali, a súčasne vytvára neodstrániteľnýsa ukázala neobyčajne pestrá, hýrila farbami a aj náš ústav. konflikt záujmov, keďže budú rozhodovať čivôňami. Ak v priebehu nasledujúcich rokov Súčasný model akreditácií je odvodený už priamo, alebo nepriamo aj o svojich ústa-pribudnú kvety nové, staré si uchovajú svie- od modelu evalvácií, t. j. ročného hodnotenia voch.žosť a niektoré mierne povädnuté zmiznú, činnosti ústavov, ktoré je plne v kompetencii Prvý problém spočíval v tom, že členoviatak prostriedky a úsilie na hodnotenie v roku oddelení vied a prvýkrát sa uskutočnilo v komisie museli hodnotiť aj ústavy, ktorých2007 neboli vynaložené zbytočne. roku 2006. Cieľom evalvácií bolo okrem iné- činnosť bola veľmi vzdialená ich odbornému8 ARRA newsletter | apríl 2008
  • 9. zameraniu, ba aj takých, ktorých zameranie Bola to veľmi dobrá skúsenosť získa- znalosti a skúsenosti z celkom iných oblastí.nebolo v komisii zastúpené žiadnym jej čle- ná tesne pred akreditáciami, ktorá vyvolala Nikde pritom neboli kritéria hodnotenianom. Druhý problém súvisel s tým, že hoci potrebu nastaviť proces hodnotenia trochu definované lepšie ako v „Memorande Slo-niektoré z hodnotených kritérií sa dali veľmi inak. Snem, ktorý schvaľoval zásady akredi- venskej akadémie vied k rozvoju a situácii vopresne kvantifikovať a vyčísliť – napríklad tácie, vyslal jasný signál, že v akreditáciách vede a technike v Slovenskej republike“, pri-publikovanie výsledkov a ich ohlas (počty je nevyhnutné pristupovať ku každej vednej jatom pred parlamentnými voľbami v rokuCC publikácií, impact-faktory, počty citá- disciplíne s ohľadom na jej špecifiká. Išlo o 2006. V uvedenom memorande sa konštatu-cií), iné – napr. medzinárodná spolupráca, to, neporovnávať neporovnateľné (t. j. ústavy je, že činnosť SAV spočíva na nasledujúcichvýchova doktorandov alebo aplikácia výsled- navzájom), ale porovnávať ústavy voči akejsi 6 pilieroch:kov a ich popularizácia – zďaleka nie. Všetky hodnote medzinárodného štandardu (ben- - excelentnosť,kritériá totiž veľmi úzko súvisia s danou ve- chmarking), typickému pre jednotlivé vedné - vzdelávanie,deckou oblasťou, no s tými, ktoré postrádajú disciplíny. - aplikácie,jednoznačný merateľný kvantitatívny rozmer, Novozriadená akreditačná komisia v I. - medzinárodná vedecko-technická spo-sa pracuje o to ťažšie. Tieto námietky boli v oddelení vied (AKOV-I) veľmi korektne lupráca,tom čase odmietané s tým, že experti z eval- skonštatovala, že nie je v jej silách, stanoviť - expertízna činnosť,vačnej komisie si svojou vedeckou erudíciou tieto štandardy pre jednotlivé ústavy, pretože - popularizácia.poradia s medzerami, ktoré vyplývajú z nie rozmanitosť ich zamerania je taká veľká, žecelkom presne definovaných kritérií. je nemožné nastaviť kritériá tak, aby spra- Uvedené kritériá sú podľa môjho názoru Keby som mal použiť športovú termino- vodlivo odrážali ich výkonnosť. Riešenie sa úplne jasné, zreteľné, navzájom si nekolidujúlógiu, tak by som uvedený systém hodno- našlo v dohode o prizvaní externých posu- a neporovnateľne lepšie a vyváženejšie reflek-tenia prirovnal k súťaži, v ktorej proti sebe dzovateľov do hodnotiaceho procesu. Mali to tujú činnosť ústavov SAV. Je skutočne ško-nastúpia reprezentanti rôznych športových byť medzinárodne uznávaní odborníci, ktorí da, že sa ich dlhodobo a opakovane nedarídisciplín – pre jednoduchosť si zvoľme naprí- nepotrebujú pracovať s nejakými vopred sta- presadiť aj ako evalvačné, resp. akreditačnéklad skoky. Napadá mi skok do diaľky, skok novenými štandardmi, keďže to, že v danej kritériá.do výšky, trojskok, skok o žrdi, ale aj skoky disciplíne získali medzinárodnú reputáciu, Najzávažnejšou zmenou v akreditáciáchdo vody z dosky alebo z veže, gymnastické jednoznačne svedčí o tom, že veľmi dobre ve- oproti jednoročným evalváciám bola účasťpreskoky, skoky na trampolíne, skoky na ly- dia, kde leží medzinárodná úroveň. medzinárodne uznávaných posudzovateľov,žiach klasické i akrobatické... Ide o čiastočne Boli s tým spojené riziká, že posudzovate- ktorí vo svojich posudkoch vyjadrili svojpodobné, ale súčasne aj veľmi odlišné činnos- lia nenastavia rovnakú mieru prísnosti a ich názor na kvalitu jednotlivých ústavov. Zti, v ktorých sa vyžadujú rozmanité schop- hodnotenie niektorým ústavom ublíži a iným ich hodnotenia vyplynulo, že medzi akade-nosti, zručnosti, talenty, fyzické predpoklady, nezaslúžene pomôže. Preto v zásadách ostala mickými ústavmi v I. oddelení vied nie je ažtešia sa rôznej miere popularity a mediálnej možnosť, že o výsledku akreditácie nakoniec taký rozdiel vo výkonnosti, aký sa opakovanepozornosti. Pritom platí, že niektoré z týchto rozhodne akreditačná komisia s prihliadnu- objavoval pri dvoch predchádzajúcich evalvá-disciplín sa hodnotia na základe jednoznačne tím na posudky expertov. Tu sa však opäť ob- ciách. Toto sa stretlo s väčším pochopenímmerateľných kritérií (dĺžka, výška), v iných javilo riziko, že akreditačná komisia skĺzne do a s určitou satisfakciou u tých menej úspeš-rozhoduje obtiažnosť a náročnosť akroba- porovnávania ústavov medzi sebou. Toto rizi- ných, naopak, s menšou mierou pochopeniatických prvkov a kvalita ich vykonania. O ko bolo o to väčšie, že táto komisia začiatkom u tých úspešnejších. Súčasne to naznačovalo,poradí súťažiacich má na základe porovnania roku 2007 vykonala druhú evalváciu ústavov že predchádzajúci systém hodnotenia nemusívybraného súboru ukazovateľov hlasovaním a svojím rozhodnutím akoby prejudikovala byť až taký spoľahlivý, ako sa niektorým jehorozhodnúť komisia, zložená zo špičkových výsledky akreditácie. Uvedené riziko sme sa zástancom zdá. Bola tu, samozrejme, aj mož-odborníkov na niektoré disciplíny. Mimo- v sneme pokúšali eliminovať návrhom, aby nosť, že posudzovatelia boli príliš benevo-riadna obtiažnosť takéhoto rozhodovania je akreditačná komisia mala právo rozhodnutia lentní v prípade ústavov, ktoré pri predchá-zjavná. expertov buď prijať, alebo odmietnuť a požia- dzajúcich evalváciách skončili medzi horšie Možno sa tento príklad zdá ako nepri- dať o nové posudky, ale nemeniť ich rozhod- hodnotenými a naopak, oveľa prísnejší bolimeraný, ale v I. oddelení vied sa skutočne nutie ďalším hlasovaním. Myslím, že obavy pri ústavoch, ktoré sa umiestnili na prvýchvedľa seba postavili veľmi rozdielne disciplí- z toho, že by mohlo dôjsť ku strate kontroly miestach hodnotenia. Keďže tento trend bolny – matematika, geológia, fyzika, geografia, nad akreditačným procesom, boli príliš veľké prakticky rovnaký u všetkých ústavov, ťažkoelektrotechnika, stavebníctvo, astronómia, a tak tento návrh neprešiel. sa dalo hovoriť o nejakej náhodnej fluktuá-materiálové inžinierstvo, informatika a hyd- Nevyužila sa ani možnosť lepšie nastaviť cii.rológia. Členovia evalvačnej komisie dostali kritériá hodnotenia. Mimoriadne konfúzne V tejto chvíli urobila AKOV-I dosť prob-nesmierne ťažkú úlohu zoradiť tieto roz- kritérium z môjho pohľadu od samého za- lematický krok. V záujme zvýšenia rozdielovmanité ústavy podľa výkonnosti. Jedinými čiatku boli aplikácie výsledkov v praxi a ich vo výkonnosti v záverečnom hlasovaní „na-spoľahlivo merateľnými kritériami sa stali popularizácia. Ide o dve celkom iné činnosti, pravila“ rozhodnutia posudzovateľov – týmpublikácie a citácie, a tie nakoniec rozhodli. ktoré sú možno rovnako dôležité, ale keď sa úspešným z evalvácií pridala a tým neúspeš-Predpokladané korekcie zohľadňujúce sku- dajú do jedného kritéria, tak sú nevyhodno- ným ubrala z bodového hodnotenia posu-točnosť, že v každej vednej disciplíne leží úro- titeľné. Objektívne sa asi nedá dokázať, koľko dzovateľov.veň medzinárodného štandardu kdesi inde a popularizačných akcií sa vyrovná zavedeniu Myslím, že sa tým dosť nešťastne sprob-že z povahy disciplíny samotnej vyplýva, že je nejakej technológie do výroby, a tak zrejme lematizovali a spochybnili konečné výsledky.zameraná na plnenie trochu iných cieľov, sa neostáva iné než určiť body len na základe AKOV-I sa stala arbitrom vo virtuálnomnijako zvlášť v hodnotení evalvačnej komisie subjektívneho hodnotenia posudzovateľa, spore o kvalitu medzi posudzovateľmi a ňouneprejavili. ktoré sa však vo väčšine prípadov opiera o samotnou. Svojím rozhodnutím sproble-ARRA newsletter | apríl 2008 9
  • 10. matizovala účasť expertov tým, že ich hod- disciplín. Je pochopiteľné, že astronómia nezmenilo by sa s najväčšou pravdepodob-notenie brala do úvahy len v takej miere, v musí sledovať celkom iné ciele a využívať nosťou vôbec nič. Štát by svoju podporu preakej to uznala za vhodné. Je veľmi pravde- celkom iné postupy ako napríklad vývoj vedu asi nezvýšil. Ako teda zabezpečiť rastpodobné, že hodnotenie ústavov by bolo nových materiálov. Mohli by sme možno v odvetví, v ktorom ročná podpora rastiedopadlo rovnako aj bez ich účasti. Oprava pripustiť aj to, že zatiaľ čo výsledky „zve- tempom možno 3 %, zatiaľ čo národné hos-hodnotenia posudzovateľov opäť pripome- davosťou motivovaného“ výskumu sú podárstvo rastie tempom 8 %. Už i súčasnýnula neodstrániteľný konflikt záujmov, s jeho obrazne povedané balené do publikácií a obrovský rozdiel v platoch medzi verejným anejasným dopadom na výsledné hodnotenie. reflektované citáciami, výsledky „problé- súkromným sektorom sa nedarí ani len stabi-Žiaľ, súčasná slovenská hodnotová kultúra sa movo orientovaného“ výskumu sú balené lizovať, a ďalej sa zväčšuje. Kráčame k ďalšie-len veľmi výnimočne dokáže efektívne brániť do patentov, máp, výrobkov, prototypov a mu prebudeniu, keď dostaneme svoje platy vvplyvu konfliktu záujmov, a to aj vtedy, keď pod. K určeniu ich hodnoty nie je možné eurách a mnohí doktorandi zistia, že ich 500sa rozhoduje o výsledkoch znamenajúcich pristúpiť jednoduchým sčítaním. Podmien- – 600 eur pri súčasnom tempe rastu dosiahnepriamy finančný dopad. ky, v akých vznikajú, sú takisto diametrálne prijateľnú úroveň za desiatky rokov. Obávam Oveľa transparentnejším, než plošné odlišné. Keď vyvíjame principiálne nový sa masívneho exodu všetkých, ale najmä týchopravenie výsledkov, by bol postup vyžia- materiál pre renomovaného priemyselného najschopnejších.dania nových posudkov v prípadoch, keď partnera, ide spravidla o takú citlivú záleži- Určité riešenie vidím v ďalšom otvoreníposudzovatelia evidentne pochybili. Taktiež tosť, že nielenže nemôžeme o danej veci nič celého systému. Prostriedky je jednoznačneformulovanie stanoviska, odôvodňujúceho publikovať, ale nemôžme ani nikde uviesť, potrebné hľadať najmä mimo SAV a aspoňpríčiny neakceptovania hodnotenia posudzo- pre koho ju vyvíjame. časť akadémie by mala svoju budúcnosť spá-vateľov, by veľmi pomohlo spriehľadniť celý Hlavný problém vidím v tom, že súčas- jať s rozširovaním svojich schopností v ichproces. Spor sa tak mohol dostať na odbornú né kritériá hodnotenia sú nastavené tak, že získavaní. Vo vedomostiach a skúsenostiachúroveň, ktorá by umožnila porovnať argu- oveľa lepšie zohľadňujú výsledky spojené so pracovníkov SAV sú ukryté miliardy a tiementy oboch strán. „zvedavosťou motivovaným“ než s „prob- je potrebné vytváraním vhodných podmie- Najhoršie je azda to, že vďaka takémuto lémovo orientovaným“ výskumom. Stačí nok uvoľniť. Realita je taká, že málokto jepostupu sme sa v určitom zmysle dostali zno- napríklad, aby väčšina členov hodnotiacej ochotný zaplatiť milión za vedecký článok,va na začiatok, keď sa porovnávala výkonnosť komisie mala bližšie k prvému typu výsku- ale je dosť tých, ktorí zaplatia aj oveľa viac,ústavov navzájom a nevyužila sa ponúkaná mu a hodnotenie musí nevyhnutne dopad- ak okrem článku dostanú aj dôkaz o tom,príležitosť posunúť sa kvalitatívne ďalej. Exis- núť tak, že príslušné ústavy skončia lepšie že uvedená vec skutočne funguje, dá sa vy-tuje veľké množstvo údajov o výkonnosti jed- než tie ostatné. Samozrejme, platilo by to robiť v reálnych podmienkach a má potomnotlivých ústavov a tieto je možné navzájom aj naopak. Zrejme oveľa objektívnejšie by aj očakávané vlastnosti. Z našich skúsenostív rôznych obmenách porovnávať. Nepochyb- bolo hodnotiť ústavy podľa ich prevažujú- vyplýva, že je dosť kapitálu, ktorý je pripra-ne z nich vyplýva, že stanovené poradie je cej orientácie dvoma nezávislými komisia- vený podporiť, zaplatiť, alebo okamžite kúpiťsprávne. Nie sú mi však známe žiadne údaje, mi. Tieto by sa nemuseli obmedzovať len výsledky výskumu, ktoré majú šancu konku-okrem hodnotení posudzovateľov, ktoré po- na ústavy jedného oddelenia vied. rovať súčasným, alebo priniesť nové riešenia.rovnávajú výkonnosť ústavov voči ich vlast- Myslím si, že Snem SAV dostatočne Uzavretím jedného cyklu pravidelnéhonému medzinárodnému štandardu. A práve citlivo vníma tieto skutočnosti, a preto cel- hodnotenia vedeckých organizácií SAV ničtoto porovnanie sa malo stať základom hod- kom jednoznačne schválil pomerne mier- nekončí. Stojíme na prahu nových a svojiminotenia a celkového poradia. ne finančné dopady výsledkov akreditácií. účinkami nepochybne významnejších výziev Ku cti všetkým zúčastneným treba po- Nepochybne niektoré očakávania v tomto a cieľov. Rozpočtové pravidlá pre príspevkovévedať, že celý proces prebehol z formálneho smere boli na začiatku procesu oveľa odváž- organizácie nútia zrušiť organizáciu v prípa-hľadiska veľmi korektne. Snem mal možnosť nejšie. de, že jej príjmy sú na úrovni príspevku zood začiatku do konca vyjadrovať sa k procesu S tým bezprostredne súvisí problém štátneho rozpočtu. Ústavy, ktoré sa priblížilipravidelného hodnotenia a schvaľoval všetky spojený s financovaním vedy ako takej. alebo už dnes sú na tejto hranici, stoja predrozhodujúce dokumenty. Ich konečná podo- Potreba lepšieho finančného ohodnotenia prirodzenou prekážkou svojho ďalšieho roz-ba je tiež prienikom toho, na čom sa jeho čle- excelentného výskumu oprávnene rezonuje voja. Zmena týchto pravidiel by veľmi po-novia boli schopní dohodnúť. AKOV sa mu- nielen na pôde SAV už dlhé roky. V pod- mohla a nestála by vôbec nič. Stojíme predseli podriadiť týmto pravidlám aj vtedy, keď mienkach nedostatočnej finančnej podpo- začiatkom čerpania štrukturálnych fondov nacítili, že by bolo vhodnejšie a spravodlivejšie ry štátu sa určitým riešením javí prerozde- vedu a výskum. Tieto, pokiaľ budú rozumnekonať inak. P SAV dané výsledky akceptova- lenie vnútorných prostriedkov SAV. Keďže využité, môžu dramaticky zmeniť obraz nie-lo a nepokúšalo sa ich ďalej meniť. financovanie je také nízke, často nie je kde len SAV, ale celej slovenskej vedy. Uvedomujem si, že môj pohľad na pro- vziať. Do úvahy potom prichádza zrušenie Aj po skončení akreditácií je stále o čoces hodnotenia môže vyvolať nesúhlas v ur- neefektívnych pracovísk a podpora tých bojovať.čitej časti akademickej obce. Línia odporu a najefektívnejších. V určitej etape sa mohlomožno nepochopenia sleduje hranicu medzi zdať, že aj výsledky akreditácií by mohlitým, čo by sme mohli nazvať „zvedavosťou podporiť takéto riešenie. Dnes je zrejmé,motivovaný“ (curiosity driven) výskum, a že výsledky nepotvrdili existenciu takých„problémovo orientovaným“ (problem sol- slabých ústavov, ktoré by bolo potrebné ru-ving) výskumom. V oboch prípadoch ide o šiť. Tu ale nastáva problém, ktorý vyplýva zzákladný výskum, i keď jeho ťažisko je po- uzavretosti sústavy, v rámci ktorej sa rieši.sunuté k iným prioritám. Zrejme je to už Keby všetky ústavy zvýšili svoju publikač-predurčené povahou jednotlivých vedeckých nú aktivitu diskrétnym skokom o 100 %,10 ARRA newsletter | apríl 2008
  • 11. arra newsletter www.arra.sk číslo 2, ročník 2, rok 2008 issn 1337-3471 V nasledujúcom čísle plánujeme: šéfredaktor: ján pišút Diskusia o pohľade zamestnávateľov na vydáva: © akademická rankingová a ratingová agentúraslovenské vysoké školy a ich absolventov i. bukovčana 16, bratislava (korešpondenčná adresa: arra, partizánska 2, 811 03 bratislava 1) arra newsletter je recenzovaný. informácia pre prispievateľov: svoje príspevky, námety a komentáre môžete zasielať e-mailom na adresu arra@arra.sk (v predmete správy uveďte „newsletter“). akceptujeme príspevky vo formáte ms Word, resp. kompatibilnom. nevyžiadané príspevky sa nevracajú. foto: flickr.com články prezentujú názory autorov, ktoré nemusia nutne odzrkadľovať názory redakcie newslettera arra.ARRA newsletter | apríl 2008 11

×