OZ 2006/4

160

ORGANIZACIJA ZNANJA 2006, LETN. 11, ZV. 4

kvalitativnih znanstvenih ocen lepo povzel Stefan Horn-

bostel: “Ocene, ki v evalvacijskih postopkih temeljijo

na soglasju, so lahko kolektivno napačne ali kolektivno

pravilne sodbe, lahko pa so tudi povsem različne ocene

z enakimi posledicami. Za soglasje v postopkih ekspert-

nih ocen torej ni nujno, da so tisti, ki nastopajo v vlogi

ocenjevalcev, poenoteni glede tega, kaj je z vidika vse-

binske presoje relevantno. V strogem ‘tehničnem’ oziru

konsenzualno sprejete ocene, v okviru katerih eksperti

iz medsebojno različnih ali celo nasprotujočih si zornih

kotov tematizirajo različne vsebinske aspekte ‘predmeta’

ocenjevanja, nikakor niso zanesljive ocene”. (Hornbostel,

1997, 205.)

Res pa je, da se lahko takoj vprašamo, ali takšno ozko

pojmovanje zanesljivosti kvalitativnega ekspertnega oce-

njevanja, kot ga v zgornjem citatu navaja Hornbostel, ne

zgreši bistva problema. Določena stopnja odsotnosti ozko

pojmovane zanesljivosti v ekspertnih ocenah je celo nuj-

na, kolikor teh ocen ne razumemo v smislu mehaničnega

algoritma, temveč v smislu fleksibilnih presoj, ki v dani

situaciji upoštevajo celotni kontekst.

Problem veljavnosti in zanesljivosti glede na kvalitativni

oziroma kvantitativni tip ocenjevanj v znanosti je oprede-

lil Francis Narin na naslednji način: evalvacijske analize,

ki so najbolj relevantne za merjenje dejanske stopnje pri-

spevka k znanosti, izkazujejo največjo stopnjo nezaneslji-

vosti glede na objektivnost, tiste, ki so najbolj objektivne,

pa največjo stopnjo nezanesljivosti glede na relevantnost

(Narin, 1978, 36).

Ne glede na vse morebitne slabosti, ki jih izkazujejo

kvalitativne ekspertne ocene in smo jih tu nakazali samo

nekaj, je treba znova poudariti, da so bile skozi ves raz-

voj moderne znanosti izredno pomembne. Prispevale so k

ohranjanju kvalitativnih standardov raziskovanja. Razlog

je nenazadnje v tem, da gre v sistemu znanosti bolj kot v

katerem koli drugem družbenem podsistemu za specifič-

no izmenjavo “znanstvenih dobrin”. V tej specifični izme-

njavi se vsak posamezen znanstvenik lahko hipotetično

znajde enkrat v tej, drugič v drugi vlogi. Se pravi, da je

enkrat lahko v vlogi tistega, katerega rezultati dela se

ocenjujejo, drugič spet v vlogi tistega, ki ocenjuje rezulta-

te dela svojih profesionalnih kolegov.

Čeprav se na tem mestu ne bomo obširno ukvarjali s tem

vprašanjem, je treba na koncu reči, da se zlasti ex ante

ekspertne ocene, ki so povezane z razdelitvijo sredstev za

raziskovanje, torej se nanašajo na ocene predlogov razi-

skovalno-razvojnih projektov, v praksi izvajajo še vedno

na zelo različne načine. Razlike v načinih uporabe kva-

litativnih ekspertnih ocen kot pomembnih instrumentov

raziskovalno-razvojne politike niso samo med posamez-

nimi državami, temveč pogosto tudi med posameznimi

znanstvenimi agencijami znotraj istih držav. Ena izmed

študij, ki se je ukvarjala z vprašanjem kvalitativnih eks-

pertnih ocen v različnih raziskovalnih agencijah Evrope

in ZDA, je sicer ugotovila, da so vse zavezane nekim

osnovnim načelom, na katerih je utemeljena kolegialna

kontrola v znanosti, se pa razlikujejo v vrsti praktičnih

postopkov (Langfeldt, 2006). Po teh analizah se največje

razlike pojavljajo glede števila faz ocenjevanja (ex ante,

medium, ex post), glede števila ekspertov, ki so vključeni

v evalvacijske panele (število varira od 3 do 30), in glede

samih postopkov izbire ekspertov, ki ocenjujejo predloge

raziskovalno-razvojnih projektov.

Nekateri predlogi sprememb ekspertnih ocenjevanj gredo

predvsem v tej smeri, da bi prispevali k doseganju večje

veljavnosti in zanesljivosti kvalitativnih ekspertnih ocen.

Omenjeni predlogi se nanašajo predvsem na naslednje

dejavnike (tu jih samo naštevamo, ne da bi se lotili njiho-

ve podrobne analize): zahteva po vzpostavitvi bolj for-

maliziranih pravil v postopkih ocenjevanja, ocenjevanje

z vključevanjem načela dvojne prikritosti, kjer niti avtor

predloga niti recenzent ne poznata drug drugega, pravica

avtorja predloga raziskovalno-razvojnega projekta do

ugovora na recenzijo in še nekateri drugi predlogi.

NEKATERE POMANJKLJIVOSTI KVAN-

TITATIVNEGA OCENJEVANJA ZNAN-

STVENE IN STROKOVNE USPE[NOSTI

RAZISKOVALCEV V SLOVENIJI

V zaključnem delu naše razprave bi radi našteli ne-

kaj pomanjkljivosti, ki spremljajo zdaj veljavni sistem

kvantitativnega merjenja uspešnosti dela znanstvenikov

v Sloveniji. Omenjeni sistem kvantitativnega merjenja

je del celotnega evalvacijskega sistema znanosti ARRS

(gl. Pravilnik o kazalcih in merilih znanstvene in stro-

kovne uspešnosti, 2006). Omenjeni sistem ARRS-ja, ki

se uporablja v okviru ex ante ocenjevanja (ocena pred-

logov raziskovalno-razvojnih projektov) namreč temelji

na kombinaciji kvalitativnih ekspertnih in kvantitativnih

bibliometričnih pristopov. Gre za sistem ocenjevanja, ki

je v zadnjem letu s pomočjo COBISS-ovih podatkovnih

baz postal izredno izpopolnjen in predvsem vedno bolj

transparenten. Seveda pa tako kot noben evalvacijski

sistem znanosti v svetu tudi sistem v Sloveniji ni dovršen.

Predlogi dopolnitev oziroma sprememb, ki jih podajamo

v nadaljevanju, z izjemo problema citatnih oken seveda,

se v veliki meri povezani tudi z težavami, s katerimi se

strokovni delavci OSIC-ev srečujejo pri preverjanju raz-

ličnih tipov del v sistemu COBISS. Podajamo nekaj naj-

bolj očitnih pomanjkljivosti: