OZ 2006/4

159

ORGANIZACIJA ZNANJA 2006, LETN. 11, ZV. 4

se indikatorji znanstvenega “outputa” nanašajo na

nekaj, kar ni število kot tako, temveč nekaj, kar je

definirano preko predhodnih konceptov: na primer na

kategorijo znanstvene kakovosti, znanstvenega vpliva,

znanstvene učinkovitosti, itd. Pri kazalcu znanstvene-

ga osebja je v postopku operacionalizacije edini pro-

blem uporaba ustrezne klasifikacije. Pri bibliometriji

kot meri znanstvenega “outputa” se srečujemo s pre-

cej bolj kompleksnimi konstrukti.

3. V bibliometriji pogosto prihaja do naslednjega para-

doksa: pretirana težnja po visoki zanesljivosti (ki jo

omogoča – ali vsaj omogoča preverjati – prav uporaba

kvantitativnih metod zbiranja in analize podatkov)

vodi v manjšo veljavnost raziskovanja. Četudi veljav-

nost načeloma predpostavlja zanesljivost.

PROBLEM ZANESLJIVOSTI IN

VELJAVNOSTI KVALITATIVNIH

EKSPERTNIH OCEN V ZNANOSTI

Kvalitativne ekspertne ocene oziroma kolegialna kon-

trola ostaja centralni element v organizaciji in delovanju

vsake znanstvene skupnosti, pa naj gre za zagotavljanje

resursov za znanost, ohranjanje standardov znanstvenega

raziskovanja, spodbujanje tekmovalnosti v socialnem

sistemu znanosti z namenom doseči večjo učinkovitost in

kakovost znanstvenega dela. Kvalitativna ekspertna oce-

njevanja v znanosti segajo na različna področja znanstve-

ne dejavnosti. Omenjeni mehanizem kontrole znanstvene

kakovosti ne služi samo kot sredstvo za razdelitev fi-

nančnih sredstev, temveč se nanaša na raznovrstne oblike

medsebojnega ocenjevanja znanstvenikov, ki so povezani

z recenzijskimi, habilitacijskimi in drugimi postopki v

znanosti. Z vidika delovanja družbenega sistema znanosti

je dobro delovanje ekspertnih ocenjevanj pomembno iz

več razlogov. V razmerah delovanja moderne znanosti

kvalitativni ekspertni sistem ocenjevanja po eni strani

omogoča dostop do dela v okviru različnih raziskovalnih

projektov in do objav. Objave so še vedno ena ključnih

predpostavk za pridobivanje znanstvenega ugleda. Težnja

po pridobivanju znanstvenega ugleda pa je eden glavnih

motivacijskih dejavnikov za delovanje družbenega siste-

ma znanosti. Po drugi strani sistem kvalitativnih ekspert-

nih ocen nastopa kot nekakšen sinonim za avtonomijo in

svobodo znanstvenega raziskovanja.

Čeprav so kvalitativne ekspertne ocene konstitutivni ele-

ment delovanja znanstvenih skupnosti, je še vedno malo

empiričnih analiz o mehanizmih njihovega delovanja. To

je po svoje presenetljivo, saj lahko pridemo šele po empi-

rični poti, na primer z analizo števila sprejetih in zavrnje-

nih člankov v postopkih znanstvenega recenziranja ali pa

z analizo razlogov za zavrnitev predlogov raziskovalnih

projektov, do odgovora na vprašanje o veljavnosti in za-

nesljivosti kvalitativnih ekspertnih ocen v znanosti.

Namreč, tako kot kvantitativne ocene znanosti, ki se

opirajo na bibliometrične kazalce, se tudi kvalitativne

ekspertne ocene srečujejo s problemi zanesljivosti in ve-

ljavnosti. Zanesljivost in veljavnost ekspertnih ocen sta

odvisni od različnih dejavnikov, ki delujejo na mikro- in

makroravni in so med seboj povezani. Tudi v primeru

kvalitativnih ekspertnih ocen se znajdemo pred vpraša-

njem, ki smo se ga dotaknili že na začetku in se glasi: Ali

je v znanosti mogoče doseči soglasje o kategoriji znan-

stvene kakovosti?

Dobra stran kvalitativnih ekspertnih ocen je, da znanstve-

niki, ki se znajdejo v vlogi ocenjevalca, pri presoji znan-

stvene kakovosti upoštevajo celoten kontekst. Slaba stran

je subjektivnost njihovih ocen. To prinaša nevarnost, da

zaradi nezadostnih informacij ali preveč poudarjenega

“ega” ocenjevalca pride do usodnih napak. Kvantitativ-

ne ocene namreč dosežejo visoko stopnjo zanesljivosti

z možnostjo ponovitve merjenja (npr. načeloma napako

lahko odpravimo s ponovnim štetjem publikacij, citatov

itd.), kar seveda ni mogoče tako enostavno doseči pri

kvalitativnih ekspertnih ocenah. Seveda imajo kvantita-

tivni kazalci več težav z določitvijo kriterija veljavnosti.

Namreč, ali res merijo tisto, kar želijo izmeriti?

Najbolj razvpiti primeri, ki kažejo, kako nezanesljive so

lahko kvalitativne ekspertne ocene, so zavrnitve prispev-

kov znanstvenikov, ki so čez nekaj let dobili Nobelovo

nagrado. Eden od primerov, ki je bil razkrit v zadnjem

času, je usoda članka “The market for ‘lemons’: quali-

tative uncertainty and the market mechanism” Georga

Akerlofa, Nobelovega nagrajenca za ekonomijo izpred

treh let (Akerlof, 2003). Georg Akerlof z njim v 70. letih

20. stoletja kar pri treh različnih ekonomskih znanstvenih

revijah ni uspel prodreti skozi njihova recenzijska sita.

Uspel je šele v četrtem poskusu, in sicer v reviji “Quar-

terly Journal of Economics”. Na temelju rezultatov, ki jih

je predstavil v tem članku, je 34 let kasneje dobil Nobe-

lovo nagrado. Primer Georga Akerlofa ni osamljen, saj

je Juan Miguel Campanario v svojih študijah predstavil

podobne slabe izkušnje sedmih Nobelovih nagrajencev

z recenzentskimi postopki njihovih prispevkov, ki so jim

kasneje, ko so se prebili čez vse prepreke in bili končno

objavljeni, prinesli najvišjo znanstveno slavo in ugled

(Campanario, 1998). Ti primeri so najbolj prepričljiv

dokaz, kako se v znanosti bije stalen boj med tradicijo in

inovacijo.

Kvalitativna ocena naj bi se štela kot zanesljiva, če se

vsaj dva ocenjevalca strinjata o predloženem predlogu

projekta ali predloženem rokopisu. Vendar raziskave, ki

so se ukvarjale s to problematiko, opozarjajo, da visoka

stopnja soglasja med eksperti sama po sebi dokazuje

malo. Dva ocenjevalca lahko prideta do enako napač-

nih sklepov. Ali kot je to težavo v zvezi z zanesljivostjo