Leideno manifeste pateikiami mokslinių tyrimų vertinimo principai.
Mokslinių tyrimų formalusis kiekybinis vertinimas atliekamas pagal nusistovėjusią tvarką, – remiantis įvairiais citavimo duomenimis – tačiau duomenų statistikoje vis daugiau pasigendama ekspertinio vertinimo. Tai nepadeda siekti mokslinių tyrimų kokybės įgyvendinimo ir kelia grėsmę visam mokslo sistemos funkcionavimui.
Norėdama paremti mokslininkus, penkių ekspertų komanda, vadovaujama Džordžijos universiteto politikos mokslų profesorės Dianos Hicks ir Leideno universiteto Mokslo ir technologijų studijų centro direktoriaus Paulo Wouters, paskelbė Leideno manifestą, kurį įvardija kaip gerosios praktikos vadovą, siekiant kokybiškai vertinti mokslinius tyrimus. Leideno manifeste ekspertai pateikia tokius mokslinių tyrimų vertinimo principus:
- Mokslinių tyrimų kiekybinis vertinimas turi remtis ekspertiniu vertinimu.
Kiekybiniai vertinimo rodikliai gali turėti įtakos mokslinių tyrimų tendencijoms bei lengvesniam vertinimo sistemos formavimui. Vis tik mokslinių tyrimų vertinimas neturėtų remtis tik duomenų statistika, o kiekybiniai mokslinių tyrimų vertinimo rodikliai neturėtų pakeisti ekspertinio vertinimo. - Vertinimo rodikliai neturėtų būti institucijos, mokslininko ar mokslininkų grupės mokslinės veiklos tikslas.
Mokslinių tyrimų tikslai turi būti nustatyti iš anksto, o vertinimo rodikliai turi atitikti mokslinių tyrimų tikslus. Vykdant vertinimą, reiktų atsižvelgti kokiame socialiniame, ekonominiame bei kultūriniame kontekste vertinimo rodikliai naudojami. Moksliniai tyrimai, kuriuose nagrinėjama nauja mokslinė informacija, skiriasi nuo mokslinių tyrimų, kuriuose pateikiami socialinių problemų sprendimų būdai. Nėra vieningo vertinimo modelio, kurį galima būtų taikyti visiems, skirtingus tikslus turintiems, moksliniams tyrimams. - Išsaugoti vietinės reikšmės mokslinius tyrimus.
Daugelyje šalių aukštas mokslinių tyrimų lygis siejamas su straipsnių publikavimu anglų kalba leidžiamuose žurnaluose. Tai sunku įgyvendinti socialinių ir humanitarinių mokslų kryptyse, kur daugiausiai vykdomi nacionalinės ar regioninės reikšmės moksliniai tyrimai. „Web of Science“ duomenų bazėje dauguma žurnalų yra anglų kalba, todėl svarbu atkreipti dėmesį ne tik į anglakalbius žurnalus, bet ir nacionalinėmis kalbomis leidžiamus leidinius, kurie galėtų padėti identifikuoti vietinės reikšmės mokslinius tyrimus. - Kiekybiniai vertinimo rodikliai turi būti atviri, skaidrūs ir lengvai suprantami.
Duomenų bazėse pateikiami vertinimo rodikliai turi turėti aiškias ir suprantamas skaičiavimo taisykles. Vertinimo rodiklių skaidrumas lemia teisingą atranką. Citavimo duomenis teikiančios komercinės kompanijos turėtų laikytis skaidrumo bei nekurti neaiškių, tik jiems suprantamų vertinimo rodiklių skaičiavimo sistemų. Vertinimo rodikliai turi būti lengvai apskaičiuojami ir suprantami. Tačiau per daug paprasti rodikliai gali iškreipti vertinimą. Vertintojai turėtų išlaikyti balansą – lengvai apskaičiuojami rodikliai turėtų įvertinti sudėtingą mokslinių tyrimų procesą. - Suteikti galimybę mokslininkams pasitikrinti duomenis apie vertinamus mokslinius tyrimus.
Duomenų kokybei užtikrinti, visiems mokslininkams turi būti suteikta galimybė pasitikrinti ar jų kuriama mokslinė produkcija yra identifikuota teisingai. Asmenys, atsakingi už mokslinių tyrimų vertinimo procesą ir tvarką, turi užtikrinti duomenų tikslumą. - Atsižvelgti į skirtingus mokslo krypčių rengiamų publikacijų būdus ir citavimo ypatumus.
Rekomenduojama pasirinkti tokius vertinimo rodiklius, kurie labiausiai atitiktų mokslo krypties specifiškumą. Prieš pradedant vertinti, reikėtų atsižvelgti, kad socialiniai ir humanitariniai mokslai labiau linkę leisti knygas nei skelbti straipsnius žurnaluose, o technologijų mokslai savo mokslinę veiklą dažniausiai pristato konferencijose. Mokslinių tyrimų citavimas taip pat skiriasi nuo mokslo krypties populiarumo. Dėl šios priežasties yra nelogiška cituojamumo rodiklius lyginti tarp skirtingų mokslo krypčių. Pavyzdžiui, aukštas cituojamumo rodiklis matematikoje visai nebus vertingas biologijoje, todėl mokslinių tyrimų lyginimui siūloma naudoti normalizuotus vertinimo rodiklius. - Individualios mokslinės veiklos vertinimo pagrindas – ne vertinimo rodikliai, o jos kokybė.
Mokslininko h-indeksas laikui bėgant tik didėja ir nemažėja, nors mokslinė veikla net nevykdoma.
Skirtingose duomenų bazėse to paties mokslininko h-indeksas skiriasi. Tokius rezultatus lemia skirtingas duomenų bazių mokslinių žurnalų kiekis. H-indeksas bus aukštesnis toje duomenų bazėje, kurioje yra daugiau atitinkamos mokslo krypties publikacijų. Pavyzdžiui, „Web of Science“ labiau atspindi tiksliuosius mokslus, o „Google Scholar“ – socialinius ir humanitarinius.
Vien tik vertinimo rodikliai negali nustatyti tyrėjo indėlio į mokslą, todėl pravartu atkreipti dėmesį ir į kitus veiksnius: patirtį mokslinėje veikloje, nuopelnus, dėstymą, žinomumą, dalyvavimą projektuose ir kt. - Vengti netikslingo (nereikalingo) vertinimo rodiklių preciziškumo.
Sudėtingas vertinimo rodiklių apskaičiavimas sukelia neaiškumų ir grėsmę juos naudingai pritaikyti vertinimui. Pavyzdžiui, žurnalo cituojamumo rodiklio skaitinė reikšmė pateikiama tūkstantosios dalies tikslumu, tačiau nėra tikslo rodyti tarp žurnalų esančius mažus cituojamumo rodiklio skirtumus. Naudingas yra tik dešimtosios dalies tikslumu naudojamas rodiklis. - Suprasti pasirinktų vertinimo rodiklių įtaką mokslinių tyrimų kokybei.
Vertinimo rodiklių pasirinkimas gali turėti įtakos mokslinių tyrimų kokybei, todėl galimas pasekmes reikia numatyti iš anksto. Pavyzdžiui, 1990-aisiais metais Australijos vyriausybės pagrindinis mokslinių tyrimų finansavimo kriterijus buvo mokslinių įstaigų publikuotų straipsnių kiekis. Kaip ir buvo tikėtasi, publikacijų kiekis Australijoje padidėjo, tačiau dėl lėšų taupymo, dauguma mokslinių tyrimų buvo publikuoti ne aukštai vertinamuose žurnaluose, o tai turėjo įtakos straipsnių kokybei. - Vertinimo rodikliai turi būti reguliariai peržiūrimi ir atnaujinami.
Mokslinių tyrimų skirtingi tikslai turi įtakos naujų, lankstesnių vertinimo rodiklių atsiradimui, todėl pravartu mokslo vertinimo sistemą nuolat peržiūrėti ir esant poreikiui, senus, nusistovėjusius vertinimo rodiklius pakeisti naujais, siekiant kuo tiksliau ir teisingiau įvertinti mokslinius tyrimus.
Pasak Leideno manifesto autorių, sprendimai moksle turi būti pagrįsti kokybišku mokslinių tyrimų vertinimu, kuris remiasi kokybiškais vertinimo duomenimis. Todėl yra tikimasi, kad šie išvardyti mokslinių tyrimų vertinimo principai turės įtakos tolesniam kokybiško mokslo vystymuisi.
Daugiau apie mokslinių tyrimų vertinimo principus galite rasti čia.
Naujieną pateikė: Mokslinės informacijos ir duomenų skyrius (MODUS).