Tutkimuksen arviointi julkaisujen avulla

Bibliometristen menetelmien avulla pystytään vertailemaan tieteellisiä julkaisuja ja julkaisujen tekijöitä.

Tieteellistä julkaisutoimintaa voidaan arvioida kvalitatiivisesti ja kvantitatiivisesti. Nämä ovat toisiaan täydentäviä menetelmiä. Kvalitatiivisessa arvioinnissa kiinnitetään huomiota ennen kaikkea julkaisun asiasisältöön ja sen relevanssiin kyseisen tieteenalan kannalta. Tällöin arvioitsijoiden on oltava kokeneita ja kyseisen alan hyvin tuntevia. Vertaisarviointi ennen julkaisemista on yksi osa kvalitatiivista arviointia.

Kvantitatiivisessa arvioinnissa eli bibliometriikassa julkaisuista tuotetaan matemaattisin ja tilastollisin menetelmin erilaisia indikaattoreita. Nämä kuvaavat julkaisutoiminnan tuottavuutta, vaikuttavuutta ja laatua. Indikaattoreita käytetään tutkimuksen arvioinneissa, esimerkiksi Tieteen tila –raporteissa ja yliopistorankingeissa.

Bibliometriikan kehitys alkoi 1900-luvun ensimmäisinä vuosikymmeninä. Tuolloin tieteellinen tutkimustoiminta alkoi vakiintua. Tieteen itsensä kehitystä haluttiin myös analysoida ja mallintaa. Koska tutkimustulokset tulevat ilmi ennen kaikkea julkaisuina, ajateltiin, että julkaisuja analysoimalla saataisiin tietoa myös tieteen kehityksestä. Kiinnostus julkaisuihin oli  puhtaan akateemista tässä vaiheessa.

Bibliometriikka eli pitkään hiljaiseloa tutkijoiden kammioissa, mutta 2000-luvulla se nousi uudelleen esiin. Akateemiset ranking-järjestelmät, tieteelliset rekrytoinnit, tenure track –järjestelyt, henkilöiden arvioinnit, rahoituspäätökset ja muut vastaavat haluttiin perustaa ”objektiivisen” informaation varaan. Tällöin huomattiin bibliometriikan mahdollisuudet. Bibliometrisen tiedon lähteet olivat kehittyneet helppokäyttöisiksi. Indikaattoreita voitiin tuottaa helposti ja nopeasti suuria määriä.

Indikaattorit ovat kuitenkin vain numeroita, ja ne täytyy tulkita jollain tavoin, jotta niitä voisi ymmärtää. Tähän liittyy useita ongelmia. Mikä on ”pientä” ja mikä ”suurta” jollain tieteenalalla, ja kuka pienuuden ja suuruuden määrittelee? Kuka numeroita ylipäätään tulkitsee ja mihin tarkoitukseen? Yksittäinen tutkija rahoitusta hakiessaan? Tiedekunnan hallinto tulosneuvotteluja varten? Yliopiston johto selvittäessään oman talon sijoitusta maailmanlaajuisesti?

Vaaralliselle tielle lähdetään, jos ryhdytään selvittämään eri alojen keskinäistä ”paremmuutta” bibliometriikan avulla. Erot selittyvät muun muassa alojen erilaisilla julkaisu- ja siteerauskäytännöillä. Pääsääntö on, että bibliometrinen analyysi pätee vain saman tieteenalan sisällä. “Leidenin manifesti” sisältää 10 periaatetta, joita tulisi noudattaa tutkimuksen arvioinnissa bibliometrisin menetelmin.

Kirjaston viestintää koordinoi erityistietoasiantuntija Tuulevi Ovaska.

Lisätietoja

tietopalvelu[at]uef.fi


Tietoasiantuntija
Heikki Laitinen
p. 0294 45 8191
heikki.laitinen[at]uef.fi

 

Palaute

Palautelomake

Palautteita käsitellään päivittäin. Helposti korjattavissa olevat asiat ratkaistaan välittömästi, jos ne ovat palvelun kannalta olennaisia ja palvelupolitiikan mukaisia. Kaikki palautteet käsitellään asianomaisessa palvelussa ja lisäksi tarvittaessa kirjaston eri työryhmissä. Palautteet ja niitä seuranneet toimenpiteet käsitellään vuosittain johtoryhmässä johdon katselmuksessa.