Makrosta mikroon, muutoksista myötävaikutuksiin – kohti vastuullista vaikuttavuuden arviointia

Tutkimuksen yhteiskunnallisen vaikuttavuuden arviointi herättää monenlaisia tunteita ja turhautumistakin. Tyypillisimmin arvioinnin koetut ongelmat liittyvät sekä vaikeuksiin todentaa vaikuttavuutta että siihen, että vaikuttavuuden määritelmä on epäselvä tai sitä ei ole määritelty ollenkaan. Olen aiemmin tutkinut sitä, miten erilaiset tiedon hyödyntämiset muodot, kuten instrumentaalinen, käsitteellinen ja symbolinen tiedon hyödyntäminen vaikuttavat arvioinnissa eteen tuleviin haasteisiin (Muhonen 2021; Muhonen & Tellmann 2022). 

Vierailuni Vau, mikä vaikutus! -podcastissa sai minut pohtimaan, miten vaikuttavuuden arvioinnille asetetut tavoitteet ja se, miten vaikuttavuutta itsessään määritellään ovat yhteydessä arvioinnissa eteen tuleviin ongelmiin.  Tässä kirjoituksessa tarkastelen vaikuttavuuden arviointia vaikuttavuuskuvausten valossa, mikä on yleistynyt vallitsevaksi tavaksi arvioida vaikuttavuutta.

Arvioinnin haasteet

Yksi merkittävimmistä vaikuttavuuden todentamisen haasteista liittyy aikaan. Tutkimuksen vaikuttavuus saattaa tulla ilmi vasta vuosien tai vuosikymmenten kuluttua tulosten julkaisemisesta. Haastetta lisää se, että mitä enemmän aikaa kuluu tutkimuksen tekemisestä, sitä vaikeampaa vaikuttavuuden todentaminen voi olla.

Toinen vaikuttavuuden todentamisen haaste liittyy kausaalisuuteen. Koska yhteiskunta ei ole laboratorio, eivät syyt, jotka saavat aikaan vaikuttavuuden ole helposti jäljitettävissä.

Kolmanneksi vaikuttavuuden arvioinnin haasteet liittyvät ilmiöön itseensä: vaikutukset ovat harvoin konkreettisia ja suoria, sen sijaan vaikuttavuus on usein seurausta hajanaisista, epäsuorista ja joskus sattumanvaraisistakin poluista.

Neljänneksi vaikuttavuuden arviointia haastaa se, että tutkimus ammentaa tyypillisesti edeltäjistään. Tämä vaikeuttaa vaikuttavuuden kohdentamista juuri tiettyyn tutkimukseen.

Viidentenä ongelmana arvioinneissa on tutkijasta riippumattomien ulkoisten tekijöiden, kuten poliittisten päätösten ja yhteiskunnallisten kriisien vaikutukset vaikuttavuuden syntyyn (Martin 2003; Bornmann 2013; Muhonen 2021; Muhonen & Tellmann 2022).

Vaikuttavuuden määrittely

Aikaisemman tutkimuksen valossa tiedämme, että vaikuttavuuden arvioinnin haasteet ovat yhteydessä kysymykseen siitä, onko pyrkimyksenä todentaa vaikuttavuuteen myötävaikuttavia vaikuttavuuspolkujen osia vai laajempaa yhteiskunnallista vaikuttavuutta (Muhonen & Tellmann 2022). Asiaa voi tarkastella myös erilaisten vaikuttavuuden määritelmien valossa.  Vaikuttavuuden käsitteeseen on pyritty tuomaan analyyttisempaa otetta erottamalla mikro- ja makrovaikuttavuus (Budtz Pedersen ja Hvidtfeldt 2023).

Yksinkertaisimmillaan mikrovaikuttavuudessa on kysymys vaikuttavuuteen myötävaikuttavista tekijöistä, jotka voivat olla esimerkiksi vuorovaikutuksen eri muotoja tai uusia käsitteitä. Arvioinnin kannalta olennaista on, että mikrovaikuttavuus on konkreettista ja havaittavissa olevaa, ja yleiskielisesti voidaankin puhua vaikutuksista. Vaikutukset voivat olla myös konkreettisia tuotteita, malleja, sovelluksia ja ohjeistuksia kuten ravitsemussuositukset tai energiatehokkuutta edistävät ratkaisut.

Vastaavasti makrovaikuttavuudella kuvataan tutkimuksen aikaansaamia laajempia yhteiskunnallisia muutoksia, joiden synnyssä mikrovaikuttavuudella on tyypillisesti muutosta edesauttava rooli. Laajempi yhteiskunnallinen vaikuttavuus voi näkyä esimerkiksi muutoksina ihmisten asenteissa, elinolojen kohenemisena, luonnon monimuotoisuutena, eliniänodotteen pitenemisenä tai talouskasvuna. Tämänkaltainen laajempi vaikuttavuus palautuu harvoin yksittäisen tutkijan tai tutkimusryhmän työhön.

Arvioinnin tavoitteet ja evidenssin vaade

Vaikuttavuuden määritelmän ohella se, millaisia haasteita arvioinnissa ilmenee, liittyy arvioinnille asetettuihin tavoitteisiin. Vaikuttavuuden arvioinnin lippulaiva, Ison-Britannian Research Excellence Framework (REF), on summatiivista arviointia ja sen ensisijainen tavoite on rahanjako yliopistoille. Tästä seuraa tavoite järjestää arvioitavat yksiköt tiettyyn järjestykseen arvioinnissa. Arvioinnin haasteiden näkökulmasta summatiivinen arviointi asettaakin erilaisia odotuksia raportoinnille kuin formatiivinen toiminnan kehittämiseen tähtäävä arviointi, jonka tulosten perusteella tavoitellaan pikemminkin oppimista ja parempaa ymmärrystä arvioitavasta kohteesta kuin arviointiyksikköjen järjestämistä suhteessa toisiinsa.

Järjestykseen pyrkiessään summatiivinen arviointi asettaa odotuksia tarkkuudesta. Tätä tavoitetta tukemaan REFiin on lisätty vaade evidenssistä. Arvioinnissa tämä tarkoittaa sitä, että tutkijoiden on esitettävä todisteita vaikuttavuuskuvauksissa raportoimallensa vaikuttavuudelle.

Aiemmassa sosiologian alaa koskevassa tutkimuksessa (Muhonen & Tellmann 2022; Tellmann & Muhonen 2024) huomasimme, että REFiin sisältyvä evidenssin vaade rajoittaa merkittävästi sitä, millaista vaikuttavuutta tutkijat pystyvät todentamaan arviointeihin sisältyvissä vaikuttavuuskuvauksissa. Vaade todentaa raportoitu vaikuttavuus yhdistämällä raportoidut vaikutukset suoraan todisteisiin näkyi tutkimuksessamme siten, että tutkijat eivät kuvanneet vaikuttavuuskuvauksissa tutkimuksensa laajempaa vaikuttavuutta, kuten muutoksia sosiaalisessa eriarvoisuudessa tai yhteiskunnassa lisääntynyttä ymmärrystä vähemmistöryhmiin kohdistuvista asenteista, vaan nostivat esiin todennettavissa olevia suorempia vaikutuksia, kuten erilaisia yhteistyön muotoja sidosryhmien kanssa, vaikutuksia ammatillisiin käytäntöihin tai solmittuja yhteistyösopimuksia. Tyypillisesti evidenssinä vaikutuksista käytettiin numerotietoa, kuten seminaarien osallistumismääriä. REFin myötä on yleistynyt myös tapa pyytää tutkimuksen tärkeimmiltä sidosryhmiltä lausuntoja siitä, kuinka tutkimus on vaikuttanut kulloinkin kyseessä olevaan ilmiöön.

Evidenssin vaateesta vapaamuotoisempaan vaikuttavuuden kuvaamiseen

Strategisen tutkimuksen neuvoston (STN) hankkeiden vaikuttavuuden arviointi on esimerkki formatiivisesta arvioinnista.  STN:n vaikuttavuusarvioinnit ovat jälkikäteisarviointeja koskien käynnissä olevia ja päättyneitä STN:n rahoittamia hankkeita, eikä arvioinnin tuloksia käytetä rahoituksen jakamiseen, vaan seurantaan ja toiminnan kehittämistarkoituksia varten. STN-projekteissa kirjoitetaan tyypillisesti 3–5 vaikuttavuuskuvausta niiden keston aikana. Myös STN-projekteja pyydetään raportoimaan kuvaamaansa vaikuttavuutta tukevia tutkimustuotoksia, kuten julkaisuja, puheenvuoroja, opetusta tai liikkuvuutta, erillisessä tuotosindikaattorilistassa, mutta vaikuttavuutta ei ohjeisteta yhdistämään vaikuttavuuskuvauksissa suoraan tiettyihin tuotoksiin, ja siten evidenssin vaade ei ole yhtä suoraviivainen kuin Iso-Britannian REF:in kriteereissä. Ohjeissa kuitenkin mainitaan, että pyydettäessä vaikuttavuuskuvauksissa esiin nostetut saavutukset on pystyttävä todentamaan tuotosindikaattorilistaan perustuen. Vaikka arviointeja ei käytetä rahoituksen jakamiseen, rahoitus on ehdollista ja sen saaminen edellyttää väliraportoinnin hyväksymistä. (Muhonen, Himanen & Pölönen 2023.)

Siinä missä sosiologit eivät raportoineet tutkimuksen laajempaa yhteiskunnallista vaikuttavuutta REFin vaikuttavuuskuvauksissa, huomasimme tutkimuksessamme (Muhonen, Himanen & Pölönen 2023), että Strategisen tutkimuksen neuvoston vaikuttavuuden arviointi mahdollisti vapaamman kerronnan siitä, miten tutkimus on vaikuttanut yhteiskunnassa. Se miksi näin on, palautuu STN:n arvioinnin tavoitteisiin ja arviointikehikkoon.  STN:n arviointikehyksessä yllä mainitut kaksi asiaa, formatiivinen arviointi sekä evidenssin löyhempi yhteys vaikuttavuuskuvauksiin, tarjoavat tutkijoille mahdollisuuden kuvata hankkeidensa vaikuttavuutta realistisemmin. Tutkimuksessamme tämä näkyi esimerkiksi tutkijoiden pohdintoina liittyen vaikuttavuusprosesseihin ja vaikuttavuuden todentamisen haasteisiin. Tutkijat tunnistivat oman työnsä rajat ja kuvasivat tutkimustansa pikemminkin olemassa olevan tiedon ja muiden yhteiskunnallisten toimijoiden työn pohjalta rakentuvana kuin maailmaa mullistavina läpimurtoina.

Katse mikrovaikuttavuuteen ja vaikuttavuutta edistävään vuorovaikutukseen

Reilu vuosikymmen sitten Jack Spaapen & Leonie Van Drooge (2011) esittelivät argumenttinsa siitä, miksi vaikuttavuuden arvioinneissa tulisi keskittyä vaikuttavuusprosessien loppupään vaikuttavuuden tarkastelusta prosessiin, ja tarkemmin vaikuttavuutta edistävään vuorovaikutukseen, josta he käyttivät käsitettä ”productive interactions”. Productive interactions -käsite ja mikrovaikuttavuus rinnastuvat jossain määrin toisiinsa kuvatessaan vaikuttavuuteen myötävaikuttavia ja usein myös havainnollistettavissa olevia osia vaikuttavuuspoluista.   Kun toiselle puolelle vaakakuppiin sijoitetaan laajempaan vaikuttavuuteen viittaava makrovaikuttavuuden käsite, jälkimmäisen käsitteellinen ero suhteessa edelliseen täsmentyy.

Vaikuttavuuteen myötävaikuttavaa vuorovaikutusta on mahdollista tehdä näkyväksi arvioinnissa. Lisäksi siinä missä tutkimuksen laajempi yhteiskunnallinen vaikuttavuus palautuu pitkälti yhteiskunnallisiin, poliittisiin, ja jopa luonnonvoimiin perustuviin kehityskulkuihin, jotka eivät ole tutkijan päätäntävallassa, tutkijat pystyvät itse vaikuttamaan paremmin vaikuttavuuteen myötävaikuttaviin vaikuttavuuspolkujen osatekijöihin.

Tämän kirjoituksen taustalla on tutkimukseen perustuvaa näkemykseni siitä, että arvioinneissa hyödyttäisiin vaikuttavuuden tarkemmasta määrittelystä, jossa tunnistettaisiin erot mikro- ja makrovaikuttavuuden, vuorovaikutuksen, konkreettisen sekä laajemman ja hajanaisemman vaikuttavuuden välillä. Vastuullisen arvioinnin tavoitteiden (ks. esim. Hicks ym. 2015; Wilsdon ym. 2015; DORA 2022) mukaisesti arvioinnissa tulisi keskittyä asioihin, jotka ovat todennettavissa, ja jotka palautuvat tutkijan ja tutkimuksen vaikutuspiirissä oleviin tekijöihin. Tästä näkökulmasta tutkija-, tutkimusryhmä- ja projektitasolla toteutettavan vaikuttavuuden arvioinnin painopisteen tulisi olla pikemminkin vaikuttavuutta edistävissä vaikuttavuuspolkujen osatekijöissä laajemman yhteiskunnallisen vaikuttavuuden ja muutosten jäljittämisen sijaan. Toiseksi, mikäli arvioinnin tavoitteena ei ole tuottaa järjestystä arvioinnin kohteiden välille – niin kuin suomalaisissa ex post -vaikuttavuuden arviointikäytännöissä vielä tilanne pitkälti on – todentamisen vaateen sisällyttämistä arviointiin tulisi harkita puntaroimalla arvioinnin tavoitteita suhteessa riskiin siitä, että todentamisen vaateen yhdistäminen vaikuttavuuskuvauksiin kaventaa kerrontaa ja yksipuolistaa näin ymmärrystämme vaikuttavan tutkimuksen luonteesta.

Mikäli sitoutuisimme vaikuttavuuden arvioinnissa siihen, että tutkimuksen laajemman yhteiskunnallisen vaikuttavuuden sijaan arvioitaisiin ensisijaisesti vaikuttavuutta tukevia aktiviteetteja, toimia ja tuotoksia, valtaosa vaikuttavuuden todentamiseen liittyvistä arvioinnin ongelmista raukeaisi.

Kirjallisuus:

Bornmann L. (2013). What Is Societal Impact of Research and How Can It Be Assessed? A Literature Survey. Journal of the American Society for Information Science and Technology 64(2), 217–233.
DORA (2022). The Agreement on Reforming Research Assessment, 2022_07_19_rra_agreement_final.pdf (coara.eu), luettu 3.4.2024.

Hicks, D., Wouters, P., Waltman, L. yml. (2015). Bibliometrics: The Leiden Manifesto for research metrics. Nature 520, 429–431. https://doi.org/10.1038/520429a

Martin, B.R. (2007). Assessing the impact of basic research on society and the economy. Paper presented at the Rethinking the impact of basic research on society and the economy. WF-EST International Conference, 11 May 2007, Vienna, Austria.

Muhonen, R., Himanen, L., & Pölönen, J. (2023). Evaluation of societal impact of the Social Sciences and Humanities in Finland. In M. Oschner, & Z. H. Bulaitis (Eds.), Accountability in Academic Life: European Perspectives on Societal Impact Evaluation, 95–112. https://doi.org/10.4337/9781800885738.00016

Muhonen, R. & Tellmann, S. (2022). Challenges in reporting societal impacts for research evaluation purposes – the case of sociology. In Tim C.E. Engels & Emanuel Kulczycki (eds.) Handbook on Research Assessment in Social Sciences, Edward Elgar, 335– 349.

Spaapen, J. & van Drooge L. (2011). Introducing ‘productive interactions’ in social impact assessment, Research Evaluation, 20(3), 211–218. https://doi.org/10.3152/095820211X12941371876742

Strategisen tutkimuksen neuvosto (2021). Ohje vaikuttavuuskertomusten kirjoittamiseen. Suomen Akatemia, https://www.aka.fi/globalassets/3-stn/2-hankkeille/raportointi-ja-seuranta/vaikuttavuuskertomus.pdf, luettu 2.4.2024.

Tellmann, S. & Muhonen, R. (2024). Sociology in the impact agenda: is there room for public sociology? In Alis Oancea, Gemma Derrick, Xin Xu & Nuzha Nuseibeih (eds.) Handbook on Meta-Research, Edward Elgar, 73-88.

Wilsdon, J. et al. (2015). The Metric Tide: Report of the Independent Review of the Role of Metrics in Research Assessment and Management. DOI: 10.13140/RG.2.1.4929.1363

Reetta Muhonen

Kirjoittaja työskentelee yliopistotutkijana Tampereen yliopistossa Higher Education Groupissa. Hänen tutkimuksensa käsittelevät enimmäkseen korkeakoulu- ja tiedepoliittisia aiheita, kuten vaikuttavuutta. Yliopistotutkijan toimen ohella hän johtaa tutkimuksen yhteiskunnallisen vaikuttavuuden arvioinnin tutkimus- ja kehittämishanketta Tieteellisten seurain valtuuskunnassa.

Julkaisun tiedot: 3/2024, Open Up!-blogi, ISSN 2814-8967