Tuloksellisuuskatsaukset 2020

STEA-avustuksilla rahoitetun toiminnan tuloksellisuuden raportointi uudistui vuonna 2020

STEA-avustuksilla rahoitetun toiminnan tulosten raportointi uudistui ja laajeni koskemaan kaikkia yleisavustusta, kohdennettua toiminta-avustusta ja hankeavustusta saavia toimijoita.

Investointiavustuksilla rahoitetuista hankkeista raportoidaan STEAlle loppuselvityksillä ja Paikka auki -avustusohjelman hankkeet raportoivat avustuksen käytöstä avustusohjelman koordinaatiohankkeelle.

Vuodesta 2020 alkaen toiminnan tuloksellisuudesta raportoidaan STEAlle vuosittain. Uusi tuloksellisuusraportti korvasi aiemmin käytössä olleet väliraportit, loppuraportit ja tuloksellisuus- ja vaikutusselvitykset.

Vuodesta 2021 alkaen uudistettiin myös tuloksellisuuden arviointikäytäntöjä STEAssa. Jatkossa STEA valitsee vuosittain noin 300 järjestöä, jotka toimialansa tai kohderyhmänsä perusteella voidaan arvioida omana kokonaisuutenaan. Tuloksellisuusarviointi toteutetaan kolmen vuoden syklissä siten, että kaikki avustuskohteet arvioidaan kolmen vuoden aikana.

STEAn tuloksellisuusarvioinnissa painotetaan kohderyhmän tavoittamista, avustushakemuksissa kuvattujen tavoitteiden ja tulosten saavuttamista ja saavutettujen tulosten todentamista.

Raporteista tuloksellisuuskatsaukseen

STEA-avustuksilla rahoitetun toiminnan tuloksellisuuskatsausten valmistelu alkaa maaliskuussa, kun järjestöjen raportoinnin määräaika on päättynyt.

• STEAn arvioinnista vastaavat erityisasiantuntijat tekevät ennalta määriteltyjen järjestökokonaisuuksien yksittäisten avustuskohteiden tuloksellisuusraporttien pohjalta avustuskohdekohtaiset tuloksellisuusarviot toukokuun loppuun mennessä
• avustuskohteiden tuloksellisuusarvioiden pohjalta jokaisesta järjestökokonaisuudesta laaditaan STEAssa tuloksellisuuden tilannekuva. Tilannekuvat valmistuvat kesäkuussa.
• tilannekuvaa käsitellään yhteiskehittämisen keinoin järjestöjen, STEAn ja toimialan sidosryhmien kanssa syyskuussa. Yhteiskehittämisen tavoitteena on tunnistaa järjestökokonaisuuden tuloksellisuuden edistämiseen liittyvät keskeiset kehittämistarpeet. Yhteiskehittämisen eri osa-alueita ovat ennakkotehtävä, yhteiskehittämistilaisuus ja näiden pohjalta laadittu kehittämisagenda, jota arvioinnin kohteena olevat järjestöt voivat vielä kommentoida.
• tilannekuvasta ja yhteiskehittämisen havainnoista koostetaan STEAssa järjestökokonaisuuden tuloksellisuuskatsaus, joka julkaistaan STEAn verkkosivuilla marras-joulukuussa. Tuloksellisuuskatsauksissa hyödynnetään myös STEAlle toimitettua vuosiselvitystietoa.

Yleiskatsaus STEA-avustuksilla rahoitettuun toimintaan

Resurssit

Vuoden 2020 toiminnan tuloksellisuudesta raportoi STEAlle 852 järjestöä. Tuloksellisuusraportti toimitettiin yhteensä yli 1800 avustuskohteesta. Näille avustuskohteille myönnettyjen STEA-avustusten yhteenlaskettu määrä oli n. 351 miljoonaa euroa.

STEA-avustuksilla rahoitettujen avustuskohteiden toiminnoissa avustuksilla palkattujen työntekijöiden yhteenlaskettu määrä henkilötyövuosina laskettuna oli 5360. Työntekijöistä merkittävä osa toimi järjestöissä osa-aikaisena tai työntekijäresurssia oli jaettu järjestön eri avustuskohteiden välillä. Yleisin tehtävänimike oli ohjaaja.

Vapaaehtoistoiminta

Vapaaehtoiset ovat useissa STEA-avustuksilla toimivissa sosiaali- ja terveysalan järjestöissä tärkeä resurssi. Vapaaehtoiset vaikuttavat usein suoraan siihen mitä, ja missä laajuudessa, toimintaa voidaan kohderyhmille tarjota. Vapaaehtoiset toimivat monipuolisesti eri tehtävissä, esimerkiksi:

• ryhmänvetäjinä (vertaistukiryhmät, harrasteryhmät, kuten käsityö-, liikunta-, kirjallisuus ja digilaitteiden käyttöön opastavat ryhmät)
• kauppa- ja asiointiapuna
• tilaisuuksissa saattajina ja kahvitarjoilujen järjestäjinä
• tukiystävinä
• toiminnan kehittäjinä
• kohtaamispaikkojen emäntinä ja isäntinä
• retkien toteuttajina jne.

Sen lisäksi, että vapaaehtoiset mahdollistavat järjestötoimintaan osallistumisen muille, he ovat myös itse hyötyneet toimintaan osallistumisesta. Vapaaehtoistoiminta on tuonut toimijoiden omaan arkeen iloa, lisännyt vapaaehtoisten omaa hyvinvointia, tuonut uusia ystäviä ja uudenlaista osaamista.

Määrällisesti vapaaehtoisia toimi eniten monialajärjestöissä, ikääntyneiden toiminnallisissa järjestöissä sekä lapsi- ja perhetyön järjestöissä, ja avustuskohteiden lukumäärään suhteutettuna kaikkein eniten eläkeläisjärjestöissä. Vapaaehtoisten määrään toiminnassa vaikuttaa järjestön toiminnan luonne, esimerkiksi vähiten vapaaehtoisia toiminnassaan hyödyntävät järjestöt, jotka tarjoavat ammattilaisten tukea kohderyhmälleen. Ikääntyneille ja perheille suunnatussa toiminnassa keskeisessä asemassa on usein myös vertaistuki.

Yhteistyökumppanit

Tuloksellisuusraporttien perusteella järjestöt tekevät yhteistyötä laajasti ja monipuolisesti eri kumppaneiden kanssa. Toimintansa tuloksellisuuden kannalta tärkeimpinä yhteistyökumppaneina järjestöt pitivät toisia STEA-avustusta saavia järjestöjä. Toiseksi tärkeimpänä näyttäytyivät ”muut”-yhteistyökumppanit ja kolmanneksi merkittävimpinä kunnat.

Muita yhteistyökumppaneita olivat mm. oppilaitokset, yritykset, kuntayhtymät, ministeriöt, THL ja aluehallintoviranomaiset. Joukossa oli myös mm. säätiöitä, valtion virastoja ja yliopistoja.

Järjestökokonaisuuksien tuloksellisuuskatsaukset sisältävät tarkemman kuvauksen arvioinnin kohteena olleiden järjestöjen resursseista.

Tavoitetut kohderyhmät

Tuloksellisuusraporteilla raportoitiin myös STEA-avustuksilla rahoitettujen avustuskohteiden toimintaan osallistuneiden lukumääriä ja eri toiminnoissa kohdattujen kohderyhmien lukumääriä. Toimintaan osallistuneiden ja toiminnassa kohdattujen lukumääriin sisältyy ns. fyysisten kohtaamisten lisäksi paljon erilaisia verkkovälitteisiä kohtaamisia ja verkkopalveluiden käyttäjien/kävijöiden lukumääriä, jotka joillakin toimijoilla muodostavat huomattavan osan raportoiduista kohtaamisista.

Esimerkiksi verkkopalveluiden käyttäjä- ja kävijämäärien analytiikkaan liittyy paljon tulkinnanvaraa, joka osaltaan vaikeuttaa tarkkojen osallistuja- ja kohtaamiskertojen raportointia ja arviointia. Ilmeistä kuitenkin on, että yksittäiset henkilöt ovat kuuluneet useankin järjestön kohderyhmään, ja hakeneet apua ja tukea eri elämänalueiden haasteisiin usealta eri järjestötoimijalta, etenkin verkon välityksellä.

Osa järjestöistä raportoi toimintaan osallistuneista myös ikä- ja sukupuolijakauman mukaan. Osallistuneiden ikä- ja sukupuolijakauman raportointi oli vapaaehtoista, koska kaikista toiminnoista tiedon kerääminen ei ole mahdollista tai toiminnan tuloksellisuuden seurannan kannalta oleellista.

Ikä- ja sukupuolijakauman mukaan raportoituja toimintaan osallistuneita oli vuoden 2020 aikana yhteensä 6 727 265. Luku on korkea ja tukee osaltaan arviota siitä, että yksi ihminen osallistuu useamman eri avustuskohteen ja järjestön toimintaan. Ikä- ja sukupuolijakaumasta raportoineiden avustuskohteiden toimintaan osallistuneista suurin osa oli naisia, 61,5 %. Ikäjakaumaltaan suurin osa (63 %) toimintaan osallistuneista oli 30 –62-vuotiaita.

Järjestökokonaisuuksien tuloksellisuuskatsaukset sisältävät tarkemman kuvauksen ja arvion arvioinnin kohteena olleiden järjestöjen tavoittamista kohderyhmistä.

Toimintamuodot

Järjestöjen perustoimintana raportoidusta toiminnan ja tuotosten määrästä 97 % on viestintää (mm. verkkosivujen kävijämäärät ja sivustojen katselumäärät, sosiaalisen median julkaisujen ja seuraajien määrä, uutis- ja jäsenkirjeet, lehdet ja muut julkaisut ja materiaalit). Järjestöjen perustoimintana on myös raportoitu järjestöjen ja yhdistysten muuhun hallintoon liittyviä sisältöjä (kuten esimerkiksi henkilöstöhallinto, yhdistyshallinto). Tämän lisäksi järjestöjen perustoiminta sisältää erilaisia edunvalvonta ja vaikuttamistoimintaan liittyviä yksilö- ja verkostotapaamisia, sekä koulutus-, ryhmä- neuvonta- ja ohjaustoimintaa.

Muut toimintamuodot -luokassa raportoitu toiminta vaihtelee suuresti avustuskohdekohtaisesti, mutta tyypillisesti luokassa raportoituja toimintoja olivat esim. erilaiset viestintätoiminnot ja verkostoitumistilaisuudet sekä erilaisten materiaalien tuottaminen.

STEA täsmentää tuloksellisuusraportin toimintamuodot-osion osalta raportointilomaketta ja -ohjeistusta vuoden 2021 raportointia varten, jotta raportointi tuottaisi jatkossa yhdenmukaisempaa tietoa toiminnoista.

Yksilöllisen tuen kohtaamiset pitävät sisällään suurimmaksi osaksi kasvokkain annettua yksilöllistä tukea, mutta myös verkko- ja puhelinvälitteisesti tarjottua tukea (chatti-, puhelin ja muu verkossa tapahtuva kohtaaminen). Yksilöllisenä tukena raportoitu toiminta on ollut esimerkiksi vapaaehtoisen tai ammattilaisen toteuttamaa neuvontaa, ohjausta ja muuta tukea, kuten esimerkiksi palveluneuvontaa, ystävätoimintaa, keskusteluapua.

Järjestökokonaisuuksien tuloksellisuuskatsaukset sisältävät tarkemman kuvauksen ja arvion arvioinnin kohteena olleiden järjestöjen toiminnoista ja tuotoksista.

Tulosten seuranta ja todentaminen (vuonna 2021 arvioidut avustuskohteet)

Myös järjestöjen toiminnot tukevat aiottujen tulosten aikaansaamista hyvin tai riittävästi. Näiden kolmen tuloksellisuuden osatekijän (kohderyhmän määrällinen tavoittaminen, kohderyhmän laadullinen tavoittaminen, toimintojen kytkös aiottuihin tuloksiin) osalta järjestöt seuraavat toimintansa tuloksellisuutta tarkoituksenmukaisella tavalla.

Vain alle puolessa arvioiduista avustuskohteista toiminnan tulokset perustuvat kerättyyn tietoon. Useassa raportissa tuloksina on raportoitu toimintojen lukumääriä ja tavoitettujen henkilöiden lukumääriä, mutta yhteys toiminnan varsinaisiin tavoitteisiin (kohderyhmässä tapahtunut muutos) jää todentamatta. Haaste koskettaa erityisesti viestintää, ennaltaehkäisevää järjestötoimintaa ja edunvalvontatoimintaa, jonka tulokset ja vaikutukset ovat usean eri toimijan ja toiminnan aikaansaamia ja realisoituvat usein viiveellä.

Yhtenä havaintona järjestöjen kokonaisuutta tarkasteltaessa voidaan myös todeta, että avustusta saavan järjestön yhteenlaskettujen avustusten määrä ei näytä olevan suoraan suhteessa arvioituun tuloksellisuuteen. Isojen tai paljon avustusta saavien järjestöjen toiminta ei erotu arvioissa tuloksellisempana kuin pienten tai pienempiä avustuksia saavien järjestöjen toiminta.

Korona vaikutti järjestötoimintaan merkittävästi

Vuonna 2020 alkanut koronapandemia vaikutti STEA-avustuksilla rahoitettujen avustuskohteiden toimintaan laajasti.

Vaikutukset olivat jonkin verran suurempia pienimmillä avustuskohteilla, joiden mahdollisuudet kehittää uusia toimintamuotoja tai siirtää toimintoja verkkoon ovat olleet suuria toimijoita vähäisempiä.

Pandemian vaikutus on ollut merkittävin fyysiseen kohtaamiseen perustuvissa toimintamuodoissa. Avustuskohteista yli kahdessa kolmasosassa osallistuneiden määrä on pudonnut pandemian vaikutuksesta. Osallistuneiden määrä on noussut erityisesti rikosten uhrien, aineellista apua tarvitsevien ja eroperheiden alakohderyhmissä.

Osallistuneiden määrä on pudonnut eniten kohtaamispaikoissa. 86 % avustuskohteista, joiden päätoimintamuoto on kohtaamispaikkatoiminta, arvioi osallistuneiden määrän vähentyneen pandemian seurauksena. Ryhmätoiminnan kohteissa osuus on myös korkea, 72 prosenttia. Yksilöasiakastoimintaa on joko siirretty verkkoon, järjestetty terveysturvallisesti tai joissain tapauksissa jätetty tauolle. Ryhmämuotoista toimintaa on pääasiassa joko siirretty verkkoon tai jätetty tauolle. Sekä yksilö- että ryhmämuotoisia tapaamisia on myös siirretty ulkotiloihin.

Vuoden 2020 aikana 39 % avustuskohteista sai kuitenkin toimintaan mukaan uusia vapaaehtoisia. Erityisesti vapaaehtoisten antama yksilöllinen tuki, vapaaehtoistyön koordinointi, puhelimessa annettava yksilöllinen tuki, perhekeskukset ja vapaaehtoisten ohjaamat ryhmät ovat toimintamuotoja, joihin myös pandemian aikana on ohjautunut vapaaehtoisia.

STEA on huomioinut avustuskohteiden tuloksellisuusarvioinnissa koronan vaikutukset tavoitetun kohderyhmän määrään ja toiminnan laajuuteen. 

Tuloksellisuuden arvioinnin kehittäminen jatkuu

Syyskuussa 2021 järjestettyjen STEAn ja järjestöjen yhteiskehittämistilaisuuksien tavoitteena oli myös STEAn tuloksellisuusraportointi – ja arviointiprosesseihin liittyvien kehittämiskohteiden tunnistaminen.

Keskeisinä teemoina esille nousivat avustustoiminnan ennakoitavuuteen liittyvät haasteet, joita viimeaikaiset toimintaympäristön muutokset ovat tuoneet esiin, esim. avustusmäärärahoihin ja koronatilanteeseen liittyvät epävarmuustekijät. Muutosten toteuttaminen ennakoidusti ja niistä viestiminen niin, että muutoksiin pystytään myös järjestökentässä riittävän varhaisessa vaiheessa varautumaan, on kirjattu myös STEAn vuonna 2020 käyttöön ottamaan strategiaan. Avustustoiminnan uuden rahoitusmallin valmistelussa on myös korostettu, että uuden mallin tulee lisätä avustustoiminnan vakautta ja ennustettavuutta sekä rahoittajien että avustuksen saajien näkökulmasta.

STEAn ja järjestöjen välistä vuorovaikutusta toivotaan myös vahvistettavan. Voidaankin todeta, että yhteiskehittämistilaisuuksien tyyppisiä vuorovaikutustilaisuuksia tulee järjestää jatkossakin. Myös muita järjestötapaamisia pyritään jatkossa mahdollistamaan nykyistä enemmän. Vuorovaikutuksen ja paremman tiedonkulun tukemiseksi STEA on myös nimennyt organisaatiostaan järjestökohtaiset yhteyshenkilöt eri avustustoiminnan prosesseihin.

Kaikissa arvioiduissa järjestökokonaisuuksissa yhteiseksi kehittämiskohteeksi nousi toiminnan tuloksellisuuden todentaminen ja siihen liittyvät tukitoimet. STEA on järjestänyt vuosittain arviointi-koulutuksia ja vastauksena yhteiskehittämistilaisuuksissa esitettyihin toiveisiin koulutuksia tullaan järjestämään myös jatkossa. Koulutuksia painotetaan tuloksellisuuden seurantaan ja mittaamisen. Erityisen haastavaksi tuloksellisuuden osoittaminen todettiin ennaltaehkäisevässä toiminnassa ja vaikuttamistoiminnassa, jossa tulokset näkyvät vasta pidemmän ajanjakson jälkeen, myös tähän haasteeseen etsitään yhteistä ratkaisua.

Yhteiskehittämistilaisuuksissa todettiin myös tarve jakaa entistä enemmän tietoa järjestöissä kehitetyistä hyvistä käytännöistä ja tuloksista. STEA kannustaa avustusta saavia toimijoita kertomaan toimintansa tuloksista aktiivisesti myös julkisesti, esimerkiksi erilaisissa järjestötilaisuuksissa, verkkosivuillaan tai kuvaamalla toimintaansa Innokylä.fi-verkkopalvelussa.

STEAn tuloksellisuusarvioinnista järjestöille antamaan palautteeseen kohdistui myös toiveita. Vuoden 2020 tuloksellisuusraporteista palaute toimitettiin arvioinnin kohteena tänä vuonna oleville järjestöille vuosiselvityspalautteen yhteydessä. Palautteen kehittämistoiveita käsitellään STEAssa tulevana talvena, osana arvioinnin kehittämisprosessia vuoden 2022 tuloksellisuusarviointia varten.  

Järjestökokonaisuuksien tuloksellisuuskatsaukset:

Kymmenestä arvioinnin kohteena olleesta järjestökokonaisuudesta laadittiin oma tuloksellisuuskatsauksensa:

Järjestökokonaisuuksien tuloksellisuuskatsaukset koostuvat järjestöjen STEAlle tuloksellisuusraporteilla raportoimasta tiedosta, STEAn tiedon perusteella tekemästä arviosta sekä syyskuussa 2021 järjestettyjen yhteiskehittämistilaisuuksien perusteella laadituista kehittämissuunnitelmista. Katsausten tavoitteena on tuottaa järjestöjen ja toimialan käyttöön tietoa järjestötoiminnan tuloksista ja yhteiskunnallisista vaikutuksista sekä tarjota sosiaali- ja terveysalan järjestöille tietoa siitä, miten toiminnan tuloksien seurantaa ja tulosten ja vaikutusten todentamista ja arviointia voi jatkossa kehittää. Tuloksellisuuskatsauksia hyödynnetään myös STEAssa tulosten arviointi- ja avustusvalmistelutyön kehittämisen tukena.

Tutustu tuloksellisuuskatsauksiin:

Tutustu myös: