Kehitysvammajärjestöt: STEAn arvio tuloksista ja keskeiset havainnot

STEAn tekemän avustuskohteiden kokonaisarvion mukaan valtaosassa kehitysvammajärjestöjen avustuskohteista toiminnan tuloksellisuus on riittävä.

Järjestökokonaisuuden avustuskohteiden toiminta on vahvistanut toimintaan osallistuneiden ihmissuhde-/vuorovaikutustaitoja ja sosiaalisia taitoja sekä valmiuksia ilmaista ihmissuhteisiin liittyviä tarpeita. Esimerkiksi rohkeus puhua toisille ihmisille on kohderyhmässä lisääntynyt, minkä myötä kohderyhmän kokema yksinäisyys on vähentynyt.

Toiminnalla aikaansaatuja todennettuja tuloksia ovat mm. seuraavat:

• kohderyhmän suhteet läheisiin ovat vahvistuneet
• arjen taitojen ja taloustaitojen vahvistuminen
• digitaitojen kehittyminen, jonka myötä henkilö on esimerkiksi pystynyt opastamaan muita laitteiden käytössä, osallistumaan tilaisuuksiin, hoitamaan itsenäisesti asioitaan verkossa ja saanut uusia yhteydenpitotapoja ja –kanavia
• kohderyhmä on saavuttanut itselleen asettamiaan oppimistavoitteita
• on saatu oma työpaikka
• jaksaminen arjessa parantunut
• yksinäisyys on vähentynyt, ystävien määrä on lisääntynyt
• saatu uusia sosiaalisia kontakteja ja vahvistettu jo olemassa olevia
• itsetunto on parantunut
• liikunnan harrastaminen on lisääntynyt

Toiminnan tuloksellisuuden osoittamista ovat edistäneet:

• selkeät, mitattavat tavoitteet, jotka ovat oikeassa suhteessa kohteen resursseihin
• resurssien oikea kohdentaminen. Esimerkiksi jos on tarkoitus saada aikaan yksilötason hyvinvointivaikutuksia, ei toiminnan painopisteenä ole massaviestintä tai verkkosisältöjen tuottaminen
• ymmärrys vaikutusketjuajattelusta ja sen soveltamisesta järjestötoimintaan
• sisällöllisesti ja määrällisesti rajattu kohderyhmä
• toiminnan tarve selvitetty kattavasti etukäteen kohderyhmiltä ja kohderyhmien riittävä edustus tiiviisti mukana toteuttamassa ja kehittämässä toimintaa
• jatkuva tiedonkeruu toiminnan onnistumisesta kohderyhmältä ja toiminnan muokkaaminen tiedon perusteella
• palaaminen asetettuihin tavoitteisiin säännöllisin väliajoin ja tavoitteiden täsmentäminen kertyneen tiedon perusteella
• epäonnistumisten tunnistaminen ja toiminnan uudelleen suuntaaminen tarvittaessa

Vuonna 2020 koronatilanteessa tuloksellisuutta edisti, jos järjestön toimintamuoto oli kokoontumis- ja tapaamisrajoitteista riippumaton (esim. digivälitteinen toiminta).

Todennettuja tuloksia on kuitenkin aikaansaatu hyvin tai riittävästi vain noin kolmasosassa arvioiduista kohteista (23/76).

Monessa avustuskohteessa toiminta on kohdentunut riittävän hyvin aiottuun kohderyhmään ja toiminnan sisällöt ja volyymit ovat vastanneet riittävästi avustushakemuksella esitettyä. Kerätty tieto ei aina ole ollut tarkoituksenmukaista tulosten osoittamisen näkökulmasta.

Tietoa toiminnasta on kerätty, mutta raportilta ei käy ilmi, kuinka monelta asiasta on kysytty ja kuinka monen näkemyksiin esitetyt tulokset perustuvat. Tällöin tulosten laajuuden arviointi ei ole mahdollista. Kerätty tieto ei myöskään usein palvele toiminnalla tavoiteltujen tulosten aikaansaamista. Esimerkiksi tyytyväisyystieto ei vastaa kysymykseen hyvinvointivaikutusten laajuudesta tai sisällöstä.

Avustuskohteet, joissa raportoidut tulokset on todennettu hyvin tai riittävästi, ovat raportillaan tuoneet kattavasti esiin kuinka monelta asiaa on kysytty, kuinka moni vastasi ja minkä tavoitteen saavuttamista tulos kuvaa.

Koronatilanne vaikutti kehitysvammajärjestöjen toimintaan merkittävästi. Koronarajoitukset estivät laitosvierailut ja ryhmätoiminnot. Moni kehitysvammajärjestöjen toimintaan osallistuneista kuului koronan riskiryhmään, eikä heistä moni halunnut sen vuoksi osallistua lähitapaamisiin, vaikka ne olisi kyetty järjestämään koronaturvallisesti.

Muita tuloksellisuuteen negatiivisesti vaikuttaneita tekijöitä olivat mm.

• työntekijävaihdokset
• laajat ja epärealistisesti asetetut toiminnan tavoitteet sekä/tai puuttuvat tai huonosti tavoitteisiin soveltuvat mittarit
• puutteellinen ymmärrys tai taustatyö kohderyhmän tilanteesta ja tarpeista. Joukossa oli esimerkiksi kohteita, joissa kohderyhmää ei tavoitettu suunnitellusti, koska kohderyhmän tai sen tavoittamisen haastavuus tuli järjestölle yllätyksenä. Kohderyhmää jäi tavoittamatta toimintaan myös, koska toiminta ei vastannut kohderyhmän tarpeita.
• osassa avustuskohteista kohderyhmä ei näkynyt toiminnan suunnittelussa, tarpeen määrittelyssä tai toiminnan toteutuksessa lainkaan, ja kohderyhmältä kerätty seurantatieto toiminnan hyödystä oli määrällisesti niukkaa

Arvio: tukeeko toiminnasta kerätty tieto tulosten osoittamista

Arvio: onko raportoidut tulokset todennettu kerätyllä tiedolla

Arvio: onko toiminnalla saavutettu tavoiteltuja tuloksia

Arvio avustuskohteiden toiminnan tuloksellisuudesta

Keskeiset havainnot

Kehitysvammajärjestöjen tuloksellisuusarvioinnin keskeisiä havaintoja on yhdeksän.

1. Kehitysvammaisen käsite on liudentunut ja laajentunut käsittämään erilaisia erityisryhmiä

• Valtaosalla kehitysvammajärjestöille myönnetyistä avustuksista pyritään edistämään kehitysvammaisten ja vammaisten ihmisten hyvinvointia. Monella avustuskohteella määriteltynä kohderyhmänä eivät kuitenkaan ole kehitysvammaiset tai vammaiset, vaan erityistä tukea tarvitsevat. Erityistä tukea tarvitsevien ja heidän tarpeidensa määrittely, tunnistaminen ja ryhmittely on avustuskohteilla kirjavaa. Toiminnan kohdentumisesta on vaikeaa saada kattavaa käsitystä avustuskohteiden raporttien perusteella. Diagnoosikeskeisyydestä irrottautuminen on järjestöluokassa osin perusteltua, mutta toiminnan tarveperusteisesta kohdentumisesta ei pääosin siksi kyetä varmistumaan.

2. Kohderyhmien moninaisuus ja laajuus heijastuu osin ristiriitaiseen raportointiin esimerkiksi koronan vaikutusten osalta

• Osassa avustuskohteita muutos verkkovälitteisyyteen onnistui hyvin ja tavoitettujen volyymit nousivat jopa räjähdysmäisesti. Osa kohteista vastaavasti raportoi, ettei kohderyhmällä ole välineitä eikä edellytyksiä tulla verkkoon eikä heitä voi koskaan siellä kohdata kokonaisvaltaisesti. Ammattilaisia, viranomaisia ja opiskelijoita on monella kohteella tavoitettu verkkovälitteisesti yli odotusten, mutta koronan eristämien kehitysvammaisten ja muiden erityisryhmien tavoittaminen on ollut heikompaa.

3. Toimintojen kohdentuminen on osin hyvin rajattua, toisaalta hyvin laajaa ja kohdentumatonta

• Osa STEA-avusteisista toiminnoista kohdistui erittäin rajattuun kohdejoukkoon, kuten yksittäisen järjestön omaan jäsenistöön tai työntekijöihin tai tietyn rajatun palvelun tai järjestön palvelutoiminnan asiakkaisiin. Toiminta ei siten tavoittanut laajasti kehitysvammaisten kohderyhmää tai ollut avointa kaikille. Vastaavasti osassa kohteita kohderyhmänä on suuri yleisö, suomalaiset ja laaja kirjo eri alan viranomaisia ja päättäjiä. Näissä kohteissa kohdentumisen toteumaa on vastaavasti vaikeaa jäljittää tai todentaa.

4. Vapaaehtoisia on kehitysvammajärjestöissä vähän suhteessa muihin järjestökokonaisuuksiin

• Yli puolet arvioiduista avustuskohteista raportoi, ettei toiminnassa ole mukana lainkaan vapaaehtoisia. Raportoidun perusteella ei ole arvioitavissa, missä määrin järjestöt tukevat kehitysvammaisten ihmisten mahdollisuuksia toimia vapaaehtoistehtävissä vai onko vapaaehtoistyön tarkoituksena tavoittaa ei kehitysvammaisia ihmisiä toimimaan kehitysvammaisiin kohdistuvassa toiminnassa vapaaehtoisina. Vapaaehtoistyön osuus ja merkitys tulosten aikaansaamiselle jää raportoidun perusteella epäselväksi.

5. Osassa kohteita toiminnan kohderyhmänä on järjestö itse jäsenineen eikä toiminta vaikuta kohdentuvan kehitysvammaisiin ihmisiin tarpeineen

• Tällöin onnistumisen mittarina voi järjestön näkökulmasta olla perustellusti esimerkiksi työntekijöiden tyytyväisyys tai STEA-avustuksen taso ja jatkuvuus, ei järjestölähtöisesti tuotettu hyöty kohderyhmille. STEA-avustusten strategisena tavoitteena on kuitenkin edistää tuloksellista kansalaisjärjestötoimintaa, jossa edetään kohti asetettuja tavoitteita, saadaan aikaan haluttua muutosta ja pystytään osoittamaan millä tavalla kohderyhmä on hyötynyt toiminnasta. Tuloksellisuuden edellytys koskee kaikkia avustuslajeja ja kytkös tuloksellisuuteen tulee olla nähtävissä myös yleisavustuksilla rahoitetussa toiminnassa.

6. Tiedonkeruussa kohderyhmiltä on usealla kohteella mittakaavaristiriita eikä tulosten osoittamiseksi kerätty tieto ole määrällisesti oikeassa suhteessa verrattuna tavoitetun kohderyhmän määrään

• Yksittäisillä avustetuilla toiminnoilla raportoidaan tavoitetun tuhansia, jopa satoja tuhansia kohderyhmästä, mutta tietoa toteutetun toiminnan hyödyistä kohderyhmälle on kerätty tai saatu niukasti, esimerkiksi vain joitakin kymmeniä. Myös tiedonkeruun kohdentuminen kehitysvammaisiin välillisesti esimerkiksi omaisten ja läheisten kautta vaikuttaa yleisesti niukalta. Kehitysvammaisille ja heidän läheisilleen ja sidosryhmille tuotetusta hyödystä on näiden seikkojen vuoksi vaikeaa tehdä kattavaa kokonaisarviota raportoidun perusteella.

7. Kansalaisviestintä on osuudeltaan merkittävä sisältö kehitysvammajärjestöjen STEA-avustuksissa

• Joiltakin osin viestintä vaikuttaa eri järjestötoimijoiden kesken päällekkäiseltä sekä kohderyhmien (suuri yleisö) että viestinnälle määriteltyjen tavoitteiden osalta (esim. lisätään tietoisuutta kehitysvammaisuudesta). Viestinnän ja vaikuttamisen tuloksellisuuden todentamisessa ja myös sen vaikutusketjun laatimisessa on merkittäviä heikkouksia tuloksellisuuden osoittamisen näkökulmasta. Isossa osassa kohteita viestinnän tarkoitusta ja päämäärää ei ole koherentisti kuvattu vaikutusketjulogiikan mukaisesti. Monessa kohteessa ei ole raportoidun perusteella esimerkiksi pohdittu, tai ainakaan avattu STEAlle sitä, miksi tiedon lisääntyminen on olennaista ja mitä sen kautta oletetaan yhteiskunnassa tai sen rakenteissa tai ihmisten käyttäytymisessä tapahtuvan.

8. Kehitysvammajärjestöjen toiminnan todennettu tuloksellisuus on parhaimmalla tasolla kohteissa, jotka keskittyvät aikaansaamaan elinolojen paranemista tai hyvinvointimuutoksia yksilötasolla. Vastaavasti laajoja yhteiskunnallisia muutoksia tavoittelevissa kohteissa tulosten todentaminen on heikkoa.

9. STEA-avustuksia vuonna 2020 saaneista kehitysvammajärjestöistä osalla on omaa palvelutuotantoa ja osan kohderyhmät tulevat toimintoihin oman palvelutoiminnan asiakkaista

• Osassa kohteista on raportoinnin perusteella julkista palvelua korvaava, ei sitä täydentävä rooli. Asia näkyy varsin rajatuissa kohderyhmissä ja siinä, että yhteistyökumppanuudet esimerkiksi kuntien, maakuntien ja sairaanhoitopiirien kanssa ovat vähäisiä. STEA-avustuksilla rahoitettu toiminta ei voi kuitenkaan korvata lakisääteisiä erityisosaamista vaativia palveluita tai subjektiivisia oikeuksia muistuttavia toimintoja.

Kehittämiskohteet

Järjestökokonaisuuden yhteiskehittämisessä tunnistettiin useita toiminnan tuloksellisuuteen liittyviä kehittämiskohteita. Näistä STEA on valinnut avustuskohteiden rahoituksen jatkuvuuden kannalta kaksi keskeisintä kehittämiskohdetta.

Valitut kehittämiskohteet palautuvat tuloksellisuuskatsauksessa tehtyihin havaintoihin.

Seurattavat kehittämistoimenpiteet:

• vapaaehtoistyön merkityksen määrittely toiminnan tuloksellisuuden edistämisen näkökulmasta. Ovatko vapaaehtoiset ensisijaisesti toiminnan resurssi eli edesauttaako vapaaehtoistyö tavoiteltavassa muutoksessa etenemistä vai ovatko vapaaehtoiset ensisijaisesti toiminnan kohderyhmää, joiden hyvinvoinnissa muutoksia tavoitellaan?
• vapaaehtoisten ollessa toiminnan kohderyhmää, sen määrittely ja kuvaaminen, ovatko vapaaehtoiset kehitysvammaisia vai eivät ja kuinka paljon heitä on mukana toiminnassa.
• vapaaehtoisten ollessa resurssi, sen määrittely ja kuvaaminen, mitä toimintoja he aikaansaavat ja mistä toiminnoista he vastaavat, ja miten kuvatut toiminnot liittyvät avustuksella tavoiteltuun muutokseen.

Järjestökokonaisuuden arvioinnissa vuonna 2024 erityistä huomiota kiinnitetään seuraaviin tuloksellisuuden näkökulmasta oleellisiin arviointikysymyksiin:

• Onko pääkohderyhmän eli kehitysvammaisten mahdollisuuksia toimia vapaaehtoisina lisätty avustuksia saavissa järjestöissä? Onko kehitysvammaisille vapaaehtoisille tarjottava toiminta lisääntynyt verrattaessa vuotta 2023 vuoteen 2020?
• Onko kehitysvammajärjestöissä toimivien kehitysvammaisten vapaaehtoisten määrä lisääntynyt?
• Ovatko järjestöt tarjonneet kehitysvammaisille mahdollisuuksia osallistua vapaaehtoistyön ja toiminnan kehittämiseen ja ovatko nämä tarjotut mahdollisuudet realisoituneet, kun verrataan vuoden 2020 toimintaa vuoden 2023 toimintaan?

STEA seuraa arviointikysymysten toteutumista määrällisten tietojen avulla vuosittain. Arviointikysymysten toteutumista seurataan avustushakemusten ja selvitysten sekä yhteiskehittämisen avulla.

Seurattavat kehittämistoimenpiteet:

• kehitysvammajärjestöjen toiminnan kohderyhmien määrittely ja tarvittaessa rajaaminen, jotta STEA-avusteisen toiminnan kohdentumisesta eri ryhmiin saadaan nykyistä kattavampaa tietoa ja avustusten tarkoituksenmukaisuudesta voidaan varmistua nykyistä paremmin
• kohderyhmien järjestölähtöisen toiminnan tarpeiden selkeämpi kuvaaminen hakemuksilla ja raporteilla, jotta voidaan varmistua siitä, että STEA-avusteisen toiminnan julkista palvelua täydentävä rooli säilyy

Järjestökokonaisuuden arvioinnissa vuonna 2024 erityistä huomiota kiinnitetään seuraaviin tuloksellisuuden näkökulmasta oleellisiin arviointikysymyksiin:

• Kohdentuuko kehitysvammajärjestöjen toiminta 2023 aikaisempaa enemmän sellaisiin kohderyhmiin, jolle toimintaympäristön muutoksilla on ollut eniten haitallisia vaikutuksia, kun verrataan vuoden 2020 raportointia?
• Miten järjestöt todentavat tavoittamiensa kohderyhmien tarpeiden olevan yhteydessä toimintaympäristömuutoksiin? Perustuvatko järjestölähtöisen tuen tarpeen määrittelyt aikaisempaa enemmän tutkittuun tietoon?
• Kohdentuuko STEA-avusteinen toiminta aikaisempaa enemmän seuraaviin kehittämisagendassa tunnistettuihin keskeisiin kohderyhmiin: lievästi kehitysvammaisiin, moniongelmaisiin ja haavoittuvassa asemassa oleviin, vaikeimmin kehitysvammaisiin, ikääntyviin kehitys- ja puhevammaisiin henkilöihin, moniperusteisen syrjinnän kohteena oleviin sekä naisiin, lapsiin, nuoriin ja kielellisiin vähemmistöihin?

STEA seuraa arviointikysymysten toteutumista määrällisten tietojen avulla vuosittain. Arviointikysymysten toteutumista seurataan avustushakemusten ja selvitysten sekä yhteiskehittämisen avulla.

Tuloksellisuuskatsaus koostuu kuudesta eri osa-alueesta. Tutustu katsauksen muihin osioihin alla olevien linkkien kautta: