Jatkuvan raportoinnin ja yhteisten mittareiden kokeilut ovat päättyneet

Kokeilun yhteenvetoraportin palautti 158 kohdetta. Suurin osa mukana olleista osallistui molempiin kokeiluihin. Kiitämme kaikkia kokeiluissa mukana olleita järjestöjä yhteiskehittämisestä.

Olemme nyt STEAssa arvioineet molemmista kokeiluista kertyneitä kokemuksia ja uusien toimintamallien tuottamia hyötyjä ja haasteita. Arvioinnin perusteella päädyimme siihen, että kaikille avustuksen saajille yhteisiä pakollisia mittareita ei tulla ottamaan tässä vaiheessa käyttöön. Myös jatkuvan raportoinnin kokeilu päättyi, eikä uutta raportointitapaa ja -lomaketta oteta käyttöön. Molempien kokeilujen tuloksia tullaan kuitenkin hyödyntämään nykyisen tuloksellisuusraportoinnin jatkokehitystarpeita arvioitaessa.

Mitä yhteisten mittareiden kokeilusta opittiin?

Vuoden aikana testattiin useita yhteisiä ja yleisessä käytössä sosiaali- ja terveysalalla olevia mittareita. Kokeilussa käytettyjä yhteisiä mittareita olivat elämänlaatu, toimintakykymittaristo, kykyviisari, osallisuusindikaattori, positiivisen mielenterveyden mittaristo ja yksinäisyysmittaristo. Yhteisten mittareiden lisäksi järjestöt käyttivät omia mittareita.

Kokeilussa mukana olleiden järjestöjen palautteen mukaan kokeilussa olleiden yhteisten mittareiden toimivuutta edistivät kohderyhmän kyky vastata itsenäisesti kyselyihin, kohdennettu asiakasryhmä ja mittareiden soveltuvuus toiminnan tavoitteisiin. Kokeilussa mukana olleista yhteisistä mittareista koettiin olevan hyötyä toiminnan suunnittelussa ja kohderyhmän tarpeiden tunnistamisessa. Näiden mittareiden käytössä haastavana nähtiin sopivan mittausajankohdan löytyminen, osallistujien vähäinen määrä, osallistujakontaktien satunnaisuus, mittareiden ymmärrettävyys sekä kokeilun lyhyt kesto. Koska kokeilussa mukana olleet yhteiset käytetyt mittarit osoittavat mahdollista tapahtunutta muutosta vasta useampien mittauskertojen jälkeen, toistettavuus toteutui pilotissa heikosti. Jos näitä mittareita käytettäisiin pidemmällä aikajaksolla, tulisi toistettavuus paremmaksi ja myös mahdolliseen tapahtuneeseen muutokseen päästäisiin paremmin kiinni. Erityisesti tämä pätee eri vuosien aikana tehtyihin, samalle kohderyhmälle kohdistettuihin mittareihin.

Edistämme STEAssa yhteisten mittarien käyttöä jatkossa osana avustusohjelmien suunnittelua sekä muussa kehittämistyössä. Tällöin on olennaista arvioida, millaisiin toimintoihin ja mille kohderyhmälle ne parhaiten soveltuvat sekä millaisella aikavälillä on realistista odottaa kokeilussa olleiden yhteisten mittareiden osoittavan muutosta. Näitä kokeilussa mukana olleita yhteisiä mittareita voi jokainen halutessaan hyödyntää jatkossakin, jos ne soveltuvat toiminnan tuloksellisuuden osoittamiseen. Valmiita käytössä testattuja mittareita voidaan hyödyntää myös arvioitaessa toiminnan kohdentumista ja suunniteltaessa toiminnan sisältöjä.

Mitä jatkuvan tuloksellisuusraportoinnin kokeilusta opittiin?

Jatkuvan tuloksellisuusraportoinnin kokemukset osoittivat, että raportointitavassa ja -lomakkeessa on vielä kehittämistarpeita. Tähän kokeiluun osallistuneiden kyselyyn vastanneista 76 % (n=107) toivoi jatkossa tuloksellisuuden raportointimuodon olevan jatkuva raportointi. Näin vastasivat erityisesti niiden avustusta saavien järjestöjen edustajat, joilla oli paljon päivittäistä, viikoittaista tai kuukausittaista toimintaa. He kokivat hyötyvänsä jatkuvan raportoinnin struktuurista eli siitä, että kohderyhmän kohtaamisen ja avustuskohteella tehtyjen toimintojen osalta lukuja raportoitiin kuukausitasolla. Tiedot tuli lähettää STEAlle neljännesvuosittain. Useat vastanneista kokivat, että tieto on luotettavampaa, kun sen voi raportoida heti tapahtuneen jälkeen. Toisaalta vastaajat kokivat raportin yhteenvetolomakkeen sekavaksi. Moni vastaaja toivoi myös mahdollisuutta tuoda esille toiminnan laadullisia tuloksia sanallisesti laajemmin mittaritietojen rinnalle. Tuloksellisuusraportin toteutuksessa oli myös teknisiä haasteita, joita ratkottiin vuoden mittaan.

Jatkuvalla tuloksellisuusraportoinnilla näytti olevan selkeämpi yhteys toiminnan vaikutusketjun eri osa-alueiden välillä. Kokeilussa olleella tuloksellisuusraportilla ei kuitenkaan saatu yhtä kattavasti esille laadullista tietoa kuin nykyisin jo käytössä olevalla tuloksellisuusraportilla. Kokeillun jatkuvan raportin yhteenvetolomakkeella olevat määrälliset luvut voivat olla myös liian tulkinnanvaraisia toiminnan arvioimiseksi luotettavasti.

Pidämme jatkuvan tuloksellisuusraportoinnin kokeilut ja huomiot jatkossakin esillä STEAn kehittämisprosesseissa. Selvittämme esimerkiksi mahdollisuutta muuttaa nykyistä tuloksellisuusraporttia siten, että sitä olisi mahdollista täyttää pitkin vuotta. Kokeilut antoivat meille arvokasta tietoa, jotka huomioimme jatkossakin kun suunnittelemme uudistuksia tai muuten kehitämme toimintaamme.