Tässä blogikirjoituksessa tarkastellaan koulutuksien vaikutuksia ja vaikuttavuutta alueellisesta näkökulmasta. Aihetta käsiteltiin Lapin sairaanhoitopiirin koulutuskoordinaattorille tehdyssä haastattelussa keväällä 2021. Koulutuskoordinaattori toimii alueen ja organisaation yhteisten koulutuksien organisoijana. Haastattelukysymyksissä oli hyödynnetty Soili Tykkyläisen (2017) laatiman Vaikutusten arviointi -kanvaasin sisältöä (ks. Tykkyläinen 2017). Haastateltu koulutuskoordinaattori tarkensi ja täydensi vastauksiaan vielä blogin raakaversioon, mikä lisäsi aineiston luotettavuutta. Aineiston analyysissa käytettiin Kirkpatrickin (2016) nelitasoista mallia osaamisen vaikutusten arviointiin. Sen mukaan koulutuksen vaikuttavuuden arvioinnin tasoja ovat reaktiot, oppiminen, toiminnan muutokset sekä tulokset ja vaikutukset. (Tornbow & Zeidman-Karpinski 2016). Alueellisten koulutusten vaikuttavuuden arviointi linkittyy myös vuonna 2016 Lapin sairaanhoitopiirin alueelle laadittuun Sote-tuotantoalueen osaamisen kehittämisen toimintamalliin (ks. Karjalainen, Räisänen & Saranki-Rantakokko 2016).
Sote-alan organisaatioiden ja koulutuksen osaamisen kehittämisen toimintamalli
Lapissa on laadittu vv. 2015-2016 maakunnan sotealan organisaatioiden ja koulutuksen osaamisen kehittämisen toimintamalli (Karjalainen, Räisänen &Saranki-Rantakokko 2016). Siinä osaamisen kehittämisessä keskiössä on osallistava toimintatapa, yhtenäiset käytännöt ja avoin tieto. Osaamisen kehittyminen tapahtuu verkostomaisessa, eri tahojen voimavaroja yhdistävässä toiminnassa mutta myös organisaatioiden sisäisenä toimintana. Osaamisen kehittämiseen ja johtamiseen katsotaan kuuluvan 1) strategiseen suunnitteluun kiinnittyvä osaamisen ennakointi, 2) käytännön toimintaan ja henkilöstön näkemyksiin perustuvan osaamisamistarpeiden määrittely ja arviointi sekä 3) koko sotealueen osaamisen kehittämistä tukeva ja ohjaava toiminta (Karjalainen ym. 2016 34,35). Kuviossa 1 on laadittu kiteytys Karjalaisen ym. (2016) tuottamasta verkostomaisen osaamisen kehittämisen ja johtamisen toimintamallista.
Toimintamallissa (Karjalainen ym. 2016) todetaan, että osaamisen määrittely ja arviointi tapahtuvat soteorganisaatiossa yhtenäisesti sovittujen käytäntöjen mukaisesti ja yhteistyössä henkilöstön kanssa. Mallin mukaan osaamista koskevat tiedot tallennetaan yhteiseen tietojärjestelmään, mikä tekee tiedosta näkyvää ja mahdollistaa osaamisen johdonmukaisen ja pitkäkestoisen suunnittelun ja käytön. Näin ollen yhteinen tietojärjestelmä muodostuu sotealueen toimijoiden osaamisen johtamisen, ennakoinnin ja kehittämisen keskeiseksi työvälineeksi ja tietovarannoksi. Osaamista koskevaa tietoa on mahdollista jakaa myös kumppanuusverkoston eri osapuolille. (Karjalainen ym. 2016, 34.)
Toimintamallin mukaan (Karjalainen ym. 2016) henkilöstön osaamistarpeiden määrittely ja arviointi tapahtuvat organisaatioiden yksiköissä. Osaamisen kehittäminen kuvataan työyhteisöä aktivoivaksi ja yhdistäväksi asiaksi, jossa osaamistarpeita ja -kriteereitä, tehtäväkuvauksia, hiljaista tietoa ja mentorointia käsitellään yhdessä. Osaamisen arvioinnissa pidetään oleellisena toiminnan kannalta kriittisten osaamistarpeiden ja työntekijöiden todellisten osaamispääomien tiedostamista. Arvioinnissa tarkastellaan tietoja työntekijöiden kyvyistä ja taidoista ja verrataan niitä organisaation osaamisvaatimuksiin. Tietojen käsittelyssä käytetään tietojärjestelmää. Puuttuvaa osaamista voidaan hankkia paitsi koulutuksilla myös hyödyntämällä organisaatioiden sisäistä osaamista. (Karjalainen ym. 2016, 35-36.)
Sairaanhoitopiirin reaktiot alueellisen osaamisen kehittämiseen
Haastatteluaineiston mukaan sairaanhoitopiirille oli laadittu organisaation osaamisen kehittämissuunnitelma. Suunnitelma hyväksyttiin sairaanhoitopiirin yhteystyöryhmässä vuosittain. Sen katsottiin noudattavan lakiin asetettuja vaateita ja kattavan organisaatioiden henkilöstöjen ja ammattiryhmien yhteiset osaamistarpeet. Sairaanhoitopiirissä oli myös organisoitu osaamisen kehittämiseen keskitettyjä toimintoja. Näihin kuului myös alueellisten koulutusten koordinointi. Tähän tehtävään oli sisällytetty alueellisten osaamistarpeiden arviointi, koulutuksien suunnittelu, koulutustilanteiden järjestelyt, koulutuksia koskevan tiedon koonti ja verkostotoiminta. Alueellisen osaamisen ennakoinnin ja kehittämisen suunnittelu oli muodostettu vuodesta 2014 alkaen laadittujen sosiaali- ja terveydenhuollon järjestämissuunnitelmien pohjalta. Alueellisen osaamisen ennakointi ja kehittäminen oli siirtymässä vuoden 2023 alusta hyvinvointialueiden aluevaltuustojen tehtäväksi, samalla lakkautetaan Perusterveydenhuollon yksiköt.
”Suunnitelman tuli vastata sisällöiltään osaamistarpeita. Lisäksi suunnitelmassa oli ilmoitettu koulutuksen ajankohdat, tilat ja koulutuksessa käytettävät menetelmät.”
Osaamis- ja koulutustarpeet kerättiin organisaatioiden yksikköjen esihenkilöiltä, koska he kokosivat henkilöstöjensä osaamistarpeet osaamiskartoituksista ja /tai kehityskeskusteluista. Henkilöstön työhyvinvoinnin huomioon ottaminen osaamisten määrittelyissä todettiin myös kuuluvan esihenkilöiden tehtäviin henkilöstöpoliittisten ohjeiden mukaisesti. Lisäksi osaamisten määrittelyissä esihenkilöillä oli ollut käytössä henkilöstön eläköitymistä, siirtoja tai toiminnan muutosta koskevat tiedot.
”Esimiestyön tehtävä, henkilöstöpoliittisten ohjeiden mukaisesti, työhyvinvointivastaava auttaa näissä selvityksissä. Hän kasaa henkilöstökertomuksen.”
”Osaamistarpeiden määrittely perustuu osaamiskartoituksiin, kehityskeskusteluihin, ennakointitietoon”
Haastattelussa tuli esille, että osaamisen hallinnan ja henkilöstötarpeen ennakoinnin työvälineeksi oli sairaanhoitopiirissä hankittu tietokoneohjelma . Se perustuu Hanhisen (2010) tutkimukseen, jonka mukaan osaamisen hallinnan lähtökohtana on organisaation visio ja strategia. Niiden pohjalta on määriteltävissä organisaation osaamisresurssi ja osaamistarve. Osaamistarpeet pohjautuvat niihin osaamisvaatimuksiin, joita vision saavuttaminen organisaatiossa edellyttää. Osaamisvaatimuksia ja henkilöstön olemassa olevaa osaamista voidaan verrata toisiinsa ja tunnistaa osaamisvajeet eri osaamisalueilla. Osaamisvajeisiin vastaaminen edellyttää kehittämistoimenpiteitä kuten koulutuksia ja kehittämishankkeita. (Hanhinen 2010, 198-200.) Toinen tässä yhteydessä käytössä oleva tärkeä verkkopalvelu kerrottiin olevan Lapin Kaira -portaali . Kaira-portaaliin tieto siirtyy eri tietokannoista ja suodattuu käyttäjän laatimien ehtojen mukaisesti eli tieto on suodatettavissa esimerkiksi käyttäjäryhmittäin tai yksikön taloustilanteen tai asiakastyytyväisyyden mukaan. (LapIT 2018)
Alueellisessa osaamisen kehittämissuunnitelmassa koulutukset kohdentuivat erilaisille ryhmille. Osa koulutuksista oli tarkoitettu kaikille, osa tietyille ammattiryhmille, osa taas henkilöille, joiden tehtävät edellyttivät osaamisen määräaikaista päivittämistä. Kehittämissuunnitelmaan oli kerätty myös ns. marginaalikoulutuksia kuten kielikoulutuksia (esim. saamen kieli) tai äkillisten muutosten kuten koronan edellyttämiä koulutuksia.
”Erikoisasiat jäävät yksikön asiaksi, sisäiset koulutukset erotellaan. Laajat yleiset aiheet yhteiseen keskusteluun. Erikoisteemat alueellisiksi koulutuksiksi”..
”…hoitoketjutyöstä tulevaa alueellisen yhteistyön kehittämisestä nousevat koulutustarpeet, soteuudistus ja uuden sairaalan rakennushanke, tarkentavat koulutustarpeita koko ajan”
Tyydytystä oli tuottanut erikoissairaanhoidon ja perusterveyden huollon yhteiseksi tunnistetut koulutustarpeet ja niihin vastaavien koulutusten yhteistoteutukset. Lisäksi organisoidulla toiminnalla oli vastattu nopeasti äkillisen uhkan eli koronapandemian synnyttämään alueelliseen osaamistarpeeseen. Ensipalaute koulutukseen osallistujien tyytyväisyydestä oli kerätty yleisen keskustelun yhteydessä. Kuitenkin varsinainen koulutuksen kokonaisarvioon vaikuttava palaute oli käsitelty yksiköissä tapahtuvassa esihenkilön ja työntekijän välisessä kehityskeskustelussa. Tämä palaute välittyi myös keskitettyyn kehittämisyksikköön. Alueelliset koulutukset oli tallennettu henkilöstöhallinnon ohjelmaan. Sairaanhoitopiirissä oli osaamisen hallinnan ja henkilöstötarpeen ennakoinnin ja hallinnon työvälineenä tietokoneohjelma, josta oli saatavilla myös tiedot henkilöstön osaamisten kertaustarpeista.
”alueen Perusterveydenhuollon yksikköjen yhteiset koulutustarpeet otettiin huomioon.”
”Kunnista tullut tutustujia, benchmarkkaus ja simulaatio, kaikkinensa rajapinnat ylittävää vuorovaikutusta.”
”Henkilöstöhallinnon ohjelmaan isommat koulutukset, määräaikaiset luvat ja pätevyydet, C&Q (antaa myös muistutukset) … työmarkkinalaitokselle koulutusraportit samoin kuin henkilöstökertomukseen vuosittain”
”Tieken koulutustiimi kysyy koulutuspalautteita”
Alueellista oppimista
Haastattelun mukaan yhteisten koulutusten suunnittelu ja koordinointi oli lähentänyt ja edistänyt erikoissairaanhoidon ja perusterveydenhuollon ja myös alueen perusterveydenhuollon yksikköjen välistä yhteistyötä. Henkilöstöjen kehittämis- ja koulutussuunnitelmat olivat yksikköjen esihenkilöiden ja henkilöstöjen yhdessä laatimia. Esihenkilöt koordinoivat henkilöstöjensä osallistumiset koulutuksiin. Alueellisten koulutusten valinta ja suunnittelu tapahtuivat budjettivuoden mukaisesti. Osallistujien sitoutuneisuutta ja koulutukseen liittyvää tyytyväisyyttä todettiin käsiteltävän esihenkilön ja alaisen välisissä kehityskeskusteluissa. Myös hankitun osaamisen käyttöönottoa oli käsitelty kehityskeskusteluissa.
”…yhteistyö alueen Perusterveydenhuollon yksiköiden välillä”
”Esimies päättää koulutuksista hierarkian mukaan.”
Alueellisten koulutusten suunnittelu pohjautui haastattelun mukaan henkilöstön osaamisvajeiden pohjalta määriteltyihin koulutustarpeisiin. Kouluttajavalinnoissa oli hyödynnetty aiemmista toteutuksista saatuja palautteita. Kouluttajavalintoja oli tehty alueellisesti mutta myös ERVA-alueen toimijoiden kanssa. Koulutuksien rinnalla osaamista oli kehitetty organisaation sisäisillä menetelmillä kuten työkierto, koulutukset, mentorointi, perehdyttämien ja benchmarking. Koulutuksia oli toteutettu myös alueellisina verkkokoulutuksina. Kuntien henkilöstöjä oli perehdytetty erikoissairaanhoidossa tehtävään työhön ja myös erilaisia simulaatioita oli käytetty oppimisen tukena.
”Osaamisen kehittämisessä hyödynnettiin verkkokoulutusta, OYS:n erityisvastuualueen sairaaloiden sekä eri organisaatioiden, oppilaitosten ja hankkeiden koulutustarjontaa.”
Ammatilliseen osaamisen kehittämiseen sisällytettiin myös oppisopimuskoulutusten tietopuoliset osiot, näyttötutkinnot, työsuojelukoulutukset sekä mentorointi. Lisäksi osaamisen kehittämisen muotona oli organisaatioiden ja yksiköiden välistä vertailukehittämistä, työn varjostamista, perehtymisjaksoja ja työkiertoa sekä simulaatio-oppimista.
”Koulutuksien huolellisella suunnittelulla”
”Esimiestaso määrittää, kenen osaamista kehitetään, taustalla toiminnan muutokset ja osaamismäärittelyt”
”Yhteistyötä ERVA-alueen koulutusasiantuntijoiden kanssa, koulutuksen järjestäjien kanssa”
”Työkierto, koulutukset, mentorointi, perehdyttämien, simulaatiot, benchmarkkaus, verkkokoulutus yms.”
”Kunnista tullut erikoissairaanhoitoon tutustujia”
Toiminnan muutoksia
Haastattelusta ilmeni, että organisaation osaamisen kehittäminen oli tehty suunnitelmalliseksi ja koordinoiduksi. Alueellisten koulutusten koordinointi, arviointi ja raportointi oli keskitetty Tietohallinon ja kehittämisen yksikön (Tieke) koulutustiimille. Osaamistarpeiden tunnistaminen ja koulutustarpeiden arviointi oli organisoitu sairaanhoitopiirin tulosalueille ja yksikköihin.
”koulutustiimi tekee koulutussuunnitelman, joka menee henkilöstöjohtajalle ja LSHP-yhteistyöryhmään, osaamisen kehittämissuunnitelmaa varten”
”osaamistarpeiden selvittäminen yksikköjen sisäistä toimintaa”
”osaamiskartoitukset, kehityskeskustelut, ennakointitieto… yksiköissä katsotaan eläköityvät, toiminnan muutokset, siirrot jne.”
Alueellisesti järjestettyjen koulutusten tavoitteena katsottiin olevan organisaation strategioiden ja painopisteiden mukaisen ja soteuudistuksen suuntaisen osaamisen ja toiminnan vahvistaminen. Toisaalta koulutuksille oli pyritty vastaamaan tulosalueilla tunnistettuihin osaamisvajeisiin. Koulutustarpeiden arvioinnissa oli hyödynnetty henkilöstön näkemyksiä ja tietojärjestelmiä, jotka edistivät tietoon perustuvia analyysien tekoa.
”Strategiset painopisteet, äkillisten tarpeiden ennakointi, pitää ottaa huomioon, mitkä ovat jatkuvat säännölliset koulutukset”
”…hoitoketjutyöstä tulevaa alueellisen yhteistyön kehittämisestä nousevat koulutustarpeet, soteuudistus ja uuden sairaalan rakennushanke, tarkentavat koulutustarpeita koko ajan”
”Mitkä ovat meidän painopisteet strategian pohjalta, joihin koulutukset pitää linkittyä.”
”Kaikkien ammattiryhmien tarpeet… kysytään johtavilta henkilöiltä, mitä yhteiseen haluavat ottaa mukaan.”
Koulutuksessa hankitun osaamisen käyttöön ottoa pidettiin koulutuksen vaikuttavuuden olennaisena tekijänä ja esihenkilön olevan uuden osaamisen hyödyntämisessä tärkeässä osassa. Osaamisen kehittyminen oli nähty toiminnan kehittymisestä. Usein muutos oli ollut nopeasti todettavissa. Muutosta tuottava osaaminen oli voitu hankkia monilla tavoilla. Koulutukset ja niiden suunnittelu ja hankinta olivat tapahtuneet alueellisesti tai ERVA-alueella. Koulutuksien kokonaisarvioiden katsottiin palvelevan päätöksentekoa tulevista koulutuksista. Kokonaisarviot oli raportoitu henkilöstökertomukseen ja työllisyysrahaston raporttiin.
”arviointi tapahtuu toiminnassa, muutos näkyy usein nopeasti”
”Työyksikön asia, jää johtamiseen ja esimiehiin, miten uutta osaamista hyödynnetään, joten suunnittelu on todella tärkeää.”
”Koulutuksen vaikutukset voidaan saada leviämään työyhteisössä esimiesten tuella”
”koulutuksen myönteiset vaikutukset asiakaspalautteista, työtyytyväisyydestä”
”Yhteistyötä ERVA-alueen koulutusasiantuntijoiden kanssa, kysytään kokemuksia kouluttajasta”
Haastattelun mukaan koulutuksen vaikutuksien ja vaikuttavuuden arvioinnissa oli käytetty kehityskeskustelujen tuloksia, palautteita, toiminnan ja hoitoketjutyön kehitystä kuvaavia tietoja sekä erikoisosaamisen käyttöönottoa. Arviointia kerrottiin tehtävän organisaation eri tasoilla ja eri näkökulmista. Tietoja oli raportoitu henkilöstökertomukseen ja kuntayhtymän alueellisten koulutusten seurantaan. Lisäksi koulutustietoja oli välitetty Terveyden ja hyvinvoinnin laitokselle (THL), joka oli käyttänyt niitä muun muassa tuottavuusvertailuihin. Tuottavuusvertailussa oli arvioitu ja vertailtu muun muassa palvelujen tuottajien prosessien sujuvuutta. Lisäksi koulutustietoja oli välitetty muihin kansallisiin raportteihin.
”kehityskeskustelut, koulutuspalautteet”
”arvioinnit ammattiryhmätasolla koko sairaanhoitopiirissä”
”yksikkötasolla, tulosaluetasolla, sairaanhoitopiirin tasolla… henkilöstökertomus, kuntayhtymätasolla alueelliset koulutukset, THL tuottavuusvertailut -ennakointitietoa ja toiminnan kehittämistä – näkyy tiettyjen prosessien heikkous. Muut kansalliset raportit.”
”palautteet, toiminnan kehittäminen, hoitoketjutyö, erikoisosaamisen käyttöönotto, henkilöstökertomus ja työllisyysrahasto”
”asiakaspalautteet, työtyytyväisyys, Kairasta”
”koulutuspäivien määrät, asiakasmäärät, haipro, potilasvalitukset, asiakaskantelut, muistutukset, opiskelijapalautteet, yksikköjen koulutussuunnitelmien toteutumisen”
Koulutuksen vaikuttavuuden alueellinen arviointi
Kirkpatrickin (2016) vaikuttavuuden arviointia kuvaavien tasojen mukaan alueellisten koulutusten reaktiotasolla alueellisen osaamisen kehittäminen ja siihen liittyvät koulutukset toteutettiin mahdollisimman suunnitelmallisesti ja organisoidusti. Organisoituminen tarkoitti yksikköihin hajautettua ja perustoimintaa lähellä olevaa osaamisen johtamista ja kehittämistä sekä keskistettyä toimintaa. Keskitettyyn toimintaa kuului mm. tietojärjestelmät ja alueellisten koulutusten koordinointi. Alueelliset koulutukset voitiin kohdentaa alueen kaikkien organisaatioiden henkilöstöille, joillekin ammattiryhmille, osaamisensa päivittämistä vaativille henkilöstöryhmille tai joillekin muille erityisryhmille. Koulutukset raportoitiin alueellisiin ja kansallisiin sähköisiin tietokantoihin.
Oppimisen arvioinnin tason näkökulmasta alueelliset koulutukset lähensivät sairaanhoitopiirin erikoissairaanhoidon ja alueen perusterveydenhuollon henkilöstöjä. Alueellisen osaamisen kehittäminen koulutusvalintoineen oli määriteltävissä yksikköjen esimiesten tehtäviin ja toteutettavissa budjettivuosittain. Koulutussuunnittelu ja keskustelu hankitun osaamisen hyödyntämisestä sijoittui esimiehen ja alaisen väliseen kehityskeskusteluun. Alueellisia koulutuksia voitiin yhdistää myös työhyvinvoinnin vahvistamiseen ja koulutus voitiin toteuttaa sisäisin menettelyin tai ulkoa hankittuna koulutuksena. Osa alueellisista koulutuksista suunniteltiin kohdennettavaksi ja niiden koulutusvalinnat tehtiin ERVA-alueelle.
Toiminnan muutoksen tason näkökulmasta alueellisen osaamisen kehittämistä oli viety suunnitelmallisemmaksi ja koordinoidummaksi. Koulutustarpeiden arvioinnissa hyödynnettiin henkilöstön näkemyksiä ja tietojärjestelmiä, jotka edistivät tietoon perustuvaa päätöksentekoa. Hankitun osaamisen käyttöönottoa seurattiin toiminnan uudistumisesta. Lisäksi uudistumista arvioitiin kehityskeskustelujen tuloksista, palautteista, hoitoketjujen kehittymisistä ja erityisosaamisen käyttöönotosta. Osaamista koskevia tietoja raportoitiin suunnitelmallisesti paikallisille, alueellisille sekä kansallisille tahoille, mikä mahdollisti tietojen käytön erilaisiin vertailuihin ja seurantaan.
Kirkpatrickin (2016) koulutuksen vaikuttavuutta kuvaava neljäs taso tarkoittaa tuloksia ja vaikutuksia. Tämän aineiston mukaan neljännen tason voidaan katsoa merkitsevän menetelmiä ja mittareita, joilla alueellisten koulutuksien vaikuttavuutta ja vaikutuksia arvioitiin (kuvio2). Kuvion keskellä oleviin kennoihin merkityt menetelmät voidaan katsoa juontuvan 1) reaktiona syntyvään osaamisen kehittämiseen ja johtamisen organisoitumiseen, 2) oppimiseen pohjautuvaan osaamisen määrittelyyn ja 3) muutosta osoittavaan suunnitelmallisuuteen alueellisten koulutusten hankinnassa ja arvioinnissa. Kennojen vieressä on aineistosta koottu mittareita, joilla esitetyt menetelmät voidaan todentaa arvioitavaan ja vertailtavaan muotoon.
Tämän tarkastelun mukaan osaamisen johtaminen ja kehittäminen oli Lapin sairaanhoitopiirissä sote-alueelle laaditun toimintamallin suuntaista (ks. Karjalainen ym. 2016). Alueellisen osaamisen ja koulutusten kehittäminen oli sairaanhoitopiirissä organisoitu tietyin osin keskitetysti Tietohallinon ja kehittämisen yksikön koulutustiimille ja tietyin osin hajautetusti tulosalueille ja yksiköihin. Toiminnan tueksi oli otettu käyttöön tietojärjestelmät, jotka mahdollistivat tiedolla johtamiseen perustuvan osaamisen ohjauksen ja hallinnan. Käytännöt olivat yhtenäistymässä. Henkilöstön osaamisen kehittämisessä painottuivat osaamistarpeiden ja työntekijöiden osaamispääomien tiedostaminen. Kuvauksessa oli nähtävillä myös toiminnan alueellinen verkostoituminen.
Kirjoittaja
Sirkka Saranki-Rantakokko, THM, HTT, Yliopettaja, Lapin ammattikorkeakoulu
Lähteet
Hanhinen T. 2010. Työelämäosaaminen: kvalifikaatioiden luokitusjärjestelmän konstruointi.
http://urn.fi/urn:isbn:978-951-44-8290-8, ss.198-200. Saatavilla 15.10.2021.
Karjalainen L., Räisänen R. & Saranki-Rantakokko S. (2016). Verkostomainen osaamisen kehittämisen toimintamalli tulevaisuuden sotelle. Lapin ammattikorkeakoulu. Selvitykset ja raportit 17/2016. Verkostomainen osaamisen kehittämisen toimintamalli tulevaisuuden sotelle (lapinamk.fi) Saatavilla 4.10.2021.
LapIT 2018. Järjestelmän uudistamisesta tiedolla johtamiseen. 8.1.2018, Cace-kuvaukset.
Järjestelmän uudistamisesta tiedolla johtamiseen :: LapIT. Saatavilla 15.10.2021.
Tornbow, D., & Zeidman-Karpinski, A (2016). Don´t use hammer when you need a screwdriver: how to use the right tools to create assessment that matters. Communications in information Lateracy, 10 (2), 143-162. Https://doi.org/10.15760/comminfolit.2016.10.2.30 Saatavilla 4.10.2021
Tykkyläinen, S. (2017). Vaikutusten arviointi -kanvaasi. Viitattu 25.11.2020. https://vaikuttavayritys.fi/wp-content/uploads/2017/06/Kanvaasifill.pdf Saatavilla 4.10.2021.