Sote-ammattilaisten osaamisen arviointimenetelmää on Sotetie –hankkeessa kehitetty vaiheittain niin, että prosessiin on osallistunut työelämätoimijoita ja siinä on hyödynnetty eri tyyppisiä kehittämisen menetelmiä. Yhteistyö työelämän kanssa on ollut valtakunnallista ja osallistujia on ollut kokonaisuudessaan yli 200 henkilöä. Sote-ammattilaisten tulevaisuuden osaamistarpeiden kartoituksessa käytettiin kyselyä, tulevaisuusfoorumia, sähköistä e-Delfoi paneelia ja kirjallisuuskatsausta. Näitä aiempia kehittämisvaiheita on kuvattu Holvikiven (Holvikivi ym. 2021) tällä blogisivulla julkaistussa artikkelissa https://blogi.savonia.fi/sotetie/2021/02/12/yhdessa-kehittaen-tulevaisuuden-sote-geneerista-osaamista/
Toiminnalliset osaamiskuvaukset laadittiin valmiiksi helmikuussa 2021 ja osaamisalueiden kuvauksista kerättiin palautetta sote-ammattilaisilta. Tällä tavalla varmistuttiin osaamiskuvausten työelämävastaavuudesta. Niiden pohjalta ryhdyttiin työstämään sote-ammattilaisille suunnattua osaamisen arviointikarttaa. Arviointikartta nimettiin prosessin kuluessa Arviointipysäkiksi, jotta se kuvaisi paremmin arviointityökalun reflektiivistä luonnetta.
Arviointipysäkki sisältää ohjeistuksen osaamisen itsearvointiin ja osaamisen itsearviointimittarit NQF –tasoille 6 ja 7, eli alemman ja ylemmän korkeakoulututkinnon suorittaneille. Itsearviointimittareita on kolme; asiakastyöosaamisen, palveluiden ja työn kehittämisosaamisen sekä työntekijyyden ja yhteistoiminnan muutososaamisen itsearviointimittarit. Tehtyään Arviointipysäkillä itsearvioinnin sote-ammattilainen saa palautteen osaamisestaan. Arviointipysäkki sisältää myös linkit koulutushakuun eli kun on mittareiden avulla kartoittanut osaamistarvettaan, voi samassa paikassa etsiä koulutusvaihtoehtoja.
Tässä blogissa kuvataan millä tavalla sote-ammattilaiset osallistuivat Arviointipysäkin testaukseen. Testausmenetelmiksi valikoituivat Ääneenajattelu-menetelmä, sähköinen kysely (LimeSurvey) ja asiantuntijapaneeli.
Ääneenajattelu-menetelmä
Yhdeksi Arviointipysäkin testausmenetelmäksi sotealan työelämätoimijoiden kanssa valikoitui kognitiivisen haastattelun ns. Ääneenajattelu-menetelmä (think aloud – method). Ääneenajattelu-menetelmän avulla tutkitaan yksilön ajattelu- ja ongelmanratkaisun taustalla olevia tiedonkäsittelyprosesseja. Yksinkertaisimmillaan se tarkoittaa sitä, että haastateltava ajattelee ääneen, eli sanottaa ajatteluprosessejaan ja valintojaan tehtävän kuluessa, eli tässä tapauksessa käyttäessään Arviointipysäkkiä. Ääneenajattelu-menetelmän avulla selvitettiin arviointipysäkin käytettävyyttä ja sisällön ymmärtämistä kohderyhmän näkökulmasta. Testaus toteutettiin videoneuvottelusovellus Teamsin avulla. Testaajina toimineet viisi sote-alan ammattilaista navigoivat Sotetien arviointipysäkki sivustolla ja täyttivät Asiakastyöosaamisen itsearviointimittarin (NQF-taso 6) samalla kun kommentoivat, eli ajattelivat ääneen, sivustolla liikkumistaan ja itsearviointimittarin tekemistä. Arviointipysäkki testattiin molemmilla kielillä, suomeksi ja ruotsiksi. (Ääneenajattelu-menetelmän tarkemman kuvauksen voi lukea tällä blogisivulla julkaistusta artikkelista (Leinonen ym, 2021) https://blogi.savonia.fi/sotetie/2021/10/07/aaneenajattelumenetelma-kehittamishankkeessa-sotetie-sivuston-arviointipysakin-testaus/
Ääneenajattelu-menetelmällä saatiin tietoa sivuston käytettävyydestä. Haastattelijat seurasivat reaaliajassa testaajien navigointia sivustolla samaan aikaan kun testaaja kommentoi ja selitti ääneen sivustolla liikkumistaan. Tällä tavoin saatiin käsitys sivuston toimivuudesta testaajien näkökulmasta. Sivuston ”pulmakohdista” saatiin myös tietoa, eli mikäli testaajilla esimerkiksi oli vaikeuksia löytää oikea kohta sivustolta, tai mitkä asiat aiheuttivat pohdintaa, esimerkiksi miten arviointimittarin vastusvaihtoehto valitaan janalla, jne. Testaajat kommentoivat ja nostivat esiin näkökulmia myös sivuston ulkoasuun, värimaailmaan, tekstin määrään ja kuvioiden sijoitteluun liittyen. Testaajat kiittelivät Arviointipysäkin yleisilmettä selkeäksi, heidän mielestä navigointi sivustolla sujui hyvin ja Arviointipysäkin kokonaisuus toimi hyvin ja jouhevasti.
Ääneenajattelu-menetelmällä kerättiin tietoa myös Arviointipysäkin ohjeistuksen, kielen ja käsitteiden ymmärrettävyydestä. Sote-ammattilaisten mukaan jotkut itsearviointimittareiden käsitteistä olivat vaikeaselkoisia, esimerkiksi geneerinen ja työntekijyys. Testaajat nostivat myös esiin, että joihinkin Arviointipysäkin yksittäiset väittämät olivat moniosaisia, mikä vaikeutti vastausvaihtoehdon valintaa.
”Tunne, että onhan minulla osaamista, motivoi edelleen, miten pääsen kehittämään osaamistani, antoi siis herätteen, mihin kurkotella”
Edellä oleva sitaatti on erään testaajan kommentti osaamisen itsearviointimittarin käytöstä ja siitä saadusta palautteesta. Testaukseen osallistuneet sote-ammattilaiset kokivat osaamisen itsearviointimittarit hyödyllisiksi ja innostaviksi. Heidän mukaan ne kuvaavat hyvin millaista osaamista sotealalla tarvitaan nyt, ja mitkä yhteiset osaamisalueet painottuvat sotealalla tulevaisuudessa. Sote-ammattilaisten mukaan itsearviointimittarit toimivat hyvin oman osaamisen arvioinnissa ja ne auttavat myös oman työn sisällön hahmottamisessa. Itsearvioinnin tehtyään työntekijä saa halutessaan sähköpostiinsa henkilökohtaisen palautteen osaamisestaan. Palaute koettiin hyödylliseksi ja innostavaksi ja testaajien mukaan se kannusti pohtimaan edelleen omaa osaamista sekä osaamistarpeita ja osaamisen kehittämistä. Myös Arviointipysäkillä oleva tieto ajankohtaisesta koulutustarjonnasta koettiin hyväksi. Osa testaajista kommentoi sitä, ettei koulutustarjonta ole valikoitunutta, mutta totesivat että laajempi koulutustarjonta antaa samalla hyvän mahdollisuuden tutustua eri koulutus /kurssi vaihtoehtoihin.
Sote-ammattilaiset nostivat myös esiin Arviointipysäkin hyötyjä työyhteisönäkökulmasta. Itsearviointimittareita ja niistä saatavaa palautetta voi testaajien mukaan hyödyntää myös työyhteisön osaamisen kehittämisessä. Itsearviointimittareiden avulla sekä henkilökohtainen osaaminen ja osaamistarpeet että sote-työssä yleensä tarvittava osaamisen määrä ja laajuus tulee näkyväksi. Lisäksi osaamisen arviointi herättelee pohtimaan sotealan yhteisiä tulevaisuuden osaamistarpeita. Mikäli koko työyhteisö tekee osaamisen itsearvioinnin voi siitä saatavaa palautetta voi käyttää esimerkiksi henkilökohtaisissa kehityskeskusteluissa tai/ja koko työyhteisön kehittämiseen. Testaajien mukaan arviointipysäkki kokonaisuutena antaa hyviä eväitä osaamisen kehittämiselle. Saadakseen realistisen käsityksen omasta osaamisestaan edellyttää itsearviointimittareihin vastaaminen tosin vastaajalta hieman aikaa ja pohdintaa. Samalla koettiin Arviointipysäkki hyvänä mahdollisuutena pysähtyä oman osaamisen ja sen kehittämisen äärelle.
Sähköinen kysely (LimeSurvey)
Sote-ammattilaiset osallistuivat Arviointipysäkin testaukseen myös sähköisen kyselyn (LimeSurvey) avulla. Kyselyn tarkoituksena oli saada tietoa siitä, miten sivustoa voitaisiin kehittää mahdollisimman käyttäjäystävälliseksi ja toimivaksi. Testaukseen osallistuneille sote-ammattilaisille lähetettiin linkki, jonka kautta he pystyivät vierailemaan sivustolla ja testaamaan Arviointipysäkkiä noin viikon mittaisella ajanjaksolla kesäkuussa 2021. Testauksessa kiinnitettiin erityisesti huomiota Arviointipysäkki-sivuston antamaan ensivaikutelmaan ja yleisilmeeseen, aloitussivuston sisältöön ja Arviointipysäkin yleiseen ohjeistukseen. Sote-ammattilaisia pyydettiin arvioimaan NQF 6-tason itsearviointimittari kokonaisuudessaan, eli sen kaikki kolme itsearviointimittaria. Tehtyään itsearvioinnin sote-ammattilaiset tutustuivat osaamisen arvioinnista saamiinsa palautteisiin.
Sote-alan ammattilaisilta pyydettiin itsearviointimittarin täyttämisen jälkeen palautetta Arviointipysäkki- sivustosta. Palautelomake sisälsi 23 kysymystä, jotka olivat jaettuna neljään eri osa-alueeseen: ohjeistus, itsearviointimittari, itsearviointimittarin palaute, arviointipysäkki. Palautetta kysymyksiin annettiin Likert asteikolla (3 astetta Esim: melko selkeä – selkeä –erittäin selkeä). Lisäksi vastaajat kommentoivat vapaasti Arviointipysäkkiä. Vastausten määrä jäi odotettua pienemmäksi (6 vastausta), eli tuloksia voi tulkita ainoastaan suuntaa antavina yhdistettynä muiden menetelmien avulla saatuihin tuloksiin. Kyselyn vastaukset ja varsinkin vastaajien omat vapaat kommentit olivat yhteneviä muiden menetelmien avulla saatujen tulosten kanssa. Kyselyssä nousi esiin, että tekstin ymmärrettävyys itsearviointimittareissa koettiin paikoitellen raskaaksi ja vaikeaselkoiseksi. Sen sijaan vastaajien mukaan arviointipysäkin ohjeistus sekä varsinainen itsearviointipysäkin käyttöohje olivat selkeitä ja palautteen hyödynnettävyys oli tuotu hyvin esille.
Asiantuntijapaneeli
Asiantuntijapaneeliin osallistui neljä sote-alan ammattilaista ja se järjestettiin Teams –kokouksena kesäkuussa 2021. Osallistujista kaksi työskenteli esihenkilönä ja kaksi asiantuntijatehtävissä. Paneelissa keskityttiin työntekijyyden ja yhteistoiminnan muutososaamisen itsearviointimittariin. Perusteluna tälle oli, että itsearviointimittarin toiminnasta saa parhaiten käsityksen perehtymällä yhteen osioon, ja sen lisäksi paneeliin käytettävissä oleva aika asetti reunaehtonsa. Myös yhteiselle arviointikeskustelulle haluttiin varata aikaa testaamisen jälkeen.
Osallistujat kiittelivät Arviointipysäkin yleistä visuaalista ilmettä ja toiminnallisuutta. Tekstin osuutta ehdotettiin karsittavaksi vielä nykyisestä. Testaajien mukaan yksityiskohtaiset ohjeet eivät lisää tällaisen välineen käytettävyyttä vaan saattavat päinvastoin estää kävijää tarttumasta siihen.
Panelistit totesivat, että teknisesti testi toimi hieman eri tavalla mobiililaitteella ja pöytäkoneella. Valintojen kiinnittäminen ja liukuvan mittarin käyttäminen tuotti jonkin verran pulmia mobiililaitteella. Vastausvaihtoehtojen selite olisi haluttu näkyviin koko ajaksi mittaria täyttäessä, jotta siinä ei joutuisi palaamaan taaksepäin. Sivulla liikkuminen todettiin sinänsä sujuvaksi ja erikseen toivottiin, että linkkien toimivuus olisi aina varmistettu. Itsearvointimittarin käytettävyys on suoraan yhteydessä sen tekniseen toimivuuteen.
Mittariston sisältämään kieleen kiinnitettiin paljon huomiota. Osa väitteistä koettiin abstrakteiksi ja esille tuotiin, että osa väittämistä sisälsi käsitteitä, joiden sisäistäminen edellyttää jo asiantuntemusta. Työntekijyyden käsite herätti erityisesti keskustelua, koska sitä pidettiin vaikeasti lähestyttävänä. Pohdittiin, että itsenäisten ammatinharjoittajien voi olla vaikeaa identifioida itseään työntekijyyden kautta. Toisaalta tunnistettiin, että sen tilalle on vaikea löytää kattavaa yleiskäsitettä, joka ei olisi vanhahtava. Kokonaisuutena arvioiden väittämien kieltä kuitenkin pidettiin tiiviinä ja selkeänä.
Ajankäytön arvio oli, että mittarin yhden osion täyttämiseen menee aikaa noin 10 minuuttia, jolloin koko testi vaatisi 30 minuuttia. Tätä pidettiin välineen käytettävyyden kannalta hyvänä ja tällaisenaan Arviointipysäkillä vieraileminen voisi osallistujien mielestä hyvin sopia vaikka työyhteisön yhteisen tapaamisen alkuun.
Mittarissa nähtiin paljon hyödyntämismahdollisuuksia sekä oman osaamistarpeen tunnistamiseen että yhteiseen innostavaan käyttöön. Todettiin, että mittari ohjaa osaamistarpeen positiiviseen tunnistamiseen ja se voi antaa sysäyksiä koulutuspolulla etenemiseen.
Paneelin yhteenvetokeskustelussa tuli esiin erityisesti työyhteisötaso. Osaamisen arviointia voi hyödyntää kun kartoitetaan yhdessä työyhteisön osaamiskarttaa ja tehdään koulutussuunnittelua. Myös työn vaativuuden arvioinnissa mittaria voi hyödyntää kun työtehtäviä puretaan osiksi ja katsotaan millaisia kompetensseja eri tehtävissä painotetaan.
Sote-ammattilaisten palaute Arviointipysäkistä
Sote-ammattilaisilta kerättiin edellä kuvattujen menetelmien avulla tietoa Arviointipysäkin käytettävyydestä ja sisällön ymmärrettävyydestä, jotta varmistettaisiin että Arviointipysäkki vastaa työelämän tarpeita. Tiedonkeruu menetelmiksi valikoituivat erilaiset ja toisiaan täydentävät menetelmät. Menetelmistä Ääneenajattelu-menetelmä toteutettiin yksilöhaastatteluina, samoin sähköinen kysely oli myös yksilökohtainen, sen sijaan asiantuntijapaneeli toteutettiin ryhmähaastatteluna. Arviointipysäkin ohjeistuksesta pyydettiin palautetta kaikissa testauksissa, Ääneenajattelu- menetelmällä ja sähköisellä kyselyllä kerättiin tietoa itsearviointimittarista NQF-6 tasolla, kun taas asiantuntijapaneelissa keskityttiin NQF-7 tason itsearviointimittariin.
Arviointimittaria testattiin sote-ammattilaisilla jotka edustivat eri ammattiryhmiä ja koulutustaustoja ja tulivat eri puolilta Suomea. Sote-ammattilaisten arviot ja palaute sivuston käytettävyydestä ja sen sisällön ymmärrettävyydestä olivat päälinjoiltaan yhteneväisiä. Sote-ammattilaiset kiittelivät Arviointipysäkin visuaalista yleisilmettä selkeäksi, heidän mielestä navigointi sivustolla sujui hyvin ja Arviointipysäkin kokonaisuus toimi hyvin ja jouhevasti.
Käytettävyyttä kehitettäessä tärkeä huomio oli Arviointipysäkin toimivuus mobiililaitteella ja siihen liittyvät tarkemmat palautteet. Käytettävyydessä oli eroja eri tyyppisten laitteiden välillä ja ne tulee huomioida jatkokehittelyssä.
Arviointipysäkin sisällön ymmärrettävyyteen liittyvät palautteet olivat pitkälti samanlaisia, tiedonkeruun menetelmästä riippumatta. Sote-ammattilaisten mukaan arviointipysäkin ohjeistus sekä varsinainen itsearviointipysäkin käyttöohje olivat selkeitä ja itsearviointimittarin palautteen hyödynnettävyys oli tuotu hyvin esille. Sen sijaan tekstin ymmärrettävyys itsearviointimittareissa koettiin paikoitellen raskaaksi ja vaikeaselkoiseksi. Tämä huomioitiin mahdollisuuksien mukaan itsearviointimittareiden jatkokehityksessä.
Kaiken kaikkiaan sote-ammattilaiset kokivat Arviointipysäkin osaamisen itsearviointimittarit hyödyllisiksi ja innostaviksi. Sote-ammattilaisten mukaan itsearviointimittarit toimivat hyvin oman osaamisen arvioinnissa ja ne kuvaavat hyvin mitkä yhteiset osaamisalueet painottuvat sote-alalla tulevaisuudessa. Mittarissa nähtiin paljon hyödyntämismahdollisuuksia sekä oman osaamistarpeen tunnistamiseen että työyhteisötasolla yhteiseen innostavaan käyttöön. Osaamisen arviointia voi hyödyntää esimerkiksi kun kartoitetaan yhdessä työyhteisön osaamista ja tehdään koulutussuunnittelua. Sote-ammattilaisten mukaan Arviointipysäkki ohjaa osaamistarpeen positiiviseen tunnistamiseen ja voi antaa sysäyksiä koulutuspolulla etenemiseen.
SOTETIE-hanke on Euroopan sosiaalirahaston (ESR) ja Pohjois-Pohjanmaan elinkeino-, liikenne- ja ympäristökeskuksen rahoittama valtakunnallinen kehittämishanke, jonka toiminta-aika on 1.9.2019-31.12.2021. Hankkeessa kehitetään sähköistä jatkuvan oppimisen tiekarttaa, jolla edistetään ja uudistetaan sosiaali- ja terveysalan ammattilaisten geneeristä osaamista.
Kirjoittajat
Anssi Lähde, VTL, lehtori, Turun ammattikorkeakoulu
Arla Cederberg, VM, lehtori, Ammattikorkeakoulu Arcada
Anne Hietanen, TtM, projektitutkija, Yrkeshögskolan Novia
Lähteet
Holvikivi, J., Nummela, A., Arell-Sundberg, M. (2021). Yhdessä kehittäen tulevaisuuden sote geneeristä osaamista. https://blogi.savonia.fi/sotetie/2021/02/12/yhdessa-kehittaen-tulevaisuuden-sote-geneerista-osaamista/
Leinonen, R., Lintula, L.; Laanterä, S., Cederberg, A.; Backmann, A. (2021) Ääneenajattelumenetelmä kehittämishankkeessa – Sotetie-sivuston arviointipysäkin testaus https://blogi.savonia.fi/sotetie/2021/10/07/aaneenajattelumenetelma-kehittamishankkeessa-sotetie-sivuston-arviointipysakin-testaus/