Johdanto
Tutkimus- ja kehittämistoiminnan arviointiin liittyy erilaisia käytäntöjä, joiden avulla selvitetään, miten tavoitteet saavutetaan tai miten onnistutaan kehittämään asiakkaita palvelevia tuotteita. Sopivaa menetelmää käyttäen on mahdollisuus saada luotettavin ja laadukas tieto arvioitavasta ja testattavasta asiasta. Arvioinnissa ja testauksissa hyödynnetään yleisimmin palautekyselyjä, jotka mittaavat lähinnä tiedonkeruuprosessin teknistä toimivuutta. Palautekysely ei kuvaa tiedonkeruuprosessin kokonaisuutta esimerkiksi kysymysten sisällöllisen ymmärrettävyyden osalta. Tutkimuskysymysten ymmärtämiseen ja tulkintaan liittyviä ongelmia voidaan selvittää ennen kaikkea laadullisilla lähestymistavoilla.
Sotetie-sivusto on kehitetty sote-alan ammattilaisten ja organisaatioiden käyttöön. Kehittämistyössä korostui yhteistyö työelämän toimijoiden kanssa, valittiin Sotetie-sivuston arviointipysäkin arviointimenetelmäksi kognitiivista haastattelua edustava ääneenajattelumenetelmä. Arviointipysäkki sisältää sosiaali- ja terveysalan (sote-alan) yhteisten osaamisten itsearviointimittarit, niiden käytön ohjeistuksen ja itsearvioinnin palautteen. Sivustolta löytyy tietoa myös jatkuvasta oppimisesta ja sote-alan tulevaisuuden osaamistarpeista.
Sote-alan ammattilaiset osallistuivat arviointipysäkin testaukseen Teams-sovelluksen (jäljempänä Teams) välityksellä, mikä toi haasteita ääneenajattelumenetelmän suunnitteluun ja toteutukseen. Tieto- ja viestintäteknologia on muuttanut käsityksiä oppimisesta ja opetuksesta, se on edistänyt myös testausmenetelmien siirtymistä etäyhteyksin toteutettavaksi. Ääneenajattelumenetelmän toteutus Teamsilla suunniteltiin sen tiedon avulla, mitä siitä oli kirjoitettu kasvokkain tapahtuvassa testaustilanteessa. Tiedonantajaa pyydettiin ajattelemaan ja kertomaan ääneen samanaikaisesti, kun hän teki annettuja tehtäviä sivustolla. Samanaikaisen ääneenajattelumenetelmän avulla haettiin tietoa siitä, miten tiedonantaja hahmottaa asioita Sotetie-sivuston arviointipysäkiltä, miten hän tulkitsee sivuston kysymyksiä ja käsitteitä, kuinka hän valitsee navigointivaihtoehdon tai prosessoi ääneen omaa toimintaansa.
Tärkeä osallistumisen kriteeri oli tiedonantajan valmius ja halukkuus sanoittaa tekemistään eli ajatella ääneen. Jotta tiedonantaja kokee osallistumisensa hyödylliseksi, pitää testaustilanteen olla hänelle ymmärrettävä ja merkityksellinen. Tiedonantajalla tarkoitetaan tässä artikkelissa sosiaali- ja terveysalan ammattilaista eli ääneenajattelijaa ja testaajalla/työparilla ääneenajattelutilanteen toteuttaneita henkilöitä. Artikkelissa kuvataan ääneenajattelumenetelmän käyttöä Sotetie-hankkeen arviointipysäkin käytettävyyden ja hyödynnettävyyden arvioinnissa.
Ääneenajattelumenetelmä
Kognitiivinen haastattelu on yksi kehittämismenetelmä, jonka avulla selvitetään, miten vastaaja ymmärtää lomakkeen kysymykset ja käsitteet (Ahola 2002; Willis 2005). Menetelmä on kehittynyt ennen kaikkea lomakesuunnittelun esitestausmenetelmäksi, missä erotetaan samanaikainen ja takautuva ääneenajattelu. Kognitiivisen haastattelun menetelmän perusta on CASM (Cognitive Aspects of Survey Methodology) tutkimuksessa, mikä korostaa vastaajan kognitiivisia tekijöitä vastaamisprosessissa. Kognitiivisen haastattelun perusta ulottuu kognitiivista psykologiaa edustavaan ääneenajattelumenetelmään eli kysymys-vastaus-prosessimalliin, jonka avulla pyritään ymmärtämään ihmisten tapaa ratkaista kognitiivisia kysymyksiä ja ongelmia. (Godenhjelm 2002, 53–55; Wills 2005.) Newell ja Simon (1972) esittävät, että ongelmanratkaisun yhteydessä ääneenajattelu antaa tarkan kuvan vastaajan ajatteluprosessista, jonka perusteella voidaan mallintaa ongelmanratkaisuprosessi. Ongelmanratkaisuprosessi kuvaa ongelman ratkaisuun liittyviä kognitiivisia toimintoja, tiedonhankintaa, tiedon soveltamista ja päätöksentekoa.
Taustalla on käsitys siitä, että pelkkä tehtävän lopputulos ei anna riittävästi tietoa ongelmanratkaisusta ja sen edellyttämistä henkisistä prosesseista, vaan tarvitaan tarkkaa tehtävästä selviytymisen perustana olevien tiedonkäsittelymekanismien ja tietosisältöjen analyysia (Chi 1997). Aitken ja Mardegan (2000) mukaan ääneenajattelumenetelmän avulla voidaan tutkia tehokkaasti juuri päätöksentekoa, jolloin saadaan selville se, mitä ja minkälaista tietoa vastaajat käyttävät tehtäviä ratkaistessaan.
Kognitiivisesta haastattelusta käytetään myös protokolla-analyysi nimeä, jolloin se viittaa menetelmän avulla saadun aineiston analyysiin (Godenhjelm 2002, 54). Ääneenajattelumenetelmän keskeinen kriteeri on, että henkilö puhuu ääneen ajatuksensa tehtäväratkaisun aikana (Chi1997), ja menetelmällä saadaan tietoa ensisijaisesti työmuistin käytöstä (Aitken & Mardegan 2000).
Ääneenajattelunmenetelmää käytetään vastaamisprosessin lisäksi silloin, kun halutaan saada ratkaisuja erilaisiin ongelmiin. Tällöin henkilö ajattelee ääneen niitä asioita, jotka liittyvät ongelman ratkaisemiseen. Tarkastelu korostaa käytettävyystutkimuksellista näkökulmaa (ks. Toikko & Rantanen 2009, 33–34; Kuutti 2003, 14–15). Käytettävyydellä tarkoitetaan esimerkiksi käyttöliittymän toimintaa, mallintamista ja tutkimista. Käytettävyystutkimus sisältää havaintoja ja tutkimusta esimerkiksi siitä, miten tiedonantajat esimerkiksi hahmottavat sivuston, käyttöliittymät, ja miten he toimivat sivustolla. Konkreettinen tekeminen, kuten sivustolla liikkuminen tai esimerkiksi vastausvaihtoehdon tekninen valinta, on helpompaa kuvata ääneen kuin tiedon tai alitajuntaisesti toimintaan vaikuttavien asenteiden kuvaaminen (Unkila ym. 2018).
Käytettävyystutkimuksessa saadaan selville myös, mitä tiedonantajat tarvitsevat, haluavat ja arvostavat sivustoa käyttäessään. Sivuston suunnittelu ja muotoilu ovat olennaisia asioita ajatellen sen käytettävyyttä. Käytettävyystutkimuksella haetaan tietoa siitä, mitkä asiat tekevät tuotteesta tai palvelusta helposti tai vaikeasti käytettäviä samalla, kun etsitään niihin ratkaisuja. Tällöin tulee ottaa huomioon erityisesti käyttäjän kognitiiviset rajoitteet kuten muisti, havainnointikyky ja muut mahdolliset fysiologiset rajoitteet. (Kuutti 2003, 15, 25–26.) Toisin sanoen testauksen avulla edistetään laitteen, toiminnan tai sivuston toimintaa ja käytettävyyttä riippuen siitä, mikä on arvioinnin tavoite (van Someren, Barnard & Sandberg 1994).
Samanaikaisen ääneenajattelumenetelmän mukaisella testauksella haetaan vastauksia kysymyksiin: Mitä asia edellytti tiedonantajalta tehtävän tekemisessä tai sen mieleen palauttamisessa? Mitä tehtävä edellytti siirryttäessä asiakokonaisuudesta toiseen? Ääneenajattelun, selventävien kysymysten ja lisäkysymysten perusteella voidaan tehdä päätelmiä itsearviointimittarin edellyttämästä osaamisesta eli siitä, miten käyttäjä ymmärtää sivustolla olevat käsitteet, asiayhteydet ja kokonaisuuden. (vrt. Ahola 2002.) Godenhjelm (2002, 54–56) toteaa, että ääneenajattelumenetelmän avulla saadaan tietoa myös käyttäjän vaikeuksista sivuston, tehtävän tai kysymysten ymmärtämisessä ja tulkinnassa, mieleen palauttamisessa, vastauksen harkitsemisessa ja muodostamisessa eli koko kognitiivisesta prosessista. Testaus tarjoaa laadukkaimman tuloksen, kun testattava kohde on mahdollisimman viimeistelty. Testauksella tarkoitetaan tässä yhteydessä Sotetie-sivuston arviointipysäkin soveltuvuuden ja toiminnan kokonaisuuden arviointia sote-alan ammattilaisen kokemana. Testaustilanne on erilainen kuin itsearviointimittarin vastaamistilanne työelämässä. Ääneenajattelu voi tuoda esille asioita, mitä muussa kontekstissa ei tule esille, toteaa Godenhjelm (2002, 64).
Tiedonantajien valinta
Tiedonantajat rekrytoitiin Sotetie-hankkeessa olleiden työelämän yhteistyökumppaneiden kautta. Tiedonantajiksi haettiin työelämässä toimivia sote- ammattilaisia. Ääneenajattelumenetelmä toteutettiin Teamsin avulla, mikä edellytti tiedonantajilta kokemusta ja perusvalmiuksia internetin ja Teamsin käytöstä. Tiedonantajien valinnassa huomioitiin, että osallistujat ovat sote-alan eri ammateissa toimivia henkilöitä, ja heillä on erilainen koulutustausta. Näin varmistettiin, että vastaajat edustavat eri työtehtävissä toimivia sote-ammattilaisia. Kriteereinä testaukseen osallistumiselle oli tiedonantajan koulutustaso NQF-taso 6 tai taso 7.
Unkila ym. (2018) toteavat, että testattavan asian mukaan tiedonantajien valinnassa voidaan huomioida myös työkokemus, sukupuoli, ikä ja kulttuuri, joilla on yhteyttä siihen, minkälaisia johtopäätöksiä tiedonantajat tekevät testauksen aikana. Myös ympäristöllä, joissa ääneenajattelu toteutetaan, voi olla merkitystä. Kognitiivisen haastattelun ja varsinkin ääneenajattelumenetelmän onnistumiseen vaikuttaa haastateltavien kyky sanottaa ajatteluprosessejaan (Dietrich & Ehrlenspiel 2010), eli keskeinen valintakriteeri on tiedonantajien valmiudet sanottaa tekemisiään ja ajatuksiaan.
Tiedonantajina oli viisi: kaksi sairaanhoitajaa, kaksi sosionomia ja yksi lähihoitaja. Sote-alan työkokemusta heillä oli 7 vuodesta 30 vuoteen. Sairaanhoitajien työtehtäviin kuului ohjausta ja korona aikana etähoitoa, osastonhoitajan tehtäviin sisältyi henkilöstön johtamista, rekrytointia, osaamisen varmistamista ja toiminnan kehittämistä. Lähihoitaja työskenteli somaattisella osastolla. Sosionomien työnkuvaan kuului sosiaaliohjaus eri konteksteissa (nuorten pitkäaikaistyöttömien ohjaus, työllistymisen tukeminen ja lapsiperheiden ohjaus). Kaikki tiedonantajat käyttivät internettiä pääsääntöisesti vapaa-ajalla ja töissä lähinnä tiedonhakuun.
Sotetie-sivuston arviointipysäkki ja siinä olevat yhteiset geneeriset osaamiskuvakset ja niiden itsearviointimittarit testattiin sekä suomeksi että ruotsiksi. Haastatteluihin rekrytoitiin sekä suomen- että ruotsinkielisiä tiedonantajia, ja testaus toteutettiin molemmilla eri kielillä.
Ääneenajattelun testauksen suunnittelu
Ääneenajattelun toteutumista varten laadittiin kirjallinen testaussuunnitelma. Suunnitelmaan kirjattiin koko prosessi (aloitus, ohjeistus, testaus, lopetus) ja jokaiseen kohtaan sisällöt mahdollisimman tarkasti. Aloitus sisälsi testauksessa mukana olevien tiedonantajien esittäytymiset, luvan kysymisen nauhoitukseen, Teamsin toimintojen esittelyn ja tekniikan varmistamisen, Sotetie-sivustolle siirtymisen ja ajankäytön. Ohjeistus tarkoitti kuvausta ääneenajattelusta, mitä tiedonantajan tuli käytännössä tehdä, ja mitä kysymyksiä tiedonantajalla mahdollisesti oli testaajille ennen testauksen aloittamista.
Testaus muodostui seitsemästä tehtävästä, joiden järjestys perustui Sotetie-sivuston rakenteeseen. Näin sivuston pääsivu, arviointipysäkki, itsearviointimittarin vastausohje sekä mittarin käytettävyys, itsearvioinnin palaute ja sen toimivuus tuli arvioiduiksi. Lopetus sisälsi tiedonantajien reflektion kokemuksesta, mahdolliset kysymykset ja kiitokset arviointipysäkin arvioinnista. Suunnitelman avulla voitiin varmistaa, että kaikki testaukseen suunnitellut asiat tulivat huomioiduiksi jokaisen tiedonantajan kohdalla. Testaussuunnitelmaan varattiin tilaa kommenteille ja huomioille. Testauksen eteneminen suunniteltiin mahdollisimman loogiseksi, jotta tiedonantajan mielipide saadaan kuhunkin käsitteillä olevaan sivuston asiaan samalla kertaa.
Ääneenajattelun toteutusta varten tehtiin työnjako. Ääneenajattelu toteutettiin työpareina siten, että toinen ohjeisti tiedonantajaa ja ohjasi testaustilanteen etenemistä ja toinen työpariin kuuluvista kirjasi huomioita ja tarvittaessa teki tarkentavia kysymyksiä. Näin pyrittiin varmistamaan, että ääneenajattelun aikana voitiin mahdollisimman kattavasti ja luotettavasti havainnoida moninaiset tapahtumat. Tiedonantajilta ei edellytetty aikaisempaa kokemusta tai tietoa Sotetie-sivustosta eikä ääneenajattelumenetelmästä. Tällä pyrittiin siihen, että saadaan selville ensivaikutelma arviointipysäkistä ja sen käytettävyydestä.
Ääneenajattelun toteutus Teamsilla
Ääneenajattelumenetelmän toteuttaminen Teamsilla edellytti testaussuunnitelmaa. Testauksen toteuttajat keskustelivat siitä, onko ääneenajattelun toteuttaminen Teamsilla sopiva tiedon tuottamisen menetelmä. Sovellukseksi valikoitui Teams, koska sen avulla oli mahdollista reaaliaikainen vuoropuhelu ja videotallennus tiedonantajien kanssa. Testaajan on pystyttävä testaustilanteessa ohjeistamaan tiedonantajia, ylläpitämään ääneenajattelua, tekemään selventäviä kysymyksiä ja seuraamaan heidän toimintaansa. Sovelluksen avulla on kyettävä saamaan tietoa siitä, mitä tiedonantajat pohtivat ja ajattelevat, miten he ratkaisevat, tulkitsevat, arvioivat ja hahmottavat muun muassa erilaisia asioita, kysymyksiä ja käsitteitä.
Tiedonantajiksi valituille lähetettiin linkki Teamsiin, jonka kautta he osallistuivat testaustilanteeseen. Testaustilanne nauhoitettiin, ja siihen pyydettiin lupa. Testauksen alussa kysyttiin, kuinka paljon ja mihin he käyttävät tietokonetta vapaa-ajalla tai työssä, ja miten tuttu Teams on. Tämä antoi testaajille tietoa tiedonantajien tietoteknisistä taidoista ja siitä, kuinka paljon opastusta he tarvitsivat Teamsin käyttöön. Jokaisen tiedonantajan kanssa varmistettiin keskeiset testauksessa tarvittavat sovelluksen toiminnot, vaikka testattava olisi käyttänyt sovellusta jo aikaisemmin. Tällaisia toimintoja olivat muun muassa näytönjakamis-, kuva-, ääni- ja Chat-painikkeet. Lisäksi tarkistettiin äänen kuuluvuus sekä kuvan näkyvyys testaajien ja tiedonantajan välillä. Chat-palstalle kirjoitettiin linkki Sotetie-sivustolle ja tiedonantajalle kerrottiin käyttäjätunnus sekä salasana. Näillä toimenpiteillä varmistettiin ääneenajattelun sujuva eteneminen ja testaus saattoi alkaa. Testaukset toteutettiin touko-kesäkuussa 2021 yksilötestauksina. Niiden ajallinen kesto oli 45–60 minuuttia. Testauksen tulokset kirjattiin anonyymisti, joista tehtiin kooste jatkokäsittelyä varten.
Ääneenajattelumenetelmän avulla saadut tulokset
Ääneenajattelumenetelmän avulla testattiin Sotetie-sivustolla olevan arviointipysäkin käytettävyyttä ja hyödynnettävyyttä. Yleisvaikutelma oli, että arviointipysäkki oli tiedonantajien mukaan kokonaisuudessaan selkeä ja toimiva. Sivustolla navigointi oli loogista ja toimivaa sekä teknisesti helppokäyttöistä. Arviointipysäkki vaikutti tiedonantajien mukaan mielenkiintoiselta ja houkutteli sivuston testaamiseen. Itsearviointimittareiden perustana käytetyt yhteiset osaamiset kuvasivat heidän mukaansa työelämässä tarvittavaa osaamista. Arviointipysäkin käytettävyyttä edistäviä tekijöitä olivat tulosten perusteella sivuston ulkoasu, kuten esimerkiksi väritys, kuvien asettelu sekä se, miten saadaan tärkeät ja keskeiset asiat näkyviksi.
Sivuston kieli on tärkeä ymmärrettävyyden varmistamiseksi. Vastauksista ilmeni, että osa sivustolla käytetyistä sanoista ja lyhenteistä (esim. geneerinen, NQF ja Big data) olivat vaikeasti ymmärrettäviä. Tekstien ja ohjeiden loogisuuteen esitettiin kehitysehdotuksia, mutta näistä annettiin myös myönteistä palautetta. Itsearviointimittarissa osa tiedonantajista kiinnitti huomiota siihen, että samassa väittämässä kysyttiin useampaa kuin yhtä asiaa ja väittämissä oli heille vieraita käsitteitä. Osa tiedonantajista kommentoi, että väittämissä käytetyt käsitteet olivat sellaisia, mitä työssä ei käytetä. He arvioivat, että sen vuoksi väittämiin voi olla vaikea vastata, ja ne voivat aiheuttaa vastaajalle epävarmuutta omasta osaamisestaan.
Tiedonantajat kokivat itsearviointimittarin myönteisenä ja tarpeellisena välineenä, jota voi käyttää myös työyhteisössä. Henkilökohtaista arviointia pidettiin hyvänä oman osaamisen tunnistamiseen. Mittarissa käytetty arviointiasteikko (1–5) oli tiedonantajien mielestä tuttu ja toimiva. Osa tiedonantajista mietti, arvioidaanko mittareilla vastaajan oman osaamisen kehittymisen tarvetta, vai onko vastaajalla osaamista kyseisestä asiasta. Välillä tiedonantajat kokivat vastaamisen vaikeaksi, koska sote-alalla työ on sisällöltään ja työympäristöltään monipuolista. Arviointipysäkki sisälsi sekä suomen- että ruotsinkieliset itsearviointimittarit, joissa testausvaiheessa oli vielä hieman eroja.
Tiedonantajat pitivät itsearvioinnista saatavaa palautetta myönteisenä ja kannustavana, minkä kommentoitiin mahdollistavan reflektion. Palautteen nimettömyys mahdollistaa heidän mukaansa sen hyödynnettävyyden työyhteisössä, mikäli osaamista tarkastellaan ryhmässä. Tiedonantajat kokivat myönteisenä, että Sotetie-sivustolta on mahdollisuus tarkastella samanaikaisesti koulutustarjontaa. He ehdottivat, että itsearvioinnin tuloksen perusteella koulutustarjonnasta ehdotettaisiin automaattisesti opintoja, jotka tukisivat heidän osaamisensa kehittymistä. Tiedonantajat kuvasivat, että palautetta voisi käyttää kehityskeskustelussa lähijohtajan kanssa. He kokivat myös, että itsearviointimittari olisi hyvä kehittämisen väline johtamisen tueksi. Itsearviointimittarin avulla tarvittavan osaamisen määrä ja laajuus tulivat tiedonantajien mukaan näkyviksi, ja he miettivät tämän käyttöä myös palkan määrittelyssä.
Ääneenajattelumenetelmän kautta saatiin arvokasta tietoa Sotetie-sivustosta ja etenkin arviointipysäkistä. Testaustilanteessa oli mahdollisuus tarkastella sivuston toimivuutta sitä ensi kertaa käyttävän sote-ammattilaisen näkökulmasta. Tulosten perusteella päätettiin täsmentää ja selkeyttää itsearviointimittarin käyttöön liittyviä ohjeita. Keskustelua käytiin myös väittämissä esiintyneistä käsitteistä ja sisällöistä, mutta väittämien rakennetta tai sisältöä ei tässä vaiheessa päätetty muuttaa. Väittämien lukumäärä olisi lisääntynyt huomattavasti nykyisestä 127 väittämästä, jolloin vastaamiseen käytettävä aika olisi lisääntynyt ja ehkä heikentänyt vastaamismotivaatiota. Lisäksi muutokset olisivat edellyttäneet väittäminen uudelleen arviointia, mikä ei käyttävissä oleva aika huomioiden ollut mahdollista.
Ääneenajattelumenetelmän käytettävyyden ja hyödynnettävyyden arviointi
Bonon hatut arvioinnin tukena
Kuten tiedetään, ihminen kykenee ajattelemaan usealla eri tavalla, mutta hän voi käyttää yhtä ajattelutapaa kerralla. Tämän vuoksi tarvitaan menetelmä, joka mahdollistaa erilaisten ajattelutapojen käyttämisen. (de Bono 1990.) Myös ääneen ajattelumenetelmän testaajien/työparin oli mahdollisuus haastaa omaa ajatteluaan arvioidessaan ääneenajattelumenetelmän käyttöä arviointipysäkin käytettävyyden ja hyödynnettävyyden arvioinnissa. Siksi kokonaisarvioinnissa sovellettiin BONON-hattuja. Kuuden hatun menetelmä on de Bonon (1990) kehittämä apuväline, joka auttaa ajattelun kehittämistä. Ajatteluhattujen avulla aihetta lähestytään eri näkökulmista noudattamalla eri hattujen mukaisia ajattelumalleja. Kuuden hatun menetelmän avulla pyrittiin saamaan monipuolinen kokonaiskuva arviointipysäkkiin liittyvistä asioista. Sininen hatun väri kuvaa kokonaiskuvaa, keltainen mahdollisuutta ja vihreä uusia ideoita. Valkoinen väri kuvaa tietoa, punainen tunnetta ja musta väri kuvaa kriittisyyttä.
Menetelmää arvioitiin siis kuudesta eri näkökulmasta, jotka olivat 1) kokonaiskuvan muodostaminen menetelmän käytöstä, 2) menetelmän käyttöön liittyvät mahdollisuudet, 3) uudet ideat, 4) menetelmällä saatava tieto sekä 5) menetelmän käyttöön liittyvien tunnetekijöiden että 6) kriittisten tekijöiden tarkastelu.
Kokonaiskuvan muodostaminen
Ääneenajattelumenetelmän käyttö oli perusteltua ja osoittautui hyödylliseksi. Menetelmän käyttö arviointipysäkin käytettävyyden ja hyödynnettävyyden testauksessa toi arvokasta tietoa sivuston jatkokehittämiseksi. Testaus osoitti, että ääneenajattelumenetelmä sopii myös Teamsin välityksellä toteutettavaksi. Teams mahdollisti tiedonantajan toiminnan reaaliaikaisen seuraamisen sivustolla ja tarkentavien kysymysten esittämisen.
Huolellisella ennakkosuunnitelmalla ääneenajattelutilanteesta muodostui selkeä ja asiakaslähtöinen prosessi, jossa tiedonantajien erilaiset tavat navigoida sivustolla ja tulkita sivustolla olevia asioita mahdollistuivat. Ääneenajattelumenetelmä sopii käyttäjälähtöisten toimintaa vaativien laitteiden ja tuotteiden sekä niiden sisältöjen ja palvelu-/tuotesivustojen arviointiin. Menetelmän avulla voitiin edelleen kehittää arviointipysäkin käytettävyyttä. Samanaikaisesti edistettiin testaajien ymmärrystä tiedonantajien ajatteluprosesseista. Siihen, mitä ja mistä näkökulmasta tiedonantajat kertoivat, vaikuttaa myös se, minkälaisen tehtävän testaaja esitti. Toisin sanoen BONON-hattuja käyttäessä, minkälaisen ajatteluhatun kautta henkilö lähestyy asiaa ajatellessaan ja siitä puhuessaan.
Menetelmän käyttöön liittyvät mahdollisuudet
Ääneenajattelumenetelmän käyttöön liittyi useita eri mahdollisuuksia. Teamsilla toteutettavan ääneenajattelun keskeinen piirre oli osallistujien fyysinen etäisyys. Ääneenajattelun etuna oli, että tiedonantajan ja testaajan ei tarvinnut olla samassa paikassa, ja näin voitiin ilman lisäkustannuksia tavoittaa tiedonantajia eri puolelta Suomea. Näin he saivat itse valita, missä he osallistuivat kyseiseen tilaisuuteen ja testaukset voitiin toteuttaa heille sopivassa ympäristössä ja omalla tietokoneella. Menetelmä tuo esiin uusia ja yllättäviäkin käyttäjänäkökulmia, joita ennalta on mahdotonta ennakoida tai joita kyselytutkimuksella ei saada selville. Menetelmä mahdollistaa sellaisen tiedon tuottamisen, jota voidaan käyttää välittömästi kehittämisen kohteena olevana asian päätöksenteon tukena ja muutoinkin organisaation toiminnan kehittämisessä.
Vuorovaikutuksessa korostui kuuntelemisen ja palautteen tärkeys. Kasvokkaisessa ääneenajattelun testaustilanteessa kuunteleminen ja hiljaa oleminen oli tärkeää siksi, että annettiin aikaa tiedonantajalle ajatella asioita. Teamsilla toteutetussa testaustilanteessa hiljaisuutta on vaikea tulkita, ja se voidaan tulkita, ettei olla läsnä tilanteessa. Hiljaisuus oli todettava sanoin, puhumalla, tekemällä jatko- ja täydennyskysymyksiä. Jokaiselle tiedonantajalle palaute oli tärkeää, jotta hän tiesi, oliko hänen toimintansa tarkoituksenmukaista. Olennaista on, että tiedonantaja puhuu, ja testaaja on mahdollisimman hiljaa ja puhuu vain, kun antaa tehtäviä suunnitelman mukaisesti. Palaute ilmaistiin lähinnä äänenpainoilla ja asian hyväksymisellä, kun siirryttiin asiakohdasta toiseen. Palaute motivoi myös tiedonantajia puhumaan ääneen. Ääneenajattelumenetelmä mahdollisti yhteiskehittämisen ja asiakkaan osallisuuden sekä asiakkaan äänen kuulluksi tulemisen.
Uudet ideat
Ääneenajattelumenetelmä tukee luovaa ongelmanratkaisua ja luovaa ajattelua, jolloin osallistujat yhdessä ratkaisevat kysymyksiä ja ongelmia. Luova ongelmanratkaisu ohjaa itsenäiseen päätöksentekoon ja järkevien, perusteltujen, ratkaisujen löytämiseen. (Järvilehto 2012). Ääneenajattelumenetelmän toteutus pitää suunnitella ennakkoon huolellisesti, mikä voi olla jopa luovan ajattelun osittainen este. Voidaan miettiä, jos tiedonantajia ei olisi ohjeistettu lainkaan, niin minkälaisiin ratkaisuihin he olisivat päätyneet tai, mitä asioita he olisivat ääneen kertoneet.
Ääneenajattelumenetelmä voisi olla sopiva kehittämistyön alussa, kun kartoitetaan asiakaskokemuksia. Asiakaskokemuksella tarkoitetaan asiakkaiden subjektiivista kokemusta, joka muodostuu kaikkien asiakkaan ja palveluntuottajan välisten suorien ja epäsuorien kontaktien seurauksena. Koska asiakaskokemuksen muodostumiseen vaikuttaa useat eri tekijät, sopii ääneenajattelumenetelmä juuri edm. eri tekijöiden selvittämiseksi. Lisäksi ääneenajattelumenetelmä soveltuu esimerkiksi sivuston tai palvelun vielä laajempaan tarkasteluun palvelunkäyttäjien näkökulmasta. Myös ryhmässä tehtävä ääneenajattelu saattaa tuoda esille erilaisia näkökulmia. Jos tätä menetelmää olisi hyödynnetty hankkeessa aikaisemmin esimerkiksi yhteisiä osaamisia käsittelevissä työpajoissa, niin olisi ollut mielenkiintoista käyttää menetelmää tiedonantajista muodostuvassa ryhmässä. Kehittämistyössä menetelmää voi käyttää muutosten jälkeen tehtävän asian uudelleen arviointiin.
Menetelmän avulla saatu tieto
Ääneenajattelumenetelmän tarkoituksena on tuottaa tietoa vaikeasti tulkittavista tai epäselvistä käsitteistä, mikä auttaa kehittämään erilaisia sähköisiä lomakkeita tai sivustoja. Tiedonantajien käsitteitä ja käsityksiä kuuntelemalla ja tulkitsemalla voidaan ainakin osittain ennakoida hänen käyttäytymistään ja toimintaansa. Menetelmä antaa äänen sivuston käyttäjille ja nostaa esiin käyttäjien subjektiiviset kokemukset sivuston käytettävyydestä ja ymmärrettävyydestä.
Menetelmä edellyttää tiedonantajalta tietyssä määrin ekstroverttiyttä. Varovainen, hiljainen tiedonantaja ei tuota tietoa prosesseista, vaan vastaa kysymyksiin, mitä kysytään. Teamsissä kohtaaminen estää eleiden ja ilmeiden havainnoinnin varsinkin, jos näköyhteys on pois päältä ja kamera on suunnattu muualle kuin tiedonantajan kasvoihin.
Teamsissä toteutettu arviointipysäkin käytettävyyden ja hyödynnettävyyden testaus edellytti tiedonantajilta tietoteknistä osaamista, mikä on jopa este niille henkilöille, joilla ei ole kyseistä osaamista. Esimerkiksi iäkkäät henkilöt, joilla ei ole tietoteknisiä valmiuksia, voivat jäädä näin toteutettavan ääneenajattelumenetelmän ulkopuolelle, vaikka he pystyisivät sanoittamaan tehtävän tai asian. Testaukseen liittyy myös eettisiä kysymyksiä vastaavasti kuin muissakin käytäntötutkimuksissa ja tiedonkeruussa. Tiedonantajien yksityisyys, anonyymisyys ja luottamuksellisuus korostuvat.
Menetelmän käyttöön liittyvät tunnetekijät
Haastattelijan kyky vapauttaa tilanteen ilmapiiri ja tehdä hetkestä turvallinen ja miellyttävä on tärkeää. Testaustilanteessa on riski, että haastateltava kokee olevansa arvioinninkohde. Siksi Teamsin kautta tapahtuvissa testaustilanteissa luottamuksen saamiseksi on käytettävä aikaa ja useita erilaisia menetelmiä. Luottamuksen saavuttaminen on tärkeää, koska muutoin tiedonantajan on helppo jättäytyä vuorovaikutuksesta pois, olemalla puhumatta. Luottamuksen perusta muodostui testaustilanteessa jo siitä, että tiedonantajille kerrottiin tarkkaan testauksen tarkoitus ja se, miten saatua ääntä, aineistoa, hyödynnetään. Tiedottamisen pitää olla avointa ja sellaista, että tiedonantaja kokee olevansa tärkeä asian kehittämisessä, ja hän kokee tulevansa kuulluksi omana itsenään. Luottamus ja tunne turvallisesta verkkoympäristöstä ja sen vuorovaikutuksesta vahvistavat osallisuutta sekä osallistumista.
Joskus aihepiiri on sellainen, että se aiheuttaa voimakkaita tunnetiloja tai epämiellyttäviä muistoja tiedonantajissa. Tällöin testaajan on oltava tietoinen seurauksista, mitä aiheesta keskustelu mahdollisesti aiheuttaa etäyhteyden päässä olevissa tiedonantajissa.
Menetelmän avulla saadaan selville erityistietoa ja -osaamista, jota tiedonantajilla on. Menetelmä sopii siis korkeatasoisen ammattilaisen osaamisen erityiskysymysten ja asioiden arviointiin sekä kehittämiseen. Hyvin impulsiivisen henkilön ääneenajattelu voi olla mielenkiintoista ja haastavaa aiheessa ja sen rajauksessa pysymisen vuoksi.
Menetelmän kriittiset tekijät
Ääneenajattelumenetelmän toteuttamisesta, esimerkiksi Teamsilla tai vastaavien sovellusten avulla, on olemassa vähän tietoa. Tarvitaan tietoa siitä, mitä hyötyjä tai riskejä ääneenajattelun toteuttamiseen esimerkiksi Teamsin välityksellä liittyy suhteessa kasvokkaiseen kontaktiin. Mikäli tiedonantajia on vähän, on vaikea saada kattavaa käsitystä siitä, miten Sotetie-sivusto todella toimii heidän näkökulmastaan. Toisaalta jokainen tiedonantaja edustaa tiettyä palvelunkäyttäjänprofiilia, joka kuvaa sitä, mitä tarpeita, motiiveja ja odotuksia heillä on arviointipysäkin hyödynnettävyydestä ja käytettävyydestä. Samoin kuin muissakin aineistonkeruumenetelmissä, on myös tässä menetelmässä vaikea tietää, kertooko tiedonantaja sitä, mitä todella ajattelee, vai minkä hän olettaa olevan sosiaalisesti suotava vastaus. Tiedonantajan kiinnostus aiheeseen ja testausmenetelmään vaikuttaa myös siihen, miten hän vastaa ja toimii testauksen aikana.
Ääneenajattelumenetelmän tärkein tehtävä oli tiedonantajien näkökulman saaminen mukaan arviointipysäkin kehittämistyöhön. Tässä asiassa me onnistuimme!
Kirjoittajat
Rauni Leinonen, KT, TTM, yliopettaja, Kajaanin ammattikorkeakoulu
Leila Lintula, THM, lehtori, Metropolia Ammattikorkeakoulu
Sari Laanterä, TtT, yliopettaja, Kaakkois-Suomen ammattikorkeakoulu
Arla Cederberg, VM, lehtori, Arcada ammattikorkeakoulu
Ann Backman, VM, projektitutkija, Novia ammattikorkeakoulu
SOTETIE-hanke on Euroopan sosiaalirahaston (ESR) ja Pohjois-Pohjanmaan elinkeino-, liikenne- ja ympäristökeskuksen rahoittama valtakunnallinen kehittämishanke, jonka toiminta-aika on 1.9.2019-31.12.2021. Hankkeessa kehitetään sähköistä jatkuvan oppimisen tiekarttaa, jolla edistetään ja uudistetaan sosiaali- ja terveysalan ammattilaisten geneeristä osaamista
Lähteet
Ahola, A. 2002. Surveykysymysten tarkoitus ja vastausten tutkittavuus. Ahola, A. 2000. Surveykysymysten tarkoitus ja vastausten tutkittavuus. Hyvinvointikatsaus 1. Helsinki. Tilastokeskus. 66–71.
Aitken L.M. & Mardegan K. J. 2000. ”Thinking Aloud”: Data Collection in the Natural Setting. Western Journal of Nursing Research 22(7), 841– 853.
Chi, M. 1997. Quantifying qualitative analyses of verbal data: A practical Guide. The Journal of the Learning Sciences 6 (3), 271–313.
Dietrich, H. & Ehrlenspiel. F. 2010. Measurement in Physical Education and Exercise Science Cognitive Interviewing: A Qualitative Tool for Improving Questionnaires in Sport Sciences. Measurement in Physical Education and Exercise Science 14 (1), 51–60. DOI:10.1080/10913670903455025
de Bono, E. 1990. Kuusi ajatteluhattua. Mark kustannus oy. Loimaa.
Godenhjelm, P. 2002. Kognitiiviset haastattelut. Teoksessa A. Ahola, P., Godenhjelm & M. Lehtinen (toim.) Kysymisen taito. Surveylaboratorio lomaketutkimusten kehittämisessä. Katsauksia 2. Helsinki. Tilastokeskus. 53–64.
Järvilehto, L. 2012. Tee itsestäsi mestariajattelija. Helsinki. Tammi.
Kuutti, W. 2003. Käytettävyys, suunnittelu ja arviointi. Helsinki. Talentum.
Newell, A. & Simon, H.A. 1972. Human problem solving. Englewood Cliffs. N.J. Prentice Hall.
Toikko, T. & Rantanen, T. 2009. Tutkimuksellinen kehittämistoiminta. Tampere. Tampereen Yliopistopaino Oy–Juvenes print.
Unkila, K., Lautala, K., Wikström, M., Joensuu, M., Savinainen, M. 2018. Kognitiivinen haastattelu kyselylomakkeen kehittämisessä Esimerkkinä työ- ja toimintakyvyn itsearviointimenetelmä. Kykyviisari. Kuntoutus 1, 7–24.
van Someren M.W., Barnard Y.F. & Sandberg J.A.C. 1994. The think aloud method. A Practical guide to modelling cognitive process. London. Academic Press.
Willis, GB. 2005. Cognitive Interviewing: A Tool for Improving Questionnaire Design. London. Sage.