MÄÄRÄLLISEN TUTKIMUKSEN LUOTETTAVUUS (3.10.2018 Mervi Hakala)

Määrällisen tutkimuksen luotettavuuteen liittyviä käsitteitä on käsitelty aiemmilla kursseilla, joten niistä tärkeimmät eli validiteetti ja reliabiliteetti olivat minulle jo tuttuja. Tällä luennolla käsiteltiin laajemmin näitä käsitteitä ja kerrottiin, millaisilla menetelmillä niitä voidaan arvioida. Kerron tässä blogitekstissä aluksi lyhyesti määrällisen tutkimuksen ominaispiirteistä ja perehdyn tarkemmin niihin menetelmiin, joilla määrällisen tutkimuksen luotettavuutta voidaan arvioida ja parantaa.

Määrällisessä tutkimuksessa tavoitteena on ennustaa ja selittää tutkittavaa ilmiötä. Toisin kuin laadullisessa tutkimuksessa, tutkijan ja tutkittavan suhde on etäinen ja aineiston keruu on tarkasti suunniteltu ja strukturoitu. Siinä käytetään tilastollisia menetelmiä, joten mittarien tekeminen ja niiden testaaminen ovat keskeisiä asioita. Otoksen täytyy olla satunnaistettu, riittävän suuri ja edustava, jotta aineistosta voidaan tehdä luotettavia johtopäätöksiä. Mittarilla kerätty määrällinen aineisto käsitellään tilastollisin menetelmin ja tulokset pyritään yleistämään. Luennolla korostettiinkin, että määrällisen tutkimuksen vaiheista juurikin mittarin teko ja aineiston keruu ovat tärkeimpiä tutkimuksen luotettavuuden kannalta. Hoitotieteellisessä tutkimuksessa käytetään usein triangulaatiota, eli yhdistetään laadullinen ja määrällinen tutkimus. Sen avulla voidaan lisätä ymmärrystä tutkittavasta aiheesta.

Määrällisessä tutkimuksessa keskeiset luotettavuuteen liittyvät käsitteet ovat reliabiliteetti ja validiteetti. Reliabiliteetilla tarkoitetaan mittarin tarkkuutta, täsmällisyyttä ja pysyvyyttä eli mittarin kykyä antaa ei-sattumanvaraisia tuloksia. Validiteetilla tarkoitetaan mittarin pätevyyttä eli sen kykyä mitata juuri sitä, mitä tutkimuksessa on tarkoitus mitata.

Reliabiliteetin lajeja ovat pysyvyys, sisäinen johdonmukaisuus ja vastaavuus. Reliabiliteetin lajien arviointiin on kehitetty useita tilastollisia menetelmiä. Pysyvyyden määritelmän mukaan mittari antaa saman tuloksen eri mittauskerroilla. Pysyvyyttä voidaan arvioida tekemällä toistomittaus, jonka perusteella määritellään reliabiliteettikerroin. Reliabiliteettikertoimen tulos voi olla 0-1 ja jos se on yli 0,8 sitä pidetään hyvänä. Mittarin sisäisellä johdonmukaisuudella tarkoitetaan mittarin eri osioiden kykyä mitata samaa asiaa. Sitä mitataan osioanalyysilla ja arvioidaan yleisimmin Cronbachin alfa -kertoimen avulla. Cronbachin alfa -arvot voivat olla 0-1 ja sen kohdalla 0,7 arvioidaan hyväksi. Mittarin vastaavuudella tarkoitetaan eri mittaustulosten samanlaisuuden astetta. Sitä voidaan arvioida siten, että useampi tutkija käyttää mittaria samaan aikaan tai samaa asiaa mitataan rinnakkaisilla mittareilla yhtä aikaa. Mittausten välisten korrelaatioiden ja yksimielisyyskerrointen perusteella voidaan arvioida antaako mittari samankaltaisia vastauksia. Jos arvo on yli 0,7, mittari tulkitaan hyväksi. Reliabiliteettia voidaan parantaa esitestaamalla mittari, selkeillä vastausohjeilla ja mittarilla, kouluttamalla mittaajat, kiinnittämällä huomiota tutkimusjärjestelyihin ja minimoimalla tutkimuskohteesta ja ympäristöstä johtuvat virhetekijät.

Mittarin validiteetin lajit ovat Face-validiteetti, sisältövaliditeetti, rakennevaliditeetti ja kriteerivaliditeetti. Face-validiteetin avulla arvioidaan, mittaako mittari tutkittavaa ilmiötä. Sisältövaliditeetin avulla arvioidaan puolestaan kattavatko mittarin kysymykset riittävän laajasti tutkittavan aiheen käsitteet eli sen avulla voidaan arvioida käsitteiden operationalisoinnin onnistumista. Face- ja sisältövaliditeettia voidaan parantaa perehtymällä aiheeseen huolella, asiantuntijapaneelin avulla ja varmistamalla että kysymykset ovat ymmärrettäviä. Rakennevaliditeettia (jota myös käsite- tai teoreettiseksi validiteetiksi kirjallisuudessa kutsutaan) arvioitaessa tarkastellaan mittarin käsitteellistä yhteyttä teoreettiseen taustaansa. Sen avulla selvitetään, tukeeko aineisto mittarin teoreettista rakennetta ja sitä voidaan arvioida faktorianalyysilla ja käsiteanalyysillä. Kriteerivaliditeetilla tarkoitetaan sitä, että verrataan mittarilla saatua arvoa johonkin kriteeriin, jonka tiedetään mittaavaan tutkittavaa ominaisuutta. Kriteerin mittaamisajankohdan perusteella voidaan erottaa samanaikaisvaliditeettia ja ennustevaliditeetti. Kriteerivaliditeettia arvioidaan saatujen tulosten ja kriteerin välisellä korrelaatiolla.   

Määrällisen tutkimuksen tulosten arvioinnissa on tärkeää arvioida tutkimuksen luotettavuutta. Sitä arvioidaan sisäisen validiteetin avulla, joka tarkoittaa sitä, että tulokset johtuvat ainoastaan tutkimusasetelmasta eivätkä sekoittavista tekijöistä. Raportissa tutkijan tulee pohtia, mitkä olemassa olevat uhat ovat voineet olla vaikuttamassa tutkimuksen tuloksiin. Tällaisia uhkia voivat olla otokseen liittyviä tai asioita, jotka ovat vaikuttaneet muuten tutkimustuloksiin kuten mittauksen tai jonkin muun intervention vaikutus tutkimustuloksiin.

Kuten aiemmin mainitsin, tällä luennolla käsiteltiin aiemmin tuttuja käsitteitä, reliabiliteettia ja validiteettia. Ymmärsin, miksi validiteettia on tärkeää arvioida sekä mittarin kehittämisvaiheessa että tuloksia raportoidessa. Kyseinen aihe on aiemmin jäänyt minulle epäselväksi. Tämän syksyn aikana minulle on hahmottunut, mitä tilastollisia menetelmiä mittareiden kehittämisessä ja arvioinnissa voidaan käyttää. Tämä luento olikin hyvä kooste tärkeistä tilastollisista menetelmistä, joita mittareiden luotettavuuden lisäämiseksi on kehitetty. Toki käytännön tutkimustyö varmasti vasta opettaa käyttämään näitä menetelmiä, mutta nyt tieteellisten artikkeleiden lukeminen on aikaisempaa helpompaa, koska ymmärrän aiempaa paremmin miksi mitäkin menetelmää käytetään.