Koulutuksen tutkimuslaitos

Laadun varmistaminen

PISAn kaltaisessa mittavassa kansainvälisessä tutkimuksessa laadun varmistaminen korostuu. Pienetkin puutteet voivat aiheuttaa sen, etteivät eri maissa kerätyt tulokset enää olekaan yhdenmukaisia ja keskenään vertailukelpoisia.

Tutkimuksen korkea laatu rakentuu osallistujamaiden yhdessä sopimille laatustandardeille. Näiden standardien toteutumista valvotaan tarkoin prosessin eri vaiheissa. Tutkimuksen toteutuksen yhdenmukaisuutta ja luotettavuutta tuetaan yksityiskohtaisella ohjeistuksella, valvonnalla ja eri vaiheiden dokumentoinnilla.

Tutkimuksen toteutuksesta vastaavan henkilöstön koulutus on toinen keskeinen laadun tae. PISAssa käytetään myös ulkopuolisia arvioitsijoita varmistamaan tutkimuksen toteutuminen laatustandardien mukaisena.

Laadun varmistaminen kohdentuu erityisesti seuraaviin tutkimuksen vaiheisiin.


Tutkimuksen toteutusvastuu

PISA-tutkimuksen toteutuksesta järjestetään avoin tarjouskilpailu, jonka kautta toteuttajiksi haetaan mahdollisimman laadukkaat tutkimusyksiköt. PISAssa toteutusvastuu on ollut kansainvälisellä konsortiolla, joka on muodostunut 5–7 eri maissa sijaitsevasta tutkimuslaitoksesta tai vastaavasta yksiköstä. Kukin konsortion jäsen edustaa jotain tutkimuksessa tarvittavaa erityisosaamisen aluetta. PISA 2009 -tutkimuksessa toteutusvastuu on jaettu kahdelle konsortiolle, jolloin tutkimuksen asiantuntijaperusta on entistä laajempi.

Tutkimuksen viitekehys

Tutkimuksen suunnittelu käynnistyy yhteisen viitekehyksen laadinnalla tutkimukselle. Päävastuun viitekehyksen rakentamisesta kantavat tehtävään nimetyt asiantuntijaryhmät. Nämä ryhmät nimetään johtavista kansainvälisistä oppimisen ja oppimistulosten arvioinnin asiantuntijoista. Viitekehyksen laadinnan eri vaiheissa tutkimuksen osallistuvat maat voivat tehdä ehdotuksia viitekehyksen sisällöksi ja arvioida siihen astisia luonnoksia. Tällä pyritään erityisesti parantamaan arvioinnin kulttuurista edustavuutta ja tasapuolisuutta.

Tehtävien valinta ja arviointi

Asiantuntijaryhmien ja tutkimuksen toteutuksesta vastaavan konsortion vastuulla on tuottaa arvioinnissa käytettävät tehtävät ja kyselylomakkeisiin sisältyvät osiot. Kaikilla osallistujamailla on lisäksi mahdollisuus esittää tehtäviä PISA-tutkimukseen. Tätä mahdollisuutta maat myös aktiivisesti käyttävät ja huomattava osa PISA-tehtävistä on alunperin tuotettu jossain osallistuvassa maassa.

Tutkimukseen esitettyjä tehtäviä arvioidaan useita kertoja tutkimuksen eri vaiheissa. Asiantuntuntijaryhmät ja eri maiden PISA-keskukset arvioivat tehtäviä useiden eri kriteerien pohjalta, mm. niiden vastaavuutta maan opetussuunnitelmaan, sopivuutta 15-vuotiaiden maailmaan ja kieleen, vaikeutta ja kulttuurista soveltuvuutta. Tehtävien mittausominaisuuksia ja teknistä laatua arvioidaan esikokeen avulla ennen lopullista mittausta.

Lopulliseen mittaukseen valitaan eri arviointivaiheiden jälkeen noin 10-20 % alunperin esitetyistä tehtävistä. Edellä mainittujen tekijöiden ohella tehtäien valinnassa on lisäksi huomioitava, että ne kattavat mitattavan alueen sisällöllisesti ja kulttuurisesti laaja-alaisesti ja tasapuolisesti, niiden vaikeusaste vaihtelee riittävästi, erilaiset tehtävätyypit (monivalinnat, avoimet tehtäävät) ovat edustettuina ja tehtävät sijoittuvat monipuolisesti erilaisiin konteksteihin ja tiedon soveltamisen tilanteisiin.

Otanta

PISAssa otannan tarkoituksena on varmistaa se, että tutkimukseen valitut koulut ja oppilaat edustavat mahdollisimman hyvin koko 15-vuotiaiden perusjoukkoa. Tutkitut oppilaat muodostavat ikään kuin pienoiskuvan kaikista suomalaisista 15-vuotiaista. Tällöin edellytetään, että otantaa varten voidaan yksilöidä mahdollisimman kattavasti kaikki perusjoukkoon kuuluvat nuoret ja myös koulut, joissa nämä nuoret opiskelevat. Minimivaatimus on, että otanta kattaa vähintään 95 % perusjoukosta. Suomessa perusjoukon kattavuus on ollut 97-98 %. Käytännössä lähinnä vain kaikkein vaikeavammaisimmat nuoret ovat jääneet tutkimuksen otannan ulkopuolelle.

Koulut tutkimukseen valitaan satunnaisesti siten, että koulun todennäköisyys tulla valituksi mukaan riippuu sen oppilasmäärästä. Näin ollen suurella koululla on suurempi todennäköisyys tulla valituksi, koska se edustaa suurempaa osaa kaikista suomalaisista 15-vuotiaista. Koulun sisällä oppilaat valitaan satunnaisesti kaikista 15-vuotiaista riippumatta siitä, millä luokalla he ovat. Valinnan perustana käytetään virallisia koulutilastoja ja koulujen tietokannoista poimittuja oppilasluetteloita tutkimuksen ikäkriteerin täyttävistä nuorista.

Materiaalien käännökset ja niiden tarkistaminen

Niiden alkuperästä riippumatta kaikki tehtävät toimitetaan osallistujamaidelle englannin- ja ranskankielisinä. Osallistujamaiden tulee huolehtia tehtävien kääntämisestä omalle kielelleen. Lähtökohtana on se, että kaikista tehtävistä laaditaan kaksi rinnakkaista käännöstä, joita vertailemalla etsitään mahdollisimman hyvin alkuperäisen tekstin kanssayhteensopiva käännös. Olennaista on se, että tehtävien sisältö ja vaikeusaste pysyy mahdollisimman yhdenmukaisena alkuperäisen tekstin kanssa.

Tehtävien käännökset tarkistaa riippumaton ulkopuolinen asiantuntija. Hänet valitsee tutkimuksen kansainvälinen konsortio. Lopulliset muotoilut käännöksille haetaan tarvittaessa kansallisten asiantuntijoiden ja kielentarkastajan keskinäisen neuvottelun kautta.

Kyselylomakkeiden ja muun materiaalin kääntäminen tapahtuu periaatteessa samoja menettelytapoja noudattaen. Ennen varsinaista tutkimusta toteutettavan esikokeen tehtävänä on varmistaa myös käännösten virheettömyys ja vertailtavuus.

Koulujen ja oppilaiden osallistuminen

Otokseen valituille kouluille valitaan 1–2 varakoulua, jotka ovat ominaisuuksiltaan mahdollisimman samanlaisia alkuperäisen koulun kanssa. Tämä siltä varalta, jos otokseen valittu koulu ei voi jostain syystä toteuttaa tutkimusta. Suomessa varakouluja tarvitaan harvoin, yleensä alle 10 koulua alkuperäisistä 150-200 koulusta on vaihtunut.

PISAn laatustandardit edellyttävät, että otokseen valituista kouluista vähintään 85 % osallistuu tutkimukseen. Suomessa koulujen osallistumisprosentti PISAan on ollut 100.

Tutkimukseen valituista oppilaista on mahdollista jättää pois ne, jotka fyysisen, henkisen tai emotionaalisen toimintahäiriön tai erittäin puutteellisen kielitaidon (maahanmuuttajat) eivät kykene osallistumaan testiin. Nämä päätökset on perusteltava ja ne tehdään aina yksilökohtaisesti. PISA 2003 tutkimuksessa näillä perustein tutkimuksesta jätettiin Suomessa pois 1,2 % otokseen valituista oppilaista. PISAssa edellytetään, että kaikista tutkimukseen valituista oppilaista vähintään 85 % suorittaa kokeen. Suomessa tämä osuus on ollut 92-93 %. Osallistumattomuus johtuu yleensä oppilaiden tavanomaisista poissaoloista koulusta.

Koulujen vastuuhenkilöt

Tutkimuksen käytännön toteutuksesta koulussa huolehtivat Koulun vastuuhenkilöt. Suomessa vastuuhenkilöksi nimetään joku kyseisen koulun opettajista, yleensä koulun opinto-ohjaaja. Joissain muissa maissa toteutuksen hoitavat koulun ulkopuoliset henkilöt, jotka kiertävät useissa kouluissa. Koulun vastuuhenkilö ei koskaan saa olla minkään arvioitavan sisältöalueen (lukutaito, matematiikka, luonnontiede) opettaja.

Koulun vastuuhenkilöt koulutetaan tehtäväänsä päivän kestävällä koulutuksella. Koulutuksessa korostetaan erityisesti testisalaisuuden tärkeyttä ja sitä, että koe järjestetään täsmällisesti annettujen ohjeiden mukaan. Vastuuhenkilön oppaassa kuvataan yksityiskohtaisesti, miten koe järjestetään ja annetaan ”vuorosanat”, jotka vastuuhenkilön tulee oppilaille lukea sellaisenaan koetilaisuudessa.

Kouluvierailut

Osassa kouluja vierailee ulkopuolinen tarkkailija. Hänen tehtävänään on arvioida, toteutuuko koe koulussa annettujen ohjeiden mukaisesti. Tarkkailijan nimeää tutkimuksen kansainvälinen koordinaattori, jolle kouluvierailut myös raportoidaan. Koulut eivät tiedä etukäteen, missä kouluissa tarkkailijat vierailevat.

Aineiston koodaaminen

Kun oppilaat ovat vastanneet kokeeseen, aineisto lähetetään mahdollisimman pian kansalliseen PISA-keskukseen. Koska huomattava osa (45-55 %) oppilaiden vastauksista on avoimia eli oppilaat vapaasti kirjoittamia, tarvitaan runsaasti työtä vastausten koodaamiseen ja pisteiden antamiseen niille. Sähköiseen kokeeseen siirtymisen myötä pisteytystyötä on voitu helpottaa jonkin verran automaattisella pisteytyksellä. Etenkin matematiikan tehtävissä, joissa vastaus tulee ilmoittaa numeerisesti voidaan hyödyntää automaattista pisteytystä. Luotettavan vertailun kannalta on hyvin tärkeää, että kaikki koodaajat eri maissa toimivat yhdenmukaisesti. Tämän varmistamiseksi jokaisesta tehtävästä on yksityiskohtaiset koodausohjeet esimerkkeineen. Koodaajien koulutukseen käytetään aikaa noin viikko. Koodauksen aikana kaikista ongelmakohdista keskustellaan yhdessä oikean ratkaisun löytämiseksi ja tarvittaessa tehdyt tulkinnat tarkistetaan kansainvälisestä keskuksesta.

Koodausten luotettavuutta tarkkaillaan myös rinnakkaiskoodauksilla. Tällöin kaksi tai useampi henkilö koodaa samat oppilaiden vastaukset toisistaan tietämättä. Näitä riippumattomia koodauksia vertaamalla voidaan arvioida koko prosessin luotettavuutta. Sama menettelyä käytetään myös kansainvälisesti, jolloin esimerkiksi Suomen aineistosta osan koodaa myös jonkin toisen maan koodaaja. Näin saadaan tietoa eri maiden koodausten yhdenmukaisuudesta.

Esikoe

Esikoe toteutetaan vuotta ennen varsinaista PISA-koetta. Tällöin koko tutkimus toteutetaan samoin menettelyin kuin varsinaisessakin tutkimuksessa vuotta myöhemmin, mutta pienemmällä aineistolla (noin 20 % pääkokeen aineistosta). Esikokeessa testataan tutkimuksen eri vaiheiden toteutus ja tarvittaessa korjataan menettelyjä varsinaista koetta varten.

Esikokeessa myös testaan koetehtäviä. Tällöin tarkkaillaan muun muassa mahdollisia käännösvirheitä, vaikeusastetta, sopivuutta eri maihin ja oppilaiden reaktioita yksittäisiin tehtäviin. Tämän tiedon perusteella päätutkimukseen valitaan parhaiten sopivat tehtävät, yleensä noin 1/3 esikokeessa mukana olleista tehtävistä.

Tulosten julkisuus

PISAssa kuten muissakin kansainvälisissä oppimistulosten vertailututkimuksissa tutkimusaineisto on vapaasti käytössä. Sen jälkeen, kun ensimmäiset tulokset on julkaistu, kuka tahansa voi ladata minkä tahansa maan tai vaikka koko tutkimusaineisto omiin tarkoituksiinsa. Aineistosta on tätä ennen luonnollisesti poistettu yksittäisiä oppilaita ja kouluja koskevat tunnistetiedot osallistujamaiden tietosuojan edellyttämällä tavalla.

Jaa |