Koulutuksen tutkimuslaitos

Toteutus

Toteutusaikataulu

PISA-ohjelma koostuu kolmen vuoden välein (2000, 2003, 2006, 2009, 2012, 2015, 2018) toteutettavista PISA-tutkimuksista. Kullakin kierroksella tutkimuksen pääarviointialue vaihtuu. Suurin osa kokeen tehtävistä sijoittuu pääarviointialueelle, mutta myös muut arviointialueet ovat edustettuina pienemmällä tehtävämäärällä. 

Kukin PISA-tutkimus kestää 4 vuotta. Ensimmäisenä vuonna laaditaan tehtävät ja arvioidaan niiden soveltuvuus tutkimukseen, valitaan tehtävät esikokeeseen, tehdään käännökset ja valmistellaan esikokeen otanta. Toisena vuonna toteutetaan esikoe ja käsitellään siitä saatu aineisto. Lisäksi toisena vuonna tehdään päätutkimuksen kouluotanta, informoidaan kouluja tutkimuksesta sekä valitaan päätutkimukseen tulevat tehtävät. Kolmantena vuonna tehdään päätutkimus kouluissa. Sitä valmistellaan tekemällä oppilasotanta sekä informoimalla ja kouluttamalla koulujen yhdyshenkilöitä. Kolmantena vuonna myös arvioidaan ja pisteytetään kokeen avoimet tehtävät sekä tallennetaan aineistot. Neljäntenä vuonna aineisto analysoidaan, tehdään tutkimusraportit ja julkistetaan tulokset.

Kuinka oppilaat PISAan valitaan?

PISAn kohderyhmänä ovat 15-vuotiaat nuoret. Käytännössä he ovat Suomessa yleensä peruskoulun 9. luokalla. Kuhunkin PISA-tutkimukseen mukaan tulevat koulut poimitaan satunnaisotannalla. Suomessa jokaisella PISA-kierroksella tulee mukana olla vähintään 150 koulua ja 6300 oppilasta. Kustakin koulusta tutkimukseen valitaan satunnaisesti 42 oppilasta.

Tutkimuksessa pyritään mahdollisimman kattavaan otokseen ikäluokasta. Tutkimuksissa ovat mukana myös Suomen ruotsinkieliset koulut ja oppilaat. Myös eri alueita (esim. Etelä-Suomi, Pohjois-Suomi) ja kuntamuotoja (taajama, maaseutu) edustavien oppilaiden tulosten vertailtavuus varmistetaan otannalla.

Tutkimuksen toteutus kouluissa

Koulujen nimeämät vastuuhenkilöt huolehtivat tutkimuksen käytännön toteutuksesta oppilaitoksessaan. Ennen kokeen toteuttamista Koulutuksen tutkimuslaitos kouluttaa heidät tehtäväänsä. Puolen päivän pituiset koulutukset järjestetään usealla paikkakunnalla eri puolilla Suomea. Koulutuksessa käydään läpi tutkimuksen toteutus vaihe vaiheelta. Lisäksi vastuuhenkilöt saavat erittäin yksityiskohtaiset ohjeet tutkimuksen toteutuksesta kouluissa ja koesalaisuuden säilyttämisestä.

Koulujen vastuuhenkilö on tavallisimmin opinto-ohjaaja, joskus myös joku opettajista tai koulun rehtori. Lisäksi osassa kouluja vierailee kansainvälisen keskuksen palkkaama ulkopuolinen tarkkailija seuraamassa koetilaisuuden toteutusta. Koulut eivät tiedä etukäteen, missä kouluissa tarkkailija käy.

Koetehtävät ja taustakyselyt

Vuoden 2015 tutkimus toteutettiin tietokoneilla. Kirjautumistunnus ohjaa oppilaan vastaamaan hänelle valikoituneisiin tehtäviin. Tehtävät jakaantuvat useisiin erilaisiin kombinaatioihin siten, että kullekin oppilaalle tehtäviä tulee kahden tunnin verran. Tehtävistä suurin osa sijoittuu kunkin tutkimuksen pääalueelle, ja loput jakautuvat tasaisesti kolmelle muulle osa-alueelle. Näin ollen oppilaan tekemät PISA-kokeet poikkeavat toisistaan myös koulun sisällä. PISAssa pyritään siihen, että yli puolet kokeen tehtävistä on avoimia tehtäviä.

PISAn koetehtävät valitsee tutkimuksen toteutuksesta vastaava kansainvälinen konsortio. Osan tehtävistä tuottaa kansainvälisen konsortion asiantuntijat. Myös kukin osanottajamaa voi tarjota tehtäviä PISAn käyttöön. Kukin maa myös arvioi jokaisen kokeeseen ehdotetun tekstin ja tehtävän sopivuutta omalta kannaltaan. Lopulliset tehtävät konsortio valitsee näiden arviointien, eri sisältöalueiden viitekehysten ja esikokeen perusteella. PISAn sivuilta löytyy esimerkkejä koetehtävistä.

Koetehtävien lisäksi oppilaat vastaavat tutkimuksissa taustakyselyihin, joissa kysytään mm. oppilaiden käsityksiä omasta opiskelusta, opiskelustrategioista, itseohjautuvan oppimisen taidoista ja tietotekniikan käytöstä. Myös koulujen rehtorit vastaavat tutkimuksissa koulun olosuhteita ja oppimisympäristöjä koskevaan kyselyyn.

Koetehtävät ja taustakyselyt käännetään suomeksi englannin- ja ranskankielisistä versioista. Koska käännökset ovat koko hankkeen pätevyyden ja luotettavuuden tärkeimpiä kulmakiviä, niihin kiinnitetään erityistä huomiota. Tehtävien käännöksissä käytetään rinnakkaisia käännöksiä ja käännökset tarkistetaan eli verifioidaan kansainvälisesti. Ammattikääntäjät saavat työhönsä myös yksityiskohtaisen ohjeistuksen, jossa painotetaan kokeen erikielisten versioiden ekvivalenssin vaatimusta.

Aineistojen käsittely

PISAn avointen tehtävien arvioijat eli pisteyttäjät koulutetaan huolella. Pisteytyksen luotettavuus varmistetaan siten, että eri pisteyttäjät arvioivat osan vastauksista useampaan eri kertaan. Vuoden 2000 tutkimuksen pisteityksen yksimielisyys Suomessa oli 96 %, mikä oli osallistujamaiden toiseksi paras. Vuonna 2003 yksimielisyys oli 94 %.

Erityyppisten tehtävien vastausten perusteella muodostetaan kullekin arviointialueelle suorituspistemäärät. Sivuarviointialueiden osaamista kuvaamaan lasketaan yksi suorituspistemäärä, mutta pääarviointialueen osaamista kuvataan tarkemmin käyttäen sekä yhtä yhdistettyä että osa-alueittain laskettuja suorituspistemääriä.

Jaa |