E-hindamise head ja vead
Kevadel, kui eksameid ei saanud koroonaviiruse puhangu tõttu tavapärasel moel auditooriumis korraldada, tõusis esile e-hindamine. Tähelepanu pöörati sellele, milline veebiplatvorm valida ja kuidas küsimusi vormida. Minu üllatuseks kujunes kõige teravamaks ja aeganõudvamaks akadeemilise petturluse ennetamise meetmete kavandamine. Ühtäkki olid nii üliõpilased, õppejõud kui ka programmijuhid veendunud, et e-hindamisel hakatakse spikerdama. Õpiväljundite hindamine muutus justkui teisejärguliseks.
Nagu iga hindamise puhul, tuleb ka e-hindamise juures vaadata nii sisu kui ka vormi. Sisu osas soovitas õppeprorektor juba kevadel koostada sellised eksamiküsimused, et spikerdamine oleks ebamõistlik või lausa võimatu. Selliselt lähenedes kontrollitakse vähem faktiteadmisi ja rohkem infotöötlusoskusi.
Infotöötlusoskuste kontrollimise hea näide on arstiteaduse õpetamisel kasutatava e-õppe platvormi AMBOSS testid. Sealses tüüpülesandes kirjeldatakse haigusjuhtu ja küsitakse näiteks esmavaliku ravimi sagedasemaid kõrvaltoimeid. Üliõpilane peab kirjelduse põhjal ära tundma kõige tõenäolisema haigusseisundi ning teadma, milline on esmavaliku ravi ja mis on selle kõrvaltoimed. Faktide kontrollimise asemel nõutakse seoste märkamist. Kindlasti on samalaadse ülesehitusega läbimõeldud teste veel – näiteks essees või poolstruktureeritud intervjuu vormis suulisel eksamil on õppejõul veel lihtsam seoste loomist ja mõistmist kontrollida.
Vormist oleneb palju
Kõige levinum e-hindamise meetod on ilmselt valikvastustega küsimustik, kuid see eeldab, et küsimused on paigutatud kindlasse vormi. Mõelda tuleb sellele, mitut küsimust korraga kuvada, kas ja kui palju võib üliõpilane küsimuste vahel liikuda, kas vastuseid saab muuta ja milline on ajapiirang.
Et vältida tähelepanu hajumist, soovitatakse küsimusi kuvada ühekaupa, kuid arvestada tuleb ka infotehnoloogilist võimekust. Aeglase internetiühenduse korral võib lehekülgede vahetamine olla liiga aeganõudev ja raisata eksami tegemiseks antud aega. Kuldne kesktee on ilmselt kuvada korraga vähem küsimusi. See vähendaks vajadust lehekülgede vahel liikuda või küsimustikku üles-alla kerida[1], [2].
Plaan arstiteaduse lõpueksamil küsimuste vahel liikumist piirata tekitas kevadel üliõpilastes palju pahameelt. Paberil eksamitööd tehes saab ühe küsimuse juurest teise juurde minna vabas järjekorras. Eksamil kasutatakse sageli strateegiat, et esmalt vastatakse kergemana tunduvatele küsimustele ja seejärel minnakse keerukamate juurde[3]. Seega eeldaks küsimuste vahel liikumise piiramine õppijatelt tavapärasest erineva eksamistrateegia omandamist. Arstiteaduse lõpueksamil kasutati osalist piirangut: küsimused kuvati teemaplokkidena, mis võimaldas liikuda ühes pundis olnud küsimuste vahel, kuid mitte eri teemade vahel. Et hoida ära spikerdamist, kuvati küsimusi juhuslikus järjekorras.
„Esimene mõte on ikka õige!“ kuulsin sageli oma õppejõududelt enne eksamit. Selle mõttega põhjendati kevadel ka juba antud vastuste muutmise piiramist. Tuleb aga meeles pidada, et õppejõudude tähelepanekud õigete vastuste valeks parandamise kohta põhinevad olukordadel, kus õiget vastust on saanud paberilt lugeda. Õppejõul on vastuseid kontrollides võimatu teada, kas mahakriipsutatud variant oli eksaminandile esimesena pähe tulnud mõte ning mis oli vastuse muutmise põhjus. Uuringute järgi võib vastuste muutmist mõjutada mitu tegurit, sealhulgas vastaja sugu, enesekindlus, keskmine hinne ja esitatud küsimuste keerukus[4]. Üldiselt on täheldatud, et kui vastuseid on lubatud muuta, saavad õppijad paremaid tulemusi[5].
Väljunditega kooskõlas
Veel tekitab küsimusi ajapiirang. Mida rangem see on, seda väiksem on tõenäosus, et üliõpilane jõuab kasutada kõrvalist abi. Samas põhjustab karm ajapiirang lisapinget. Hirm selle ees, et küsimusi ei jõua läbi vaadata, võib sooritust takistada, isegi kui materjal on hästi omandatud. Loomulikult aitab ajapiirang luua võrdseid tingimusi kõikidele õppijatele, kuid ka siin on vaja leida tasakaal, et mitte seada aeglasemaid ja oma otsustes ebakindlamaid üliõpilasi ebasoodsamasse olukorda.
Kõik mainitud e-hindamise tahud on olulised ja peavad sobituma õpiväljunditega. Näiteks kui väljund on omandada oskus langetada otsuseid pingelises olukorras ja vähese info põhjal, võib range ajapiiranguga eksam, kus küsimuste vahel liikuda ja vastuseid muuta ei saa, olla asjakohane. Kui eesmärk on kontrollida seoste loomise võimekust, ei ole kirjeldatud piirangud ilmselt tähtsad.
E-hindamine on palju nüansirikkam, kui esialgu näida võib. Iga variant võib mõjutada õppija sooritust erinevalt ning kõigile sobivat lahendust ei ole olemas. Siiski tuleks läbi mõelda, milline võiks eksami ülesehitus olla, et see aitaks õpiväljundite saavutamist võimalikult hästi kontrollida.
Sel sügissemestril on TÜÜE keskendunud sellele, et tutvustada ülikooliperele väljundipõhise õppe olemust. Võtame luubi alla väljundipõhisuse ja selle rakendusvõimalused, üldpädevuste arendamise, hindamise ning tagasiside. Ülikooliaeg on lühike. Tulge arutama, kuidas muuta see tõeliselt väärtuslikuks! Lisainfot saab aadressil www.tyye.ut.ee/opivaljund.
[1] C. Ricketts, S. J. Wilks (2002). Improving Student Performance Through Computer-based Assessment: Insights from recent research. – Assessment & Evaluation in Higher Education, 27: 5, 475–479.
[2] A. Peytchev, M. P. Couper, S. E. McCabe, S. D. Crawford (2006). Web Survey Design: Paging versus Scrolling. – Public Opinion Quarterly, 70: 4, 596–607.
[3] U. Bezirhan, M. von Davier, I. Grabovsky (2020). Modeling Item Revisit Behavior: The Hierarchical Speed–Accuracy–Revisits Model. – Educational and Psychological Measurement. DOI: 10.1177/0013164420950556.
[4] A. Stylianou-Georgiou, E. C. Papanastasiou (2017). Answer changing in testing situations: the role of metacognition in deciding which answers to review. – Educational Research and Evaluation. DOI: 10.1080/13803611.2017.1390479.
[5] L. Di Milia (2007). Benefiting from Multiple‐Choice Exams: The positive impact of answer switching. – Educational Psychology, 27: 5, 607–615.
Marge Vaikjärv
TÜÜE projektijuht
Lisa kommentaar