Formativ evaluering inden kursusstart

I tidligere TUP projekter er der blevet udviklet digitale test med forskellige formål:

• træning og evaluering under forløbet (TUP 14, TUP 15)
• test til Viseffekt, som anvendes til initialtest, sluttest og effektmålingstest
• test til Kollektiv afkortning

Udviklere fra de deltagende skoler har fået kompetenceløft i testudvikling hvor fokus har været på at definere skarpe testmål til klare læringsmål. Målet har været at tilrettelægge spørgsmål, der kan teste på de forskellige niveauer ifølge Bloom’s taksonomi: fra viden til forståelse og til anvendelse af de nye færdigheder.

Tests udviklet til Undervisningsministeriets system Viseffekt og især de test der er udviklet inden for projekt Kollektiv afkortning, indeholder mere generiske spørgsmål, der ikke direkte relaterer til det konkrete undervisningsindhold. Meningen er, at de skal kunne anvendes landsdækkende og uafhængig af undervisningsindholdet på de enkelte skoler. Testspørgsmål er rettet mod de overordne læringsmål for kurserne.

Evalueringer i VisEffekt er ikke kun af formativ, men også af summativ karakter, da data analyseres og evalueres til overordne effektmålinger for uddannelserne.

I modsætning af tests til Viseffekt er trænings- og evalueringstest under kursusforløbet rettet mod selvevaluering og læring gennem tests inden for et afgrænset emne. Spørgsmål af denne type test tager udgangspunkt i det konkrete læringsindhold, dvs. at de i de fleste tilfælde er på læringsobjekt niveau.

Testspørgsmål til Før-test i Adaptive AMU skal anvendes til formative evalueringer og skal derfor relatere til kompetencebeskrivelserne og læringsmål for kurset. Samtidigt skal de kunne udløse en automatisk respons fra læringssystemet der er bygget på strukturelle sammenhæng mellem spørgsmål og kursusindhold. Før-test udvikles til et i forvejen fastlagt digitalt undervisningsmateriale.

En Før-test kan i princippet betragtes som en vurdering af realkompetencer uden at have den adgangsgivende betydning for deltageren, som en RKV har.

”Ved en realkompetencevurdering handler det grundlæggende om at vurdere, om den viden og de færdigheder og kompetencer, som ansøgeren bringer med sig, svarer til eller ækvivalerer de beskrevne adgangskrav eller læringsmål/uddannelsesmål, der søges i forhold til. ” (Ref.)

Til forskel af RKV tager en Før-test udgangspunkt i de definerede læringsmål og indhold for uddannelsen og ikke i ansøgerens personlige opfattelse, fortolkning eller indholdsbestemmelse af målene.

Formålet med Adaptive AMU er at kursisten kan få godkendt kompetencer og opnå et kursusbevis efter gennemførelse af et forløb der består af færre læringsemner end normalt.

Adaptive AMU skal opfylde de kriterier der er fastlagt i den danske kvalifikationsramme for AMU uddannelserne som betingelse for udstedelse af kursusbevis.

Kvalifikationsrammen er opdelt i 8 niveauer, hvor AMU-uddannelserne befinder sig på niveauer 2-5. Hvert niveau beskriver vigtige træk ved kvalifikationer opdelt efter tre nøgle ord: viden, færdigheder og kompetencer. (Ref. Proceedings of the 2002 eTEE Conference 11-16 August 2002 Davos, Switzerland)

Udfordringen i Adaptive AMU er at sikre at Før-testen kan evaluere varierende på de forskellige niveauer: fra viden og forståelse til færdigheder og kompetencer.

Ifølge den danske kvalifikationsramme omfatter viden både viden om et emne og forståelse, dvs. at man er i stand til at sætte sin viden i sammenhæng og forklare den for andre. Viden kan være både om teori og praksis. Testspørgsmål skal derfor også handle om evner til at formidle viden.

Færdigheder handler om det, en person kan gøre eller udføre. Når det handler om at teste praktiske færdigheder eller kognitive færdigheder (f.eks. at kunne regne) kan selvrettede tests opsættes konkret og tydeligt. Spørgsmål her kan rettes mod konkrete handlinger.

Når det handler om vurdering af kreative eller kommunikative færdigheder, er det vanskeligt at anvende selvrettende test. Her vil andre evalueringsformer som f.eks. besvarelser i fri tekstform eller projektarbejde give mere nuancerede resultater.

Tager vi udgangspunkt i Blooms taksonomi, vil kompetencer på de højeste trin i taksonomien handle om at kunne reflektere og analysere, forklare sammenhænge og anvende sin viden kreativt.

De kan nemmere afklares via f.eks. opgaver, hvor der anvendes:

• argumentation
• frie tekster og diskussioner
• kreative løsninger
• overvejelser og refleksioner

Da kompetencer er evnen til at anvende viden og færdigheder i praksis, hvor ansvar og selvstændighed er centrale begreber, er det enormt udfordrende at få afklaret eksisterende kompetencer gennem selvrettende tests.

Kompetencer på de højere niveauer i taksonomien kan evt. testes gennem spørgsmål relateret til praksisorienterede cases og autentiske problemstillinger.

Autentiske problemstillinger er sammensat af et antal delproblemstillinger og hvis de kan identificeres, og der kan opstilles målbare lærings- og testmål for dem, er det muligt at afdække om testdeltageren har redskaber til at løse den autentiske problemstilling. (Ref. Elektroniske test i undervisningen, Temahæfte – marts 2006, Ventures)

Det er vigtigt for Adaptive AMU at opfordre testudviklerne til at tage udgangspunkt i praksisorienterede cases og at omsætte problemstillinger til målbare testmål rettet mod vurdering af kompetence på højere taksonomiske niveauer.

For at kunne afdække viden, færdigheder og kompetence kompetencer skal en Før-test indeholde varierende spørgsmål der tester:

• Kendskab, teoretisk viden og formidling
• Evner til at vurdere og sammenligne faglige situationer
• Færdigheder til at løse konkrete praktiske opgaver