Toetsing
Standaard 3 De opleiding beschikt over een adequaat systeem van toetsing.
Toetsing is een essentieel middel om het competentieniveau en de professionele ontwikkeling van onze studenten zichtbaar te maken. De afgelopen jaren hebben we als team stevig geïnvesteerd in de kwaliteit van het gehele toetsproces en hebben we het vertrouwen dat ons toetshuis solide is.
Beleid
In lijn met het IvG Toetsbeleid (2024) hanteren we onderstaande uitgangspunten:
- De mix van toetsvormen en -momenten past bij de leerdoelen en vormt een studeerbaar en organiseerbaar toetsprogramma.
- Via een dekkingsmatrix is inzichtelijk in welk thema (cursus) de beroepsrollen op de verschillende OCP-niveaus getoetst worden.
- Toetsen moeten voldoen aan de basiseisen voor toetskwaliteit: constructive alignment, validiteit, betrouwbaarheid, bruikbaarheid en transparantie.
- De zeven fasen van de toetscyclus worden ieder jaar opnieuw doorlopen door de themaverantwoordelijken (cursushouders) als onderdeel van de reguliere PDCA-cyclus. (Zie ook hoofdstuk 4 van het Opleidingsprofiel).
- De examencommissie is verantwoordelijk voor de borging van kwaliteit van tentamens en examens. Analyse van kwaliteit van toetsing is gemandateerd door de Examencommissie aan de Toetsborgingscommissie.
- Examinatoren worden benoemd door de Examencommissie conform het hogeschoolbrede profiel van examinatoren. Docenten moeten BKE gecertificeerd zijn om zelfstandig de rol van examinator uit te kunnen voeren.
Uitvoering
Congruent met onze onderwijsvisie staat ook in onze toetsvisie de beroepscontext centraal. Onze toetsen zijn daarom zoveel mogelijk contextrijk vormgegeven. In de eerste fase van de opleiding is dit vanuit casuïstiek en simulatie en in de loop van de opleiding wordt er toegewerkt naar het verzamelen van bewijzen van competent handelen in de authentieke stagecontext.
Verder vormt het methodisch fysiotherapeutisch handelen en de kritische reflectie daarop het kader voor de toetsdoelen voor het overgrote deel van de toetsen. Conform onze visie beoordelen we het methodisch fysiotherapeutisch handelen via de centrale rol van zorgverlener waarbinnen alle aspecten van de complementaire rollen geïntegreerd worden. Via de dekkingsmatrix is per thema (cursus) inzichtelijk welke complementaire rollen afwisselend geaccentueerd op de verschillende OCP-niveaus getoetst worden.
Toetsprogramma
We hanteren verschillende toetsvormen om een betrouwbaar en volledig beeld van studenten te kunnen vormen bij het beoordelen van de kennis, vaardigheden en competent handelen. Onze toetsmix omvat kennistoetsen, performance assessments (PA’s), schriftelijke opdrachten en portfolio assessments, zoals vastgelegd in het OER. Deze toetsen passen bij de doelen en het OCP-niveau zoals dat wordt beoogd. Qua frequentie en aantal summatieve toetsmomenten willen we overdadig toetsen voorkomen om het toetsprogramma studeerbaar en organiseerbaar te houden.
De fysiotherapeutische kennis, voorwaardelijk voor methodisch handelen en klinisch redeneren, wordt in jaar 1 en 2 met behulp van de kennistoetsen getoetst. Deze worden vormgegeven middels meerkeuzevragen en afgenomen met behulp van het digitale toetssysteem ANS Delft. De lijn van kennistoetsen kent een opbouw waarin het aantal vragen op reproductieniveau afneemt ten opzichte van de vragen op inzichtniveau. Na afname van een digitale toets wordt deze geanalyseerd en op basis van de rapportage kan de antwoordsleutel en/of cesuur worden aangepast door de themaverantwoordelijk (cursushouder). De herkansing van een meerkeuzetoets is een unieke toets en is niet gelijk aan de oorspronkelijke toets.
De beoordeling van methodisch fysiotherapeutisch handelen en klinisch redeneren heeft een prominente plek in de vorm van performance assessments (PA’s). Tijdens de performance assessments worden studenten beoordeeld op het op een juiste en volledige manier uitvoeren van het diagnostisch en/of therapeutisch proces. Daarbij wordt de student ook bevraagd op de keuzes die gemaakt zijn en de onderbouwing van het klinisch redeneren met toepassing van relevante elementen van evidence based practice. De opeenvolgende PA’s kennen een opbouw in complexiteit van de casuïstiek en de zelfstandigheid die van de student wordt verwacht. Na ieder PA krijgen studenten mondeling en schriftelijk terugkoppeling van de beoordeling, ondersteund met een toelichting op het uiteindelijke resultaat om de transparantie te bevorderen en om voor zichzelf ontwikkelpunten te formuleren.
De schrijfopdrachten zetten we in voor het toetsen van onderzoekend vermogen en klinisch redeneren. Sommige opdrachten staan vooral in het teken van onderzoek doen middels het verzamelen en analyseren van wetenschappelijke literatuur en/of data voor een onderzoeksvraag. Dit start in jaar 1 met het interviewen van enkele patiënten en bouwt op naar het uitvoeren van een praktijkgericht onderzoek in jaar 3. Bij andere opdrachten gaat het primair om de wetenschappelijke inbedding van het klinisch redeneerproces, waarin studenten starten met het zoeken van één enkel artikel om een diagnostische onderzoeksvraag te beantwoorden en eindigt bij het schrijven van een case-report waarin studenten hun gehele fysiotherapeutisch handelen onderbouwen.
Elk semester hebben studenten een portfoliotoets waarin ze gevraagd worden om kritisch te reflecteren op hun professionele ontwikkeling. Gedurende de opleiding ontwikkelen studenten zich van student als professional (OCP-1) via stagiaire (OCP-2) naar beginnend fysiotherapeut (OCP-3). De student toont deze ontwikkeling aan met behulp van toets- en stageresultaten. De bewijsstukken uit de praktijk nemen gaandeweg de opleiding een steeds meer prominente plek in.
Toetsproces en kwaliteitszorg
Elke toetsvorm past bij de (thema)doelen waarvan beoordelingscriteria zijn afgeleid. Via de doelen zijn criteria gerelateerd aan de competenties en rollen van het Opleidingscompetentieprofiel. Iedere toets is authentiek, specifiek, representatief en evenwichtig, zowel qua inhoudelijke dekking als beheersingsniveau. Voor elke kennistoets en PA is een toetsmatrijs opgesteld. Toetsvragen en beoordelingscriteria zijn opgesteld volgens het vier-ogenprincipe. Iedere toets wordt door de themaverantwoordelijke (cursushouder) kritisch geëvalueerd als onderdeel van de reguliere PDCA-cyclus.
Studenten weten wat er van hen verwacht wordt doordat de thema- en weekdoelen, toetsmatrijzen en beoordelingsformulieren bij de start van het thema met hen gedeeld worden. In aanloop naar een toets hebben studenten ruimschoots de gelegenheid om te oefenen en om feedback te vragen. Bij kennistoetsen worden voorbeeldvragen beschikbaar gesteld en in de leerpraktijken worden proefassessments uitgevoerd als voorbereiding op het performance assessment.
Waar het assessments en schriftelijke producten betreft hebben examinatoren voorafgaand gekalibreerd over de interpretatie van criteria om de objectiviteit van de beoordeling te waarborgen. Studenten worden beoordeeld op basis van de criteria. Alle beoordelingen worden voorzien van een schriftelijke toelichting die aansluit bij de criteria en de prestatie van de student.
Borging
De Examencommissie van IVG is verantwoordelijk voor de borging van de kwaliteit van de toetsen en screent zelf periodiek met een steekproef het eindniveau. De examencommissie is tevens verantwoordelijk voor de benoeming van examinatoren. Met ingang van cursusjaar 2024-2025 kunnen docenten alleen nog in deze rol benoemd worden indien ze minimaal BKE geschoold zijn.
Conform Onderwijs en Examen Regeling (OER) kunnen fysiotherapeuten uit het werkveld worden ingezet als stagebegeleider, gastdocent, examinator en/of opdrachtgever ten behoeve van de projectopdrachten. Wanneer deze een rol heb in de beoordeling dan dienen ze daarvoor een training te hebben gevolgd en deel te nemen aan kalibratiesessies.
De Examencommissie heeft de Toetsborgingscommissie gemandateerd om analyses uit te voeren. De toetsing van iedere cursus, inclusief keuzevakken en minoren, wordt ééns per vier jaar geanalyseerd op de aspecten validiteit, betrouwbaarheid, bruikbaarheid en transparantie. Toetsen met een slagingspercentage lager dan 60% (berekend over beide toetskansen) worden ook voor analyse voorgelegd. Conclusies en aanbevelingen worden gecommuniceerd naar betrokken themaverantwoordelijken, de onderwijsmanager en de curriculumcommissie en ze worden vastgelegd in het jaarverslag. Op basis van evaluatie met docenten en bevindingen van de toetsborgingscommissie worden toetsen en toetsprocessen waar nodig bijgesteld.
Reflectie
De toetsexpertise binnen het team is de afgelopen jaren verder toegenomen. Vrijwel het volledige docententeam is BKE gecertificeerd en ongeveer 10% beschikt over een Senior Kwalificatie Examineren (SKE). De opleiding benut de analyses die in het kader van SKE-trajecten zijn gedaan voor verbetering/aanscherping van toetslijnen, zoals de portfoliolijn en onderzoekend vermogen. Naast bemensing van de Toetsborgingscommissie worden onze toetsexperts ook ingezet om collega’s te ondersteunen in de kwaliteitszorg van toetsen, zoals bijvoorbeeld bij de kennistoetsen. Docenten zijn zich meer bewust van het belang van toetsing, vragen hulp aan collega experts en geven aan zich hier verder in te willen bekwamen. Dit blijkt bijvoorbeeld uit aanmelding uit eigen beweging voor SKE-scholing.
Bij het aanscherpen van curriculum in de periode 2021-2023 zijn de toetsdoelen van het gehele curriculum opnieuw geformuleerd waarna alle handleidingen en beoordelingsmodellen herschreven zijn door een kernteam van schrijvers uit de verschillende leerjaren. Elk thema (cursus) is meerdere keren voor feedback voorgelegd aan de curriculumcommissie voordat deze is vastgesteld. Deze exercitie en interne afstemming hebben geleid tot versterking van constructive alignment binnen thema’s en tot meer uniformiteit in toetsmatrijzen en beoordelingsformulieren.
Zowel de Toetsborgingscommissie als het panel van de interne audit hebben aandacht gevraagd voor de navolgbaarheid van beoordelingen in alle fases van onze opleiding. Om deze te verbeteren hebben we de afgelopen jaren als opleiding de volgende stappen gezet:
- Er zijn diverse trainingen georganiseerd voor het geven van specifieke feedback op schriftelijke producten.
- De beoordelingsformulieren voor stagebegeleiders zijn herzien en tijdens training van stagebegeleiders is er expliciet aandacht voor schriftelijke feedback bij de beoordeling.
- Knelpunt bij de beoordelingen van de Performance Assessments was dat beoordelende docenten na het afleggen van het assessment hun tijd verdeelden tussen het geven van mondelinge feedback en het uitschrijven van de beoordeling. Op advies van de onderwijskundig adviseur hebben we recent ingevoerd dat de examinatoren zich volledig gaan concentreren op het geven van een toelichting bij de beoordeling. Het geven van feedback en feedforward is echter al stevig verankerd in de rest van de onderwijscyclus.
Uit evaluaties met docenten en externe assessoren blijkt dat deze stappen effect hebben gehad. Ook de Toetsborgingscommissie concludeert in haar jaarverslag van 2023-2024 dat de navolgbaarheid van beoordelingen is toegenomen en dat de kwaliteit van het invullen van beoordelingsformulieren is verbeterd. Wel geeft de commissie aan dat er nog ruimte is voor verdere verbetering. We willen daarom de komende jaren in het docententeam verder investeren in kalibratie op de wijze waarop de beoordelingsformulieren worden ingevuld. De geschreven feedback van stagebegeleiders is soms nog steeds te summier, dus ook dat punt blijft onze aandacht houden.
Recent hebben we stevig geïnvesteerd in de kwaliteit van de digitale kennistoetsen, met name in jaar 1. Er zijn betere werkafspraken gemaakt over de inhoudelijke verantwoordelijkheid, over de deadlines voor het ontwikkelen en aanleveren van de toets en over de inhoudelijke check en afstemming in het docententeam. Het team heeft zich geprofessionaliseerd ten aanzien van taalbewustzijn, richtlijnen voor toetsvragen en het analyseren van toetsresultaten. Door systematische analyse en bijstelling van toetsvragen neemt de kwaliteit van de toetsitembank jaarlijks toe. Uit interne analyse blijkt dat door ons ingezette verbeteringen hebben geleid tot hogere cursusrendementen en een significante stijging in tevredenheid over toetsing bij eerstejaars in het 100 Dagenonderzoek van 3,2 naar 3,7 (HR 2024).
Ook in jaar 2 wordt geïnvesteerd in de kwaliteit van de digitale kennistoetsen. Alle vragen die de afgelopen jaren gemaakt zijn en zijn opgenomen in de toetsdatabank worden opnieuw op kwaliteit beoordeeld en bijgesteld. Er wordt hierbij gestreefd naar een databank met 120 kwalitatief goede vragen per thema.