Ontwikkeling en beheer examens
De examencommissie van het betreffende domein is verantwoordelijk voor de vaststelling van de exameneisen en de beoordelingseisen. ExTH geeft met inzet van constructeurs en beoordelaars uit het werkveld invulling aan de constructie, organisatie en uitvoering van de examens.
1. Ontwikkeling en beheer theorie-examens
De ontwikkeling van een theorie-examen start met het opstellen van een toetsmatrijs. Een toetsmatrijs is een hulpmiddel voor het construeren en analyseren van examens. Zij geeft overzicht van de kennis die wordt bevraagd en stelt de constructeurs in staat om gericht vragen te maken. Daarnaast wordt het totaal aantal vragen van het examen genoemd, de tijd die een kandidaat hiervoor krijgt en de cesuur.
Uitgangspunt bij opstellen toetsmatrijs is de domeinlijst en dus niet de functie van de boa.
In diverse sessies met diverse partijen/stakeholders wordt door ExTH bevraagd welke kennis betreffende de wetgeving van de boa verwacht mag worden. De opbrengsten van de sessies worden voorgelegd aan de examencommissie. Zij bepaalt wat in de toetsmatrijs wordt opgenomen en welke weging hieraan wordt gegeven. Vervolgens wordt er een constructieteam samengesteld. De constructeurs worden geworven uit het werkveld en moeten aantoonbare kennis over het onderwerp hebben. Zij mogen geen commerciële betrokkenheid hebben met een opleider en worden vooraf door ExTH getraind.
Per toetsterm wordt door ExTH bepaald of het een Kennis/Begrip/ Toepassingsvraag betreft. Zij verstrekt per constructeur een ontwikkelopdracht op basis van zijn/haar kennis over het onderwerp. In nauw overleg met de toetsdeskundige ontwikkelen constructeurs vragen. Deze worden tussentijds gescreend door een inhoudsdeskundige en ter beoordeling aan een 2e constructeur voorgelegd. Na vaststelling door de examencommissie (of een aangestelde delegatie daarvan), wordt de vraag opgenomen in de examenbank.
Per vraag zijn drie tot vijf vragen in de bank opgenomen. Deze vragen worden per toetsterm at random per kandidaat geselecteerd. Een kandidaat krijgt dus een uniek examen. Voorafgaand aan invoering is er een pilot. Kandidaten worden bevraagd op hun bevindingen. De kwaliteit van de examenbank wordt onder andere bewaakt door wet- en regelgeving op de voet te volgen en regelmatig itemanalyses uit te voeren. Wanneer er aanleiding is een toetsmatrijs te wijzigen, zal de wijziging een halfjaar van tevoren worden aangekondigd. Een wijziging wordt op de site aangekondigd en een halfjaar na aankondiging ingevoerd. Vragen die tijdens de overgangsperiode tot twijfel leiden worden aangepast of op niet-actief gezet.
ExTH voert periodiek overleg met de opleiders over de inhoud van de toetsmatrijzen.
2. Ontwikkeling en beheer praktijkexamens
Praktijkexamens worden ontwikkeld met inhoudsdeskundigen. Hiervoor geldt onderstaand proces:
De examencommissie stelt exameneisen op en op basis daarvan het beoordelingsmodel vast. ExTH stelt een constructie team samen. Zij ontwikkelen samen met een toetsdeskundige casuïstiek bestaande uit:
De briefing (wat moet de kandidaat vooraf weten/zien om de opdracht goed uit te kunnen voeren)
Het script van de acteur (kaders/bandbreedte/hoe moet de acteur handelen om de kandidaat een zo goed mogelijk platform te bieden)
Casus-specifieke beoordelingspunten op basis van de beoordelingseisen (bijv. vragen naar vergunning/vaarbewijs/doorgeven signalement/noteren nummerbord/etc.).
De examencommissie stelt vervolgens de examendocumenten vast. Simultaan worden beoordelaars geworven uit het werkveld en getraind en worden acteurs bijgeschoold. Voorafgaand aan een definitieve invoering is er een pilot examen.
Wanneer een examen is ingevoerd, kunnen op basis van bevindingen uitvoeringsaspecten worden bijgesteld. Zo kan een bezwaarprocedure of gewijzigde wet- en regelgeving aanleiding zijn voor een examencommissie om een casus of de beoordelingscriteria aan te passen.