Active learning has become an increasingly popular method for screening large amounts of data in ... more Active learning has become an increasingly popular method for screening large amounts of data in systematic reviews and meta-analyses. The active learning process continually improves its predictions on the remaining unlabeled records, with the goal of identifying all relevant records as early as possible. However, determining the optimal point at which to stop the active learning process is a challenge. The cost of additional labeling of records by the reviewer must be balanced against the cost of errors made by the current model. This paper introduces the SAFE procedure, a practical and conservative set of stopping heuristics that offers a clear guideline for determining when to end the active learning process in screening software like ASReview. Our main conclusion of this paper is 2 This is a provisional file, not the final typeset article that relying on a single stopping rule is not sufficient and employing an eclectic mix of stopping heuristics helps to minimize the risk of missing relevant papers in the screening processThe SAFE procedure combines different heuristics to avoid stopping too early and potentially missing relevant records. The SAFE procedure takes into account the model's accuracy and uncertainty, as well as the cost of continuing to label records. This procedure for using active learning in systematic literature review screening provides a practical and efficient approach that can save significant time and resources while ensuring a conservative approach to determining when to end the active learning process. The proposed stopping heuristic balances the costs of continued screening with the risk of missing relevant records, providing a practical solution for reviewers to make informed decisions on when to stop screening. The proposed method can assist researchers in identifying relevant records early, which can ultimately lead to improved evidence synthesis and decision-making in many fields.
Hoe kunnen we spreekvaardigheid op zo’n manier onderwijzen dat leerlingen hun spreekangst vergete... more Hoe kunnen we spreekvaardigheid op zo’n manier onderwijzen dat leerlingen hun spreekangst vergeten? Deze vraag stond centraal in het onderzoek van Josien Boetje. Spelvormen en plezier als basis voor spreekvaardigheid bleken het antwoord.
Student Undergraduate Research E-journal, Nov 9, 2018
Het woordenschatonderwijs Spaans op het Revius Doorn bereikte niet het gewenste effect dat leerli... more Het woordenschatonderwijs Spaans op het Revius Doorn bereikte niet het gewenste effect dat leerlingen het aangereikte vocabulaire op middellange termijn onthouden en kunnen activeren. Om dit probleem aan te pakken werd een woordenschatcompetitie ontwikkeld en getest, waarbij leerlingen 4 weken beloond werden om buiten de lessen cyclisch te herhalen. Uit de productevaluatie bleek dat leerlingen: i) extra gemotiveerd waren om eerder met leren te beginnen, ii) meer op de middellange termijn onthielden (p<.01, d=0.76) en iii) meer zelfvertrouwen hadden voor spreek-(p<0.01, d=2.11) en schrijfvaardigheid (p=.07, d=.87). Het onderzoek kon echter niet aantonen dat leerlingen de daadwerkelijk beter konden toepassen.
Developing oral presentation skills is an essential objective of higher education and requires an... more Developing oral presentation skills is an essential objective of higher education and requires an effective and cost-efficient approach. While previous research in higher education emphasized the importance of practice for developing oral presentation skills, opportunity to practice is rarely studied in isolation and it remains unclear what the optimal amount of practice is. In addition, student characteristics such as public speaking anxiety (PSA) and foreign language anxiety (FLA) could hinder students’ ability to speak in public and lead to inefficient practice. This experimental study examines the effects of the number of practice sessions in virtual reality (VR) on 35 graduate students’ progression in oral presentation skills, as well as the mediating effect of their self-efficacy towards presenting, foreign language anxiety (FLA) and public speaking anxiety (PSA) on the development of their oral presentation skills. Mixed methods of questionnaires and performance assessments using rubrics were used for data collection. Results demonstrated that
In de beperkte onderwijstijd komen we vaak niet toe aan het oefenen met presentatievaardigheden. ... more In de beperkte onderwijstijd komen we vaak niet toe aan het oefenen met presentatievaardigheden. Virtual reality kan uitkomst bieden.
This systematic review focused on synthesizing information on studies that evaluated influential ... more This systematic review focused on synthesizing information on studies that evaluated influential and constitutional factors that characterize (elements of) a learning environment for developing Information Problem Solving (IPS) in Higher Education students. Specifically, the goal was to create a comprehensive set of effective design principles for designing learning environments to teach IPS in Higher Education.
Journal of Computer Assisted Learning, Aug 24, 2020
Developing oral presentation skills is an essential objective of higher education. While previous... more Developing oral presentation skills is an essential objective of higher education. While previous research emphasized the importance of practice for developing oral presentation skills (OPS), it remains unclear what the optimal amount of practice is. This experimental field study examined the added benefit of an extra practice session in virtual reality (VR) on the progression of 35 graduate students in OPS, using a pre-test post-test design. In addition, the mediating effect of public speaking anxiety (PSA) was examined and the relation between PSA , preparation practices, perceived utility of VR and OPS was explored. Questionnaires and performance assessments were used in data collection. Results showed that participants gained benefits from practicing a third time before a virtual audience. Both anxious and non-anxious participants progressed similarly on presentation skills and experienced the VR intervention comparably. However, the optimal number of practice presentations remains unclear and should be further investigated.
Active learning has become an increasingly popular method for screening large amounts of data in ... more Active learning has become an increasingly popular method for screening large amounts of data in systematic reviews and meta-analyses. The active learning process continually improves its predictions on the remaining unlabeled records, with the goal of identifying all relevant records as early as possible. However, determining the optimal point at which to stop the active learning process is a challenge. The cost of additional labeling of records by the reviewer must be balanced against the cost of errors made by the current model. This paper introduces the SAFE procedure, a practical and conservative set of stopping heuristics that offers a clear guideline for determining when to end the active learning process in screening software like ASReview. Our main conclusion of this paper is that relying on a single stopping rule is not sufficient and employing an eclectic mix of stopping heuristics helps to minimize the risk of missing relevant papers in the screening processThe SAFE proc...
Waarom zijn veel leerlingen aan het eind van hun schoolcarriere maar mondjesmaat in staat hun voc... more Waarom zijn veel leerlingen aan het eind van hun schoolcarriere maar mondjesmaat in staat hun vocabulaire toe te passen in communicatie? Zijn ze niet actief bezig geweest met het vocabulaire of hebben ze het nooit op een effectieve manier geleerd?
In de beperkte onderwijstijd komen we vaak niet toe aan het oefenen met presentatievaardigheden. ... more In de beperkte onderwijstijd komen we vaak niet toe aan het oefenen met presentatievaardigheden. Virtual reality kan uitkomst bieden.
Hoe kunnen we spreekvaardigheid op zo’n manier onderwijzen dat leerlingen hun spreekangst vergete... more Hoe kunnen we spreekvaardigheid op zo’n manier onderwijzen dat leerlingen hun spreekangst vergeten? Deze vraag stond centraal in het onderzoek van Josien Boetje. Spelvormen en plezier als basis voor spreekvaardigheid bleken het antwoord.
Waarom zijn veel leerlingen aan het eind van hun schoolcarrière maar mondjesmaat in staat hun voc... more Waarom zijn veel leerlingen aan het eind van hun schoolcarrière maar mondjesmaat in staat hun vocabulaire toe te passen in communicatie? Komt het doordat leerlingen niet actief genoeg bezig zijn geweest met het vocabulaire? Of hebben ze de woorden gewoon nooit op een effectieve manier geleerd? In dit artikel schets ik een alternatief voor de traditionele manier van vocabulaire onderwijzen en toetsen in de vorm van cyclisch woordenschatonderwijs.
Why is it the case that many pupils are not able to use the learned vocabulary in communication at the end of their school career? Is it because they have not been actively engaged with the vocabulary? Or did they just never learned the vocabulary in an effective way? In this essay I propose an alternative to the traditional ways of vocabulary teaching and testing: a cyclical method for teaching vocabulary.
Herken de onderstaande letters. Zoek ze op in de alfabettabel en schrijf het bijbehorende getal o... more Herken de onderstaande letters. Zoek ze op in de alfabettabel en schrijf het bijbehorende getal op. Tel alle getallen op tot één code en breng deze naar de docent. Is het goed? Dan krijg je het volgende level.
Active learning has become an increasingly popular method for screening large amounts of data in ... more Active learning has become an increasingly popular method for screening large amounts of data in systematic reviews and meta-analyses. The active learning process continually improves its predictions on the remaining unlabeled records, with the goal of identifying all relevant records as early as possible. However, determining the optimal point at which to stop the active learning process is a challenge. The cost of additional labeling of records by the reviewer must be balanced against the cost of errors made by the current model. This paper introduces the SAFE procedure, a practical and conservative set of stopping heuristics that offers a clear guideline for determining when to end the active learning process in screening software like ASReview. Our main conclusion of this paper is 2 This is a provisional file, not the final typeset article that relying on a single stopping rule is not sufficient and employing an eclectic mix of stopping heuristics helps to minimize the risk of missing relevant papers in the screening processThe SAFE procedure combines different heuristics to avoid stopping too early and potentially missing relevant records. The SAFE procedure takes into account the model's accuracy and uncertainty, as well as the cost of continuing to label records. This procedure for using active learning in systematic literature review screening provides a practical and efficient approach that can save significant time and resources while ensuring a conservative approach to determining when to end the active learning process. The proposed stopping heuristic balances the costs of continued screening with the risk of missing relevant records, providing a practical solution for reviewers to make informed decisions on when to stop screening. The proposed method can assist researchers in identifying relevant records early, which can ultimately lead to improved evidence synthesis and decision-making in many fields.
Hoe kunnen we spreekvaardigheid op zo’n manier onderwijzen dat leerlingen hun spreekangst vergete... more Hoe kunnen we spreekvaardigheid op zo’n manier onderwijzen dat leerlingen hun spreekangst vergeten? Deze vraag stond centraal in het onderzoek van Josien Boetje. Spelvormen en plezier als basis voor spreekvaardigheid bleken het antwoord.
Student Undergraduate Research E-journal, Nov 9, 2018
Het woordenschatonderwijs Spaans op het Revius Doorn bereikte niet het gewenste effect dat leerli... more Het woordenschatonderwijs Spaans op het Revius Doorn bereikte niet het gewenste effect dat leerlingen het aangereikte vocabulaire op middellange termijn onthouden en kunnen activeren. Om dit probleem aan te pakken werd een woordenschatcompetitie ontwikkeld en getest, waarbij leerlingen 4 weken beloond werden om buiten de lessen cyclisch te herhalen. Uit de productevaluatie bleek dat leerlingen: i) extra gemotiveerd waren om eerder met leren te beginnen, ii) meer op de middellange termijn onthielden (p<.01, d=0.76) en iii) meer zelfvertrouwen hadden voor spreek-(p<0.01, d=2.11) en schrijfvaardigheid (p=.07, d=.87). Het onderzoek kon echter niet aantonen dat leerlingen de daadwerkelijk beter konden toepassen.
Developing oral presentation skills is an essential objective of higher education and requires an... more Developing oral presentation skills is an essential objective of higher education and requires an effective and cost-efficient approach. While previous research in higher education emphasized the importance of practice for developing oral presentation skills, opportunity to practice is rarely studied in isolation and it remains unclear what the optimal amount of practice is. In addition, student characteristics such as public speaking anxiety (PSA) and foreign language anxiety (FLA) could hinder students’ ability to speak in public and lead to inefficient practice. This experimental study examines the effects of the number of practice sessions in virtual reality (VR) on 35 graduate students’ progression in oral presentation skills, as well as the mediating effect of their self-efficacy towards presenting, foreign language anxiety (FLA) and public speaking anxiety (PSA) on the development of their oral presentation skills. Mixed methods of questionnaires and performance assessments using rubrics were used for data collection. Results demonstrated that
In de beperkte onderwijstijd komen we vaak niet toe aan het oefenen met presentatievaardigheden. ... more In de beperkte onderwijstijd komen we vaak niet toe aan het oefenen met presentatievaardigheden. Virtual reality kan uitkomst bieden.
This systematic review focused on synthesizing information on studies that evaluated influential ... more This systematic review focused on synthesizing information on studies that evaluated influential and constitutional factors that characterize (elements of) a learning environment for developing Information Problem Solving (IPS) in Higher Education students. Specifically, the goal was to create a comprehensive set of effective design principles for designing learning environments to teach IPS in Higher Education.
Journal of Computer Assisted Learning, Aug 24, 2020
Developing oral presentation skills is an essential objective of higher education. While previous... more Developing oral presentation skills is an essential objective of higher education. While previous research emphasized the importance of practice for developing oral presentation skills (OPS), it remains unclear what the optimal amount of practice is. This experimental field study examined the added benefit of an extra practice session in virtual reality (VR) on the progression of 35 graduate students in OPS, using a pre-test post-test design. In addition, the mediating effect of public speaking anxiety (PSA) was examined and the relation between PSA , preparation practices, perceived utility of VR and OPS was explored. Questionnaires and performance assessments were used in data collection. Results showed that participants gained benefits from practicing a third time before a virtual audience. Both anxious and non-anxious participants progressed similarly on presentation skills and experienced the VR intervention comparably. However, the optimal number of practice presentations remains unclear and should be further investigated.
Active learning has become an increasingly popular method for screening large amounts of data in ... more Active learning has become an increasingly popular method for screening large amounts of data in systematic reviews and meta-analyses. The active learning process continually improves its predictions on the remaining unlabeled records, with the goal of identifying all relevant records as early as possible. However, determining the optimal point at which to stop the active learning process is a challenge. The cost of additional labeling of records by the reviewer must be balanced against the cost of errors made by the current model. This paper introduces the SAFE procedure, a practical and conservative set of stopping heuristics that offers a clear guideline for determining when to end the active learning process in screening software like ASReview. Our main conclusion of this paper is that relying on a single stopping rule is not sufficient and employing an eclectic mix of stopping heuristics helps to minimize the risk of missing relevant papers in the screening processThe SAFE proc...
Waarom zijn veel leerlingen aan het eind van hun schoolcarriere maar mondjesmaat in staat hun voc... more Waarom zijn veel leerlingen aan het eind van hun schoolcarriere maar mondjesmaat in staat hun vocabulaire toe te passen in communicatie? Zijn ze niet actief bezig geweest met het vocabulaire of hebben ze het nooit op een effectieve manier geleerd?
In de beperkte onderwijstijd komen we vaak niet toe aan het oefenen met presentatievaardigheden. ... more In de beperkte onderwijstijd komen we vaak niet toe aan het oefenen met presentatievaardigheden. Virtual reality kan uitkomst bieden.
Hoe kunnen we spreekvaardigheid op zo’n manier onderwijzen dat leerlingen hun spreekangst vergete... more Hoe kunnen we spreekvaardigheid op zo’n manier onderwijzen dat leerlingen hun spreekangst vergeten? Deze vraag stond centraal in het onderzoek van Josien Boetje. Spelvormen en plezier als basis voor spreekvaardigheid bleken het antwoord.
Waarom zijn veel leerlingen aan het eind van hun schoolcarrière maar mondjesmaat in staat hun voc... more Waarom zijn veel leerlingen aan het eind van hun schoolcarrière maar mondjesmaat in staat hun vocabulaire toe te passen in communicatie? Komt het doordat leerlingen niet actief genoeg bezig zijn geweest met het vocabulaire? Of hebben ze de woorden gewoon nooit op een effectieve manier geleerd? In dit artikel schets ik een alternatief voor de traditionele manier van vocabulaire onderwijzen en toetsen in de vorm van cyclisch woordenschatonderwijs.
Why is it the case that many pupils are not able to use the learned vocabulary in communication at the end of their school career? Is it because they have not been actively engaged with the vocabulary? Or did they just never learned the vocabulary in an effective way? In this essay I propose an alternative to the traditional ways of vocabulary teaching and testing: a cyclical method for teaching vocabulary.
Herken de onderstaande letters. Zoek ze op in de alfabettabel en schrijf het bijbehorende getal o... more Herken de onderstaande letters. Zoek ze op in de alfabettabel en schrijf het bijbehorende getal op. Tel alle getallen op tot één code en breng deze naar de docent. Is het goed? Dan krijg je het volgende level.
Binnen het hoger onderwijs wordt steeds meer academisch Engels gebruikt. Studenten die angst hebb... more Binnen het hoger onderwijs wordt steeds meer academisch Engels gebruikt. Studenten die angst hebben om een vreemde taal te spreken tijdens hun opleiding kunnen hun opleiding als minder plezierig ervaren. De angst om in een vreemde taal te communiceren wordt ook wel foreign language anxiety (FLA), vreemde taal angst (VTA), genoemd. VTA is een complex construct van zelfpercepties, overtuigingen en gedrag dat gerelateerd is aan het leren van een vreemde taal. In dit onderzoek werd onderzocht wat de psychometrische en edumetrische kwaliteit is van een geherconstrueerde vragenlijst die VTA voor academisch Engels beoogt te meten in het hoger onderwijs. De vragenlijst werd digitaal afgenomen onder 20 studenten aan de faculteit Sociale Wetenschappen van de Universiteit Utrecht. Het veronderstelde 2-factormodel met de factoren communication apprehension (CA) en fear of negative evaluation (FNE) paste niet goed op de data (p<.05). Uiteindelijk werd middels een exploratieve factoranalyse een goed passend 3-factormodel gevonden, bestaande uit 17 items met de geïnterpreteerde factoren ‘onzekerheid’, ‘angst’ en ‘lage self-efficacy’. De inhoudsvaliditeit, begripsvaliditeit en betrouwbaarheid van de uiteindelijke vragenlijst werden goed bevonden. De edumetrische kwaliteit was matig, gezien de gebruiksvriendelijkheid van de gebruikte applicatie te wensen overliet en een aantal stellingen meerduidig te interpreteren waren.
Uploads
Papers by Josien Boetje
Why is it the case that many pupils are not able to use the learned vocabulary in communication at the end of their school career? Is it because they have not been actively engaged with the vocabulary? Or did they just never learned the vocabulary in an effective way? In this essay I propose an alternative to the traditional ways of vocabulary teaching and testing: a cyclical method for teaching vocabulary.
Why is it the case that many pupils are not able to use the learned vocabulary in communication at the end of their school career? Is it because they have not been actively engaged with the vocabulary? Or did they just never learned the vocabulary in an effective way? In this essay I propose an alternative to the traditional ways of vocabulary teaching and testing: a cyclical method for teaching vocabulary.