Premiers résultats de la R&D SASIEF (Software d’analyse spectrale pour l’ingénierie des évaluations en formation)
Auteur, co-auteurs
Type de référence
Date
2024-01Langue de la référence
FrançaisEntité(s) de recherche
Résumé
L'objectif de la R&D SASIEF est de développer une application accessible en ligne qui facilite l'analyse de la qualité spectrale des Question à choix multiple (QCM) avec Degrés de certitude (DC). Ces analyses dites "spectrales" tirent leur nom du fait qu'elles utilisent les données issues de l'usage des DC pour dépasser le caractère binaire des analyses classiques. Actuellement, il n'existe pas d'application en ligne qui faciliterait les traitements et la production de rapports d'analyse de la qualité spectrale des QCM DC.
La R&D SASIEF vise donc à offrir un outil Open Source qui répondra à ce besoin. Le projet s'insère dans le programme PEERS proposé par la Haute école pédagogique du canton de Vaud (HEP Vaud). La R&D est menée par un groupe international composé d'un enseignant-chercheur et cinq étudiant·e·s de l'Université Chouaïb Doukkali (UCD, Maroc) et d'un enseignant- chercheur et cinq étudiant·e·s de la HEP Vaud (Suisse). Ce groupe a bénéficié de l'appui d'un expert de l'Université de Hasselt (UHasselt, Belgique) et a collaboré à distance et en présentiel durant deux séjours d'une semaine, le premier à El Jadida et le second à Lausanne en 2022-2023.
SASIEF offre des informations sur la qualité des QCM à trois niveaux : propositions des QCM ; chaque QCM globalement et questionnaire entier. Il utilise des coefficients de corrélations point bisériaux adaptés et calcule le réalisme des répondants pour affiner les analyses.
Lors de cette communication, les chercheurs ont discuté des analyses réalisées avec SASIEF au Maroc et en Belgique, mettant en évidence les questions problématiques et les actions correctives pour améliorer les épreuves. Ils aborderont également les enjeux liés à l'amélioration continue des QCM.
La communication s'est clôturée par une discussion des perspectives futures de développement et de diffusion des résultats, notamment via le Groupe international de recherche et expertise en ingénierie des évaluations en formation (GIRIEF) (www.girief.net).
Résumé traduit en anglais
The aim of SASIEF R&D is to develop an on-line application that facilitates the analysis of the spectral quality of Multiple Choice Questions (MCQs) with Degrees of Certainty (DC). These so-called "spectral" analyses take their name from the fact that they use data derived from the use of DCs to overcome the binary nature of conventional analyses. At present, there is no online application to facilitate the processing and reporting of spectral quality analyses of MCQs. SASIEF R&D therefore aims to offer an Open Source tool that will meet this need. The project is part of the PEERS program offered by the Haute école pédagogique du canton de Vaud (HEP Vaud). R&D is being carried out by an international group comprising a teacher-researcher and five students from the Université Chouaïb Doukkali (UCD, Morocco), and a teacher-researcher and five students from HEP Vaud (Switzerland). This group was supported by an expert from the University of Hasselt (UHasselt, Belgium) and collaborated remotely and face-to-face during two one-week stays, the first in El Jadida and the second in Lausanne in 2022-2023. SASIEF provides information on MCQ quality at three levels: MCQ proposals; each MCQ as a whole; and the entire questionnaire. It uses adapted point-biserial correlation coefficients and calculates respondent realism to refine analyses. In this talk, the researchers discussed the analyses carried out with SASIEF in Morocco and Belgium, highlighting problem areas and corrective actions to improve the tests. They also addressed the issues involved in the continuous improvement of MCQs. The presentation concluded with a discussion of future prospects for developing and disseminating the results, notably via the "Groupe international de recherche et expertise en ingénierie des évaluations en formation (GIRIEF)" (www.girief.net).Nom de la manifestation
Symposium « Retombées en ingénierie des évaluations du projet CORETEV » (coord. E. Aliss, J.-L. Gilles et J.-M. Rigo) organisé dans le cadre du 35e Colloque de l'ADMEE-EuropeDate(s) de la manifestation
24 au 26 janvier 2024Ville de la manifestation
BragaPays de la manifestation
PortugalPortée de la manifestation
internationaleURL permanente ORFEE
http://hdl.handle.net/20.500.12162/7346Document(s) associé(s) à la référence
Texte intégral :
Fichier
Accès
Commentaire
Taille
Ouvert
PowerPoint de la présentation
2.790Mo
Autre(s) document(s) :
Fichier
Accès
Commentaire
Taille
Ouvert
Résumé court et résumé long de la communication
80.48ko
- Tout ORFEE
- Détail référence