La plateforme Open-source ExAMS : une approche qualité pour le testing standardisé

Abstract

La recherche "electronic Construction & Quality Control in Standardized Testing (e-C&QCST)" (2003-2006), menée avec le soutien financier de la Direction générale des technologies, de la recherche et de l’énergie (DGTRE) de la Région wallonne en Belgique, a débouché sur le logiciel ExAMS. Cette plateforme accessible via internet a été conçue et programmée par l’équipe du Système Méthodologique d’Aide à la Réalisation de Tests (SMART) de l’Université de Liège (ULg) avec l’aide de la Cellule Compétences des HEC-ULg. Ce logiciel « open source » couvre l’ensemble du processus de création et de passation des évaluations standardisées des acquis de la formation en respectant les huit étapes du Cycle de Construction et de Gestion Qualité des Tests Standardisés (CGQTS) (Gilles et Leclercq, 1995 ; Gilles, 2002 ; Gilles & al., 2005). L’architecture d’ExAMS repose sur huit modules intégrés en rapport avec les étapes du modèle CGQTS. Le module 1 concerne l’étape d’analyse. La validité des tests est améliorée grâce à des procédures informatisées permettant d’identifier et de mettre en correspondance les points à évaluer [PE] et leurs priorités avec les catégories de performance [CP] attendues. Cette mise en correspondance permet de débuter la construction d'une table de spécification (TDS). Le module 2 est en rapport avec l’étape suivante d’élaboration du design de l'épreuve où l’évaluateur définit les modalités de questionnement [MQ] adaptées aux catégories de performances [CP] de l’étape précédente. Le but est d'aboutir à un second type de binômes [MQ x CP]. A partir des deux types de binômes [PE x CP] et [CP x MQ] on aboutit à des trinômes [PE x CP x MQ] qui peuvent faire l’objet de questions (Gilles, 2002). Le module 3 permet de créer ces questions à partir de chaque trinôme [PE x CP x MQ] de la table de spécification résultant des étapes précédentes. Ce 3ème module d’ExAMS assure une gestion via le web des banques de questions construites par les évaluateurs à partir des trinômes. Le module 4 concerne l’étape d’information. Il s’agit de mettre à la disposition des personnes qui seront évaluées des informations relatives aux épreuves. Ces informations peuvent être fournies sous formes de documents, de liens vers des épreuves précédentes, de renseignements sur l'évaluation future (table de spécification, barèmes de correction, types de feedback, liens vers des tests d'entraînement,...). Le module 5 concerne le du testing proprement dit. Des procédures anti-fraude sont mises en place ainsi qu'un module d’encodage et de mise en page automatique des originaux des tests est ce, à partir de sélections opérées dans la banque de questions de l’évaluateur qui peut proposer des évaluations en ligne ou papier-crayon. Le module 6 permet de gérer l’étape de correction. La fidélité est améliorée grâce à des procédures de contrôles qualité des questions ayant recours à des indices classiques (indices de cohérence interne) et nouveaux (indices de cohérence spectrale). Le module de correction en ligne des épreuves permet à l’évaluateur d’obtenir des vues statistiques des résultats du groupe ainsi qu’un diagnostic de la qualité de ses questions. Les procédures proposées autorisent des simulations des impacts des rectifications éventuelles. Le module 7 concerne l’étape de feedback.derniers, suite aux procédures proposées aux premières étapes, peuvent être particulièrement diagnostics car reliés à des PE et à des CP bien identifiés. Enfin, le module 8 permet de réguler tout le processus de construction de l’épreuve (les étapes précédentes) notamment à l’aide de procédures de récolte et d’analyse des avis des utilisateurs. A partir des données recueillies, l’évaluateur est en mesure d'améliorer le prochain test. ExAMS est la 2e génération d'Assessment Management System (AMS) basé sur le cycle CGQTS à la suite de la plateforme e-C&QCST, 1ère génération d'AMS. En complément à ce résumé, signalons que depuis 2016, ITinera-Group (Renens, canton de Vaud en Suisse) propose une 3e génération de plateforme AMS basée sur le cycle CGQTS et qui est intitulée Docimo.