Analyse spectrale de la qualité des épreuves standardisées des apprentissages : propositions de feedbacks spectraux informatisés intégrables dans un Assessment Management System

Abstract

La technique des degrés de certitude associée aux questions à choix multiple (QCM) permet de dépasser le caractère « binaire » de ce type d’évaluation (proposition choisie soit correcte, soit incorrecte) à condition de respecter une série de règles méthodologiques que Shufford & al. (1966) appellent « admissible probability measurement procedures ». Habituellement les pourcentages de certitude qui accompagnent les réponses aux QCM sont utilisés pour livrer des informations nuancées sur la qualité des performances des étudiants. L’aspect novateur de l’analyse spectrale des épreuves réside dans le fait que nous avons exploité les certitudes fournies par les étudiants pour livrer des informations sur la qualité des questions, différentes des informations sur la qualité des performances des étudiants (Gilles, 2002; 2010). Notre recherche a ainsi débouché sur l’élaboration d’une série d’indices originaux d’analyse de la qualité des épreuves. Ces indices spectraux sont destinés à être utilisés lors de la correction d’une évaluation, lorsqu’il s’agit de mettre en évidence les QCM problématiques et, au sein de celles-ci, les propositions qui contiennent des anomalies. Après un rappel des avantages liés à l’analyse spectrale, nous présenterons et discuterons de propositions de modalités de feedbacks spectraux informatisés en vue d’améliorer la fiabilité des épreuves.