Modèle à partition ordonnée pour l'analyse de questionnaires à choix multiples avec degrés de certitude

Abstract

L’utilisation des degrés de certitude (DC) est de plus en plus répandue lors de situations de test avec questions à choix multiple (QCM). Cependant, quand un modèle de Rasch classique est appliqué aux données, seulement la partie binaire (correct/incorrect) est utilisé, en faisant fi de toute l’information apportée par les DC. Cette étude montre comme le modèle à partition ordonnée de Wilson (OPM, de l’anglais Ordered Partition Model), appartenant à la famille des modèles de Rasch, peut être utilisé pour modéliser des QCM avec les DC. En plus de montrer comment les DC sont utilisés, le nouveau modèle fournit un outil diagnostic puissant et intuitif pour évaluer l’état ou les problèmes docimologiques d’une situation de test en relation aux questions et aux participants. Le modèle produit un ensemble de paramètres pour chaque question qui permet de tracer la probabilité d’utiliser chaque degré de certitude en fonction du niveau d’aptitude du participant. Avec les courbes caractéristiques qui sont ainsi associés aux DC, il est possible de saisir instantanément pour chaque participant et son niveau d’aptitude queldegré de certitude sera le plus probablement choisiet sa probabilité de donner une réponse correcte. L’outil graphique permet l’évaluation de la difficulté de la question, la sur- ou sous-confiance des participants ou de détecter si la question est particulièrement compliquée ou génère beaucoup de doute. De plus, le modèle peut mettre en lumière des différences entre questions au sujet de l’utilisation des DC. Par exemple, certaines questions présentent des « paquets de degrés de certitude », ce qui signifie que les participants n’ont pas différencié ces niveaux pendant le processus d’expression de la certitude. Le nouveau modèle est en stricte relation avec le modèle de Rasch classique, en effet, les courbes de probabilité d’une réponse correcte/incorrecte (les ICC) sont divisées en un ensemble de courbes, chacune représentant un degré de certitude. Ainsi, la difficulté de Rasch de chaque question peut être aisément récupérée à partir de l’OPM.