Utilisation des degrés de certitude et normes de réalisme en situation d'examen et d'auto-estimation à FA.P.S.E. - ULG

Abstract

On considère habituellement une réponse fournie à une question de façon binaire : soit elle est correcte, soit elle est incorrecte, sans se préoccuper de nuances liées à la conviction avec laquelle l'étudiant a répondu. Des pionniers tels que DE FINETTI (1965), VAN NAERSEN (1965), SHUFORD & al. (1966), LECLERCQ, (1975) suivis par de nombreux chercheurs (BRUNO, 1993; DIRKZWAGER, 1993; FABRE, 1993; GILLES, 1995, HUNT, 1993; JANS, 1995; PLUNUS, 1996; VAN LENTHE, 1993) recommandent de traiter différemment l'ignorance reconnue (réponse incorrecte et peu sûre), la connaissance incomplète (réponse correcte mais peu sûre), la connaissance assurée (réponse correcte et très sûre), l'ignorance ignorée (réponse incorrecte et très sûre). En effet, les différents états de connaissance partielle qui découlent de l'association d'une réponse et d'un degré de certitude autorisent un diagnostic plus subtil et par là différents niveaux de remédiation. Par exemple, pour un même objectif, l'énergie et la forme de la remédiation consacrée à la correction d'une ignorance ignorée devrait être différente de celle qui permettra d'améliorer un état de connaissance incomplète.

Les étudiants de la faculté de Psychologie et des Sciences de l'Education de l'Université de Liège ont la possibilité de s'entraîner à l'utilisation des degrés de certitude lors de QUIZZ organisés en fin de cours où ils sont invités à répondre à quelques questions (entre 5 et 8). Ils répondent sur des feuilles spéciales fournies par le C.A.F.E.I.M.-FA.P.S.E. sur lesquelles ils cochent les réponses qu'ils accompagnent d'un degré de certitude (comme à l'examen). Après le ramassage des feuilles de réponses, les réponses correctes sont communiquées. Les feuilles sont traitées dans la semaine à l'aide du dispositif de lecture optique de marques. Au cours suivant, le professeur commente les statistiques de résultats de l'ensemble du groupe, commente les erreurs les plus fréquentes et réexplique éventuellement la matière mal comprise. Enfin, chaque étudiant reçoit une feuille de feed-back personnalisée avec entre autres informations : les réponses et les certitudes qu'il a fournies, les réponses correctes attendues, son graphique de réalisme, les indices de son réalisme et de sa centration. Cette procédure et les résultats ont été décrits par GILLES & LECLERCQ (1995) et GILLES (1995). Ces deux types d'entraînement, avec chacun leurs avantages et leurs inconvénients, se complètent bien. Grâce au logiciel GUESS, beaucoup de réponses accompagnées de certitudes sont fournies en peu de temps et la visualisation d'un feedback immédiat est possible. Cependant, l'exercice proposé est assez éloigné de la situation d'examen qui, elle, porte sur des contenus liés à la psychologie, aux sciences de l'éducation et comporte des QCM à 9 solutions maximum. A l'inverse, les QUIZZ ne permettent pas de poser beaucoup de questions et il faut attendre le cours suivant avant d'obtenir un feed-back. Par contre, les questions y sont fort proches de celles qui sont posées à l'examen, tant du point de vue de la forme que du contenu.

Le dispositif qui vient d’être décrit soulève toute une série de questions auxquelles les données de nombreuses interrogations permettent d’apporter des débuts de réponses. Les données que nous avons recueillies concernent les étudiants de diverses facultés de l'Université de Liège : Droit, Médecine Vétérinaire, Philosophie et Lettres, Psychologie et Sciences de l'Education, Sciences Appliquées. Pour l'ensemble de ces facultés, lors des années académiques 1994-1995 et 1995-1996, nous disposons des données de 69 examens et quizz où les réponses ont été accompagnées de degrés de certitude, selon les modalités décrites ci-avant. Etant donné l'entraînement poussé dont ont bénéficié les étudiants de la faculté de Psychologie et des Sciences de l'Education ainsi que la proportion des évaluations réalisées avec ces sujets, 41 épreuves sur un total de 69, nous avons préféré, dans le cadre de cette étude, nous limiter à l'analyse des épreuves liées à ce groupe d'étudiants.

Nous tenterons de répondre aux questions suivantes : - Comparaison examens-quizz : les performances métacognitives lors des examens sont-elles équivalentes avec les performances métacognitives des étudiants lors des quizz ? - Comparaison du niveau de performance d'un individu ou d'un groupe : comment les individus se répartissent-ils dans les différents niveaux de scores aux indices métacognitifs ? - Comparaison des niveaux de performance en fonction de la difficulté des épreuves : la difficulté des épreuves influence-t-elle les performances métacognitives des étudiants ? - Comparaison de la progression des performances en fonction des sous-groupes "classes" : lorsqu'on compare les performances métacognitives des 1ère et 2ème candidature, les scores des 2ème candidature sont-ils meilleurs ?