La recherche montre que les enseignants et les apprenants apprécient les instruments d’évaluation des apprentissages lorsqu’ils sont
valides, fidèles, sensibles, diagnostiques, équitables, praticables et authentiques (Kirkland 1971 ; Kulik et Kulik 1987 ; Leclercq et Gilles 1993 ; Gilles et Leclercq 1995 ; Castaigne et collab. 2001 ; Gilles 2002 ; De Souza et Fleming 2003 ; Phelps 2005 ; Jönsson et collab. 2007a, 2007b ; Draaijer et Hartog 2007 ; Gilles 2010). De toute évidence, la prise en compte de ces qualités docimologiques et de leur praticabilité peut être facilitée par l’utilisation de procédures informatisées. Cependant, la qualité de l’évaluation des apprentissages ne peut être pleinement assurée que si ces procédures informatisées s’insèrent dans un processus structuré en plusieurs phases de mise au point (Gilles 2002 ; Gilles et collab. 2004 ; Gilles et collab. 2005 ; Downing et Haladyna 2006 ; Crahay et Gilles 2007 ; Gilles et Detroz 2008 ; Gilles 2010). Nous décrirons dans ce chapitre comment nous envisageons ce processus en fonction de huit étapes qui s’insèrent dans un cycle « en spirale qualité ». Nous utilisons le terme « spirale » dans la mesure où la dernière étape consiste à faire le point sur les différents aspects du dispositif d’évaluation
qui pourraient être améliorés. Une perspective qui, d’épreuve en épreuve, place l’évaluateur dans une posture réflexive qui l’amène à prendre du recul vis-à-vis de l’instrument d’évaluation et de son processus de construction, en vue d’augmenter la qualité des prochains cycles de productions d’épreuves. Dans le cas de la plateforme ExAMS que nous décrirons également dans ce chapitre, l’informatisation du cycle de construction des outils d’évaluation des apprentissages a pu être menée à bien grâce au soutien de la Région Wallonne de Belgique qui depuis 2004 a subventionné trois projets de « Recherche et Développement » successifs. Le premier projet a permis d’aboutir à une première version d’une plateforme en ligne open source utilisable intitulée ExAMS 1.0 (Examination Assessment Management System – version 1.0). Le deuxième projet intitulé « Logiciel Innovant » s’est déroulé de 2008 à 2009 et a été confié par la Région Wallonne à la spin off ASSESS GROUP S.A. en partenariat avec l’équipe du Système méthodologique d’aide la réalisation de tests (SMART) de l’Université de Liège. Ce projet a permis, d’une part d’informatiser les procédures docimologiques afin de gérer de façon semi-automatique les Questions à Réponses Ouvertes Longues (QROL) et, d’autre part, d’améliorer l’interopérabilité de la plateforme ExAMS. Enfin, quant au troisième projet, il est intitulé Quality Design For Competencies Assessment (QDFCA) et a été confié à ASSESS GROUP S.A. en partenariat avec le SMART et le Centre d’Excellence en Technologie de l’Information et de la Communication (CETIC). Ce projet Recherche et Développement a débuté en 2009. L’objectif est d’implémenter dans le cycle de construction et de gestion de la qualité des procédures docimologiques en conformité avec les principes de l’évaluation dans une approche par compétences.