Avec l’avènement d’une civilisation numérique (Cazeaux, 2014), l’émergence de nouvelles formes de collaborations soutenues par les TIC et l’apparition de nouveaux outils tels que les « Assessment Management Systems (AMS) » accessibles via le Web (Burton, Blais et Gilles, 2013 ; Blais, Gilles et Tristan Lopez, 2015), la recherche en ingénierie des évaluations développe aujourd’hui des méthodes et des instruments adaptés aux nouveaux défis de l’évaluation des apprentissages dans le contexte de grands groupes d’étudiant-e-s de l’enseignement supérieur. Ces développements sont particulièrement appréciés lorsqu’ils permettent d’élaborer des examens certificatifs avec une approche qualité visant à garantir la validité, la fidélité, l’équité et la sensibilité des mesures des compétences évaluées. On attend également des AMS qu’ils offrent des facilités sur le plan du travail collaboratif au sein des équipes d’évalua-trices-teurs (Gilles et Tinnirello, 2017). Dans le cadre de ce workshop, nous présenterons, sous la forme d’une étude de cas, l’expérience d’élaboration collective de deux examens à grands effectifs (N=364 et N=287) qui ont eu lieu en janvier 2019 à la Haute école pédagogique du canton de Vaud. Lors de la réalisation de ces épreuves, les évalua-trices-teurs ont mis en oeuvre une démarche collective basée sur le cycle de Construction et de gestion qualité des tests standardisés (CGQTS) (Gilles et Leclercq, 1995 ; Gilles, 2002) instrumenté par un AMS : la plateforme en ligne Docimo (ITinera-Group, 2018). Dans un premier temps, nous exposerons les étapes du cycle CGQTS et les enjeux en termes de contrôles qualité docimologiques. Ensuite, dans un deuxième temps, nous présenterons les principales fonctionnalités de la plateforme Docimo qui en font un outil à ranger dans la catégorie des AMS. Dans un troisième temps nous décrirons le contexte des deux examens, les publics d’étudiant-e-s concerné-e-s, la nature des apprentissages et le dispositif de formation. Dans un quatrième temps, nous décrirons le processus de construction en équipe des deux examens, les produits élaborés à chaque étape et les contrôles qualité mis en place. Enfin, nous terminerons la présentation par la synthèse des propositions d’améliorations de ces deux dispositifs d’examen et des points forts mis en avant lors de deux séances de débriefings collectifs en équipe d’évalua-trices-teurs et lors de l’analyse des réponses à deux questionnaires de régulation qui leur ont été soumis.