L’évaluation de l’impact des formations sur les organisations est au cœur des préoccupations des professionnels du monde de la formation tout au long de la vie. Il s’agit du dernier niveau du modèle de Kirkpatrick qui compte quatre : 1) évaluation de la satisfaction des participants ; 2) évaluation des apprentissages ; 3) évaluation du transfert des acquis dans l’environnement professionnel ; et 4) évaluation des effets de la formation sur l’organisation (Kirkpatrick, 1959, 2006).
Depuis l’automne 2021, nous nous attelons à l’élaboration d’un cycle de Construction et de gestion qualité́ des évaluations de l’impact des formations (cycle CGQEIF). Notre méthodologie s’appuie sur les huit étapes du cycle de Construction de gestion qualité́ des tests standardisés (cycle CGQTS) (Gilles, 2002 ; Chochard et al, 2017 ; Boutillier et al., 2020). Selon nous, une démarche qui vise à améliorer la qualité des évaluations est inséparable d’une réflexion sur les critères de qualité́ en évaluation, notamment ceux qui figurent dans les “Standards for educational and psychological testing” (AERA, APA, NCME, 1999, 2014) tout en conservant un certain recul critique dicté par des cadres contextuels et axiologiques qui varient en fonction de la diversité des contextes organisationnels et des cultures ambiantes (Phelps, 2011).
La méthode d’évaluation de l’impact que nous proposons comporte huit étapes qui seront expliquées en détail lors de notre communication : 1. Analyse ; 2. Design ; 3. Élaboration des instruments ; 4. Information ; 5. Collecte des données ; 6. Traitements ; 7. Feedbacks ; et 8. Macro-régulation. Chaque étape sera expliquée selon le schéma suivant : (1) but poursuivi et liens avec les critères de qualité́ ; (2) opérations à effectuer et produits finaux de l’étape ; (3) ressources à mobiliser et (4) contrôles qualité́.
Les premiers essais sur le terrain du cycle CGQEIF ont eu lieu au printemps 2022 dans trois contextes différents : le monde de la formation en entreprise (Espace compétences) ; l’enseignement supérieur universitaire (UHasselt) et la formation continue (HEP Vaud). La méthode a également été présentée à un panel d’experts du Groupe international de recherches et expertises en ingénierie des évaluations (GIRIEF) réunit à Lausanne en mai 2022 dans le cadre d’un séminaire international soutenu par le FNS.
Les résultats de ces premiers essais et les avis des experts seront présentés et discutés lors de cette communication. Nous présenterons également les leçons que nous tirons en vue d’une version améliorée du cycle CGQEIF.