Depuis quelques années (mais plus intensément dans la dernière année) j’ai beaucoup (trop?) réfléchi, lu, échangé sur les pratiques d’évaluation de la formation en milieu organisationnel. Je me suis questionnée, j’ai mis au défi ma pratique et celle des autres dans des conversations musclées et très stimulantes! Je n’ai certainement pas l’intention ici de prétendre faire le portrait de la situation, ni de faire un ajout de nouvelles connaissances à la recherche déjà existante, mais plutôt de prendre position comme professionnelle par rapport aux défis et aux modèles existants. Et comme cela fait un bon moment que je planche sur ce billet (depuis juin 2016 en fait!)… il se distingue par sa longueur! Bonne lecture 🙂

Essai d’une définition: qu’est-ce que l’évaluation de la formation?

De ce que j’ai pu répertorier dans la littérature et dans la pratique de plusieurs confrères et consœurs, je retiens les propos de Kraiger, Ford et Salas (1993), dans Dunberry et Péchard (2007). Selon ces derniers, l’évaluation de la formation désigne à la fois:

• l’évaluation du processus de formation, à savoir comment celle-ci a été conçue et donnée (efficience);
• l’évaluation des résultats de la formation, à savoir ce que les apprenants ont appris, ses effets sur leurs comportements et sur l’organisation (efficacité).

En sus de ces deux éléments, j’ai également constaté que pour plusieurs de mes pairs l’objectif le plus important de l’évaluation de la formation est de démontrer une amélioration. Cela rejoint bien le propos de Stufflebeam et al. qui, déjà en 1970, affirmaient ceci:

The most important purpose of program evaluation is not to prove but to improve.

Entendons-nous bien… la plupart du temps quand on nous demande d’évaluer la formation, c’est en général plus pour prouver qu’elle est utile, rentable, a de l’impact… que de prouver une quelconque amélioration. Cela contribue aux problématiques qui entourent la pratique d’ailleurs (à mon humble avis).

Problématiques de l’évaluation de la formation en milieu organisationnel

Habituellement, quand je m’intéresse à un sujet c’est parce que je le trouve complexe et qu’en plus il comporte à divers degrés des problématiques.  Avec celui-ci j’ai été gâtée 🙂 ! Tout comme plusieurs collègues, j’ai eu à faire face, à divers moments, à un, plusieurs ou l’ensemble de ces problèmes répertoriés par Dionne (1996) :

1. Il n’y a pas de modèle ni de théorie unificatrice [de l’évaluation de la formation en milieu organisationnel] (Baldwin et Ford, 1988; Tannenbaum et Yulk, 1992);
2. La validité de la recherche actuelle est douteuse (Noe et Ford, 1992; Tannenbaum et Yulk, 1992);
3. Il y a des problèmes méthodologiques (Guba et Lincoln, 1989; Ban et Faerman, 1990; Fishman, 1992; Faerman et Ban, 1993);
4. Il y a des problèmes de mesure (Alliger et Janak, 1989; Guba et Lincoln, 1989; Ostroff, 1991; Fishman, 1992; Tannenbaum et Woods, 1992);
5. Il y a des contraintes tant au niveau de la stratégie de l’évaluation qu’au niveau de l’organisation (Alliger et Janak, 1989; Fishman, 1992; Noe et Ford, 1992; Tannenbaum et Woods, 1992).

De plus, il existe quelques consensus au sein de l’industrie, notamment relevés par Kraiger (2002) Saks et Haccoun (2013) Dunberry et Péchard (2007) ou plus récemment Roussel (2011) pour n’en nommer que quelques-uns. Dionne (1996) en répertoriait  trois incontournables:

• le fait d’apprendre quelque chose en formation ne signifie pas que les gens vont transférer cet apprentissage au sein de leur organisation;
• le transfert d’apprentissage et la rétention à long terme va au-delà de l’activité de formation: des efforts complémentaires doivent être faits pour créer un climat organisationnel favorable au transfert;
• les chercheurs, les formateurs et les gestionnaires ne sont pas tenus à des standards communs: ils jugent les activités de formation selon leur propres critères et l’information qu’ils recherchent répond à des besoins différents. (Ah, ha! Il est là entre-autres l’enjeu de se faire demander d’évaluer tout et n’importe quoi… du moins, c’est n’importe quoi dans NOTRE perspective, pas dans celle du demandeur, à ne pas oublier 🙂 …)

De multiples modèles

Nous nous sommes livrés, au sein de mon réseau professionnel, à un inventaire des différents modèles d’évaluation de la formation et en avons discuté en groupe. Il en est ressorti plusieurs difficultés d’application, certains étant trop près de la recherche pour être utilisables en milieu organisationnel. D’autres étant trop limitatifs pour dresser un portrait global de la situation. Cependant, l’enjeu principal selon moi demeure la multiplicité de modèles. Voyez plutôt ces tableaux, et notez qu’il ne s’agit pas d’un inventaire exhaustif!

Ceci sans compter les nouveaux modèles, quoi que j’en ai trouvé deux particulièrement intéressants! Il s’agit du COMA de Saks et Haccoun (2012) et, un peu moins récent, le DBE de Kraiger (2002).

Le modèle COMA vise essentiellement à améliorer l’utilité de l’évaluation de la formation en identifiant et en mesurant les variables pour lesquelles la recherche a démontré qu’elles sont importantes pour le transfert. Il mesure quatre dimensions de variables:

1. Cognitives: le niveau d’apprentissage acquis par les apprenants dans le cadre de la formation (compétences déclaratives et procédurales)
2. environnement Organisationnel: les variables provenant de l’environnement de travail ayant un impact sur le tranfert des apprentissages (culture de formation, opportunité de pratiquer, support espéré et reçu)
3. Motivation: désir d’apprendre et d’appliquer les apprentissages
4. Attitudes: sentiments et processus mentaux des individus (sentiment d’efficacité personnelle, perception de contrôle, attentes envers soi et l’environnement)

Le modèle de Kraiger, dont Saks et Haccoun font d’ailleurs mention dans leur livre, vise à permettre aux praticiens et aux décideurs de baser leur évaluation sur les raisons [motivant le choix de former] versus l’habitude ou la volonté de poursuivre une démarche mise en place par leur prédécesseurs, et intègre l’évaluation au processus d’ingénierie de la formation.

Pour ma part, ce que j’aime particulièrement de ce dernier modèle, c’est qu’il permet une démarche flexible où le praticien doit identifier des cibles, des objets et des méthodes d’évaluation pertinentes en fonction des raisons qui le poussent à mettre en place une formation.

En fait, pour être tout à fait honnête ce que j’aime de ce modèle est qu’il place en tout premier lieu la nécessité pour le praticien de réfléchir et de se positionner sur ce qu’il veut évaluer, pourquoi il veut l’évaluer, pour qui il le fera avant de se projeter dans comment il le fera! RÉFLEXION, voilà! J’aime beaucoup 🙂 En revanche, il considère peu le contexte organisationnel, là où logent la plupart des prédicteurs démontrés du transfert… pour cet aspect le modèle COMA m’interpelle davantage. En revanche, d’après Saks et Haccoun ainsi que d’autres chercheurs, ces modèles sont trop récents pour avoir été substantiellement étudiés.

On avait dit plus haut qu’un des enjeux est l’absence de modèle et de théorie unificatrice non? Et pourtant, je n’ai pas encore abordé l’éléphant dans la pièce: le fameux modèle de Kirkpatrick (1959)…

Et pourquoi pas Kirkpatrick (1959)?

La question pourrait être posée dans l’autre sens: pourquoi Kirpatrick? Pour sa simplicité de mise en oeuvre, pour sa chaîne de causalité jugée par certains comme valide, parce qu’il peut aisément s’accrocher aux tableaux de bord et autres indicateurs organisationnels… bref, pourquoi ne pas l’utiliser si c’est si hot & trending depuis plus de 50 ans?

Cette question a fait l’objet de nombreux débats et plusieurs chercheurs ont formulé des critiques assez cinglantes sur ce modèle. Pour ma part, je préfère ne pas me limiter à ce modèle et je rejoint les préoccupations listées par certains chercheurs, notamment Kraiger et al. (1993), Dionne (1996), Kraiger (2002), Roussel (2011). Dunberry et Péchard (2007) les ont à mon avis très bien résumés:

[Il] a peu de bases théoriques et ignore les acquis des théories cognitivistes des années 70 et 80;

Les construits utilisés, tels que la satisfaction ou l’apprentissage, ne sont pas clairement définis, se révélant plus complexes [qu’en apparence];

Une application stricte de l’approche amène des comportements illogiques, [tels que] ne pas évaluer les apprentissages avant d’avoir confirmé une réaction positive alors que les [apprenants] ne sont peut-être plus disponibles;

L’approche présume de relations entre les résultats de la formation qui ne se confirment pas, comme c’est le cas entre la satisfaction et l’apprentissage;

L’approche ne tient pas compte du but de l’évaluation, en incitant à évaluer les quatre niveaux alors que dans certains cas l’évaluation d’autres critères serait plus pertinente en regard des besoins de l’entreprise.

Sachant cela, pourquoi se limiter à ce modèle…? La question se pose toujours à mon avis.

Quels compromis faire pour faire avancer la pratique?

Devant l’état de la situation, je me suis questionnée à savoir quels pouvaient être les compromis que chacun des acteurs clefs dans l’évaluation de la formation pouvaient faire afin de contribuer ce que les pratiques évoluent. En fait, si les chercheurs, les formateurs et les gestionnaires demeurent sur leurs positions actuelles, les problématiques de validité, de fiabilité et de crédibilité de l’évaluation de la formation vont demeurer. Et il y a de bonnes chances que l’on continue de tourner autour du modèle de Kirpatrick (ou de Phillips qui a ajouté le fameux ROI au modèle de Kirkpatrick en 1993).

J’ai trouvé intéressant les compromis que Dionne (1996) a nommé pour chacun de ces acteurs clef, mettant à l’avant-plan la nécessité que ces derniers forment un partenariat afin de permettre des projets d’évaluation de la formation qui soient réalistes, réalisables et utiles!

Pour le chercheur:

• Renoncer à la généralisation des résultats
• Admettre que dans ce domaine les conclusions hâtives pullulent
• Admettre que la plupart des recherches dans le domaine ont été menées dans des conditions contrôlées et non en milieu organisationnel

Pour le professionnel de la formation:

• Analyser au-delà des besoins exprimés et considérer que le contexte organisationnel influencera leur intervention
• Comprendre que le succès ou l’échec de leur intervention est intimement liée au contexte organisationnel
• Admettre que les systèmes permettant à l’apprenant de surmonter les obstacles lors du retour de l’employé à son travail ont un impact significatif sur le succès de la formation

Pour le gestionnaire:

• Réaliser que la formation n’est pas la solution à tous leurs problèmes
• Réaliser que lorsqu’ils utilisent de la formation ils sont en partie responsables du retour sur leur investissement, donc de mettre en place le nécessaire pour protéger leur investissement
• Établir les moyen de collecter l’information nécessaire à l’évaluation continuelle de leur investissement et éviter de juger la formation strictement en fonction d’un ratio coûts-bénéfices

En conclusion… pourquoi évaluer la formation?

Si on a aujourd’hui la possibilité d’évaluer de nombreuses variables liés à la formation, il faut encore se demander mais pourquoi donc voulons-nous l’évaluer? Au delà de prétendre mesurer la valeur que le consultant externe ou l’équipe interne de formation apporte à l’organisation, la littérature nous propose à nous, praticiens, un petit top 3 à explorer (Kirkpatrick, 1994; Sackett & Mullin, 1993; Twitchell, Holton, & Trott, 2000; Kraiger, 2002):

Pour fournir des informations permettant de prendre des décisions éclairées sur la formation:

• Le niveau de rétention des apprentissages est-il suffisant compte-tenu des ressources allouées?
• Le format du cours correspond-t-il adéquatement au contenu et celui-ci est-il pertinent?
• Les formateurs sont-ils capables de bien livrer le contenu?
• Les apprenants reçoivent-ils suffisamment de formation pour effectuer les tâches qui sont attendues d’eux?

Pour obtenir et fournir de la rétroaction au formateur, au concepteur ou à l’apprenant:

• Les techniques d’animation favorisent-elles l’apprentissage, l’engagement ou la mise en pratique par les apprenants?
• Les stratégies, activités et outils pédagogiques favorisent-ils l’apprentissage, l’engagement ou la mise en pratique par les apprenants?
• La démarche d’apprentissage de l’apprenant dispose-t-elle favorablement ce dernier à s’engager, apprendre ou mettre en pratique ses acquis? (motivation d’apprendre et de mettre en pratique, sentiment d’efficacité personnelle, perception de contrôle de la démarche, attentes face à lui-même et son environnement)

Pour promouvoir ou effectuer le marketing de la formation

• L’évaluation de l’impact de la formation démontre-t-elle de façon convaincante la valeur de celle-ci auprès de la direction?
• La démonstration des résultats obtenus par la formation génère-t-elle un effet motivateur sur les futurs apprenants?

Et vous, évaluez-vous la formation dans vos organisations?

Qu’évaluez-vous?

Pourquoi?

Pour qui?

Comment?

Quand?

À suivre…! 🙂

Crédit photo: Pixabay

Références (sans elles, ce billet n’aurait pas été possible!):

Chochard, Y. (2010). Et si on évaluait le rendement de la formation en entreprise sur la base des compétences développées par le personnel? Présentation d’une nouvelle approche. Observatoire Compétence Emplois.

Chochard, Y. (2013). L’évaluation de la formation: un instrument simple et fiable à la portée des praticiens. Bulletin de l’Observatoire Compétence Emplois , Septembre 2013, Vol. 4, No. 2.

Chochard, Y. (2014). Nouvelle approche d’évaluation de la formation: le retour sur les attentes. Bulletin de l’Observatoire Compétence Emplois , 2014, Vol. 5, No. 2.

Dionne, P. (1996). The Evaluation of Training Activities: A Complex Issue Involving Different Stakes. Human Ressources Quarterly. 279-286.

Dunberry, A. et Péchard, C. (2007). L’évaluation de la formation dans l’entreprise: état de la situation et perspectives. CIRDEP, UQAM.

Haccoun, R. (2007). Perspectives contemporaines en évaluation. SOFEDUC.

Kraiger, K., Ford, J., Salas, E. (1993). Application of Cognitive, Skills-Based, and Affective Theories of Learning Outcomes to New Methods of Training Evaluation. Journal of Applied Psychology, 1993, Vol. 78, No. 2, 311-328.

Kraiger, K. (2006). Creating a Compelling Case for Training: for Training: Decision-Based Evaluation. NHSTE Symposium, May 2006.

Roussel, J-F. (2011). Gérer la formation – viser le transfert. Guérin Éditeur.

Saks, A. M., Haccoun, R. R., & Belcourt, M. (2010). Managing performance through training and development. Cengage Learning.

Sans oublier le groupe de discussion formation du Réseau d’Annie que j’ai le plaisir de co-animer!