Ce texte vous est fourni avec l'autorisation de l'éditeur. Toute reproduction doit se conformer à la législation en vigueur dans le domaine du droit d'auteur. [Services documentaires multimedia]

Pédagogie collégiale, vol. 18, no 2, déc. 2004, p. 13-20. -- N° Repère: A562699

Un passage obligé dans la planification de l’évaluation des compétences: déterminer des indicateurs progressifs et terminaux de développement (2e partie)

Jacques Tardif, professeur, faculté d’éducation, Université de Sherbrooke <note *>

Jacques Tardif

Cet article est une adaptation de la deuxième partie d’un texte qui a été soumis pour les Actes du colloque de l’AQPC, 2004, par M. Tardif. Dans la suite de l’article paru dans le numéro précédent de la revue, il présente deux échelles descriptives élaborées à l’ordre collégial et, à partir d’un exemple relatif à une compétence dans une formation en soins infirmiers, il illustre la nature et les caractéristiques des indicateurs progressifs et terminaux de développement.

En bref, le changement est considérable par rapport à l’évaluation traditionnelle de productions complexes. Il ne s’agit plus de s’engager à fond, et dans une perspective analytique, dans l’appréciation d’une seule production ou d’une réalisation particulière, mais de tenter de dégager la progression d’un individu en ce qui a trait à sa capacité à mobiliser diverses ressources (Scallon, 2004, p. 223).

Deux exemples d'échelle descriptive à l'ordre d'enseignement collégial

Comparativement aux ordres d’enseignement primaire et secondaire, il ne semble pas y avoir, à l’ordre collégial comme à l’ordre d’enseignement universitaire, de démarches aussi systématiques qui aient été entreprises relativement à l’élaboration d’échelles descriptives. Cette situation peut en partie s’expliquer par la nature des formations offertes dans ces ordres d’enseignement et par la marge de liberté dont bénéficie chaque établissement en matière de programme. Il existe toutefois, dans des écrits de langue anglaise, des ouvrages qui rendent compte de travaux de grande envergure aux États-Unis. On trouve des exemples très variés entre autres dans le livre de Huba et Freed (2000).

Malgré cette situation, on peut consulter les travaux de quelques équipes oeuvrant dans le réseau collégial québécois. Dans le cadre du présent article, l’ouvrage de Leroux et Bigras (2003) a permis de retirer deux exemples d’échelle descriptive construite en collaboration avec des professeures et des professeurs de collège. La première échelle concerne la compétence «Résoudre des problèmes simples relevant de la chimie organique» et la deuxième a trait à un projet de fin d’études dans le domaine de la technologie du textile, plus particulièrement une partie de la compétence «Élaborer et présenter des rapports». Comme dans le cas de l’échelle descriptive pour la compétence «Écrire des textes variés», l’analyse de ces deux échelles est sommaire et ne met en évidence que quelques points particuliers. En fait, elle est d’autant plus brève que des observations similaires peuvent être effectuées à partir de toutes ces échelles.

En ce qui concerne l’échelle descriptive pour la compétence «Résoudre des problèmes simples relevant de la chimie organique» (tableau 1), tant pour ce qui est de la dénomination des molécules organiques que de leur représentation graphique, les critères sont exclusivement de nature quantitative. Relativement à la dénomination, on distingue «moins de 5 cas sur 10», «5 et 6 cas», «7 à 9 cas» et «dans tous les cas». On établit le même nombre de catégories à propos de la représentation graphique de ces molécules, mais les critères sont légèrement différents: «moins de 7 cas», «7 et 8 cas», «9 cas» et «dans tous les cas». Chacune de ces catégories permet aux professeures et aux professeurs de distinguer des niveaux de maîtrise de la compétence en question, allant de «compétence insuffisante» à» compétence supérieure» et distinguant «compétence minimale» et «compétence moyenne».

[début de la p. 14 du texte original]

Tableau 1
Échelle descriptive pour la compétence «Résoudre des problèmes simples relevant de la chimie organique»

Pour l’analyse de l’échelle descriptive de la compétence «Élaborer et présenter des rapports», seulement deux critères de performance - traitement du sujet et clarté de la communication - ont été retenus à partir de tout ce que proposaient Leroux et Bigras (2003) pour l’ensemble du projet d’études dans le domaine de la technologie du textile. Le tableau 2 rend compte de ce choix. Cette fois-ci, les auteures retiennent trois seuils de performance plutôt que quatre comme dans l’échelle descriptive précédente. On trouve plusieurs types de degrés: quand il s’agit de distinguer les points principaux des points secondaires - «distingue très bien», «distingue bien» et «distingue peu»; quand il est question de la communication elle-même - «communique l’information très clairement», «communique l’information clairement», «communique l’information plus ou moins clairement», «avec une grande précision», «avec précision» et «avec imprécision»; quand l’accent est mis sur l’exposé - «très facile à suivre et à comprendre», «facile à suivre et à comprendre» et «difficile à suivre et incompréhensible».

Tableau 2
Échelle descriptive pour une partie de la compétence «Élaborer et présenter des rapports» dans le contexte d’un projet d’étude

[début de la p. 15 du texte original]

Tableau 2 [suite]

Bien que toutes les échelles descriptives considérées jusqu’à présent soient de même nature, il existe des distinctions importantes entre l’échelle descriptive pour la compétence «Écrire des textes variés» et les deux autres échelles propres à des formations offertes à l’ordre d’enseignement collégial. Il est vraisemblable de poser l’hypothèse que ces distinctions proviennent essentiellement, voire exclusivement, de la définition privilégiée quant au concept de compétence et quant à l’articulation subséquente des programmes de formation dans la logique de cette conception. Par exemple, il est difficile d’imaginer comment le développement de la compétence «Résoudre des problèmes simples relevant de la chimie organique» pourrait être étalé sur un long parcours de formation et, par conséquent, pourquoi il serait judicieux de déterminer, dans un tel contexte, des échelons rendant compte d’une progression.

À la suite de l’analyse des deux échelles descriptives propres au réseau collégial, on peut conclure que, comme dans le cas de l’échelle descriptive pour le primaire, on travaille principalement à partir de quelques catégories. La progression dans ces catégories est déterminée par le recours à des degrés ou à des quantités. Le développement de la compétence est circonscrit en recourant à des critères uniquement quantitatifs. Ce recours à des critères quantitatifs présente de nombreux risques de dérives quand il s’agit d’évaluation de compétences, ces risques étant encore plus élevés lorsqu’une compétence est définie d’une manière très étroite, comme «Résoudre des problèmes simples relevant de la chimie organique».

Indicateurs progressifs et terminaux pour une compétence en soins infirmiers

Puisque les compétences sont des savoir-agir complexes et que la mobilisation des ressources sur lesquelles prennent appui ces compétences exerce un rôle capital lors de leur développement, chaque évaluation rigoureuse et systématique d’une compétence doit mettre l’accent d’abord et avant tout sur le degré de maîtrise atteint par rapport à un savoir-agir complexe ainsi que sur les ressources pouvant être mobilisées. Les échelles descriptives disponibles à ce jour ne répondent pas à ces exigences évaluatives. Dans une large mesure, elles négligent la complexité inhérente aux compétences. Il semble donc primordial d’élaborer des outils plus susceptibles de placer la complexité au coeur de l’évaluation des compétences et de documenter une trajectoire de développement sur un long parcours de formation, tant pour ce qui est de la compétence elle-même que des ressources qu’elle mobilise.

Les indicateurs de développement permettent de prendre en considération cette complexité dans un contexte de formation et d’en rendre compte dans un contexte d’évaluation.

Le tableau 3 présente l’ensemble des indicateurs de développement retenus par une équipe de formatrices et de formateurs oeuvrant dans un programme de formation initiale en soins infirmiers, en ce qui concerne la compétence «Construire avec la clientèle une relation professionnelle dans la perspective d’un projet de soins». Il s’agit d’une des neuf compétences composant un programme de quatre ans offert par la Haute École Cantonale Vaudoise de la Santé. On doit remarquer que ces indicateurs de développement ne sont pas spécifiques à l’évaluation et que, dans leur formulation même, ils encadrent toutes les décisions et les actions relatives à la formation. Ces interrelations constantes entre la formation et l’évaluation ont été soutenues dans plusieurs écrits portant sur les programmes par compétences et, parfois, il est question d’enchâssement de l’évaluation dans les situations d’apprentissage (Tardif, 1998). Pour leur part, Huba et Freed (2000) mentionnent que, dans un environnement pédagogique centré sur l’apprentissage, la formation et l’évaluation ne correspondent pas à des actions distinctes et épisodiques, mais donnent plutôt lieu à des activités continues, en étroite relation, visant essentiellement à guider la progression des apprentissages.

[début de la p. 16 du texte original]

Tableau 3
Formation initiale en soins infirmiers (4 ans) Haute École Cantonale Vaudoise de la Santé (HECVS) Compétence 2 «Construire avec la clientèle une relation professionnelle dans la perspective d’un projet de soins»

[début de la p. 17 du texte original]

À la lecture du tableau 3, on observe que des ressources précises sont rattachées à chacun des indicateurs de développement. Par exemple, dans le cas de l’indicateur «L’étudiante ou l’étudiant est en mesure de déterminer les conséquences de l’histoire de vie et du problème de santé physique «temporaire» sur les attitudes et les actions de la clientèle», les ressources suivantes sont sélectionnées: biographie comme cadre de compréhension; impact des schémas relationnels; problématique de l’abus, de l’abandon et de la surprotection. Le choix de ces ressources relève au premier plan des équipes de formatrices et de formateurs qui s’inspirent en grande partie des exigences de la professionnalisation. Ces ressources sont considérées à la fois lors de la formation et de l’évaluation. Lorsqu’il s’agit d’évaluation, étant donné que celle-ci porte sur une compétence, ces ressources sont évaluées dans une perspective de mobilisation. Elles sont donc forcément évaluées lors de la mise en oeuvre d’un savoir-agir complexe. Il importe de noter que les ressources indiquées dans le tableau 3 ne concernent pas seulement des connaissances, mais également des attitudes et des conduites.

L’étalement du développement des compétences lors de la formation, étalement qui guidera tous les choix au moment de l’évaluation des apprentissages, peut être réalisé selon différents paramètres. Dans le programme en question, l’équipe de formatrices et de formateurs a eu recours à deux types de paramètres: les familles de situations et la complexité des situations. Le tableau 4 reprend quatre indicateurs progressifs qui s’inscrivent dans la logique des familles de situations. Au cours de la première année de formation, on retient la «fragilisation résultant d’un problème de santé physique temporaire», en deuxième année, «la vulnérabilité résultant d’un problème de santé chronique» et, en troisième année, «la vulnérabilité et la souffrance résultant de problèmes psychologiques et de problèmes psychiatriques». Quant à la dernière année de formation, elle introduit la famille de situations «contexte de fin de vie». Dans toutes ces familles de situations, on vise à ce que les étudiantes et les étudiants puissent établir avec la clientèle une relation professionnelle dans un contexte d’asymétrie. Dit autrement, les formatrices et les formateurs intervenant au cours des quatre années, en faisant varier les familles de situations, placent toujours au centre de leurs actions de formation l’établissement de cette relation professionnelle. Par conséquent, l’évaluation de la progression des apprentissages portera, d’une part, sur l’évolution de la maîtrise de cette relation professionnelle et, d’autre part, sur les ressources qui sont mobilisées par cette compétence.

Tableau 4
Indicateurs de développement reliés à des familles de situations pour la compétence «Construire avec la clientèle une relation professionnelle dans la perspective d’un projet de soins»

[début de la p. 18 du texte original]

Le tableau 5 présente l’étalement du développement de la compétence «Construire avec la clientèle une relation professionnelle dans la perspective d’un projet de soins» à partir d’un autre paramètre que les familles de situations, soit celui de la complexité des situations. Par exemple, en lien avec les déterminants des attitudes et des actions de la clientèle, on introduit en première année «l’histoire de vie et [le] problème de santé» et on ajoute en deuxième année «le milieu de vie et l’environnement». En troisième année, le programme prend en compte les «personnes significatives dans la vie de la clientèle» de sorte que les relations professionnelles établies incluent le soutien d’autres personnes de même que l’interdépendance et la responsabilisation de la personne concernée dans la prise en charge de sa santé. En lien cette fois-ci avec la déontologie, l’éthique et les rôles professionnels, on observe la progression suivante de la complexité: en première année, on délimite les rôles et les fonctions de la profession infirmière et on s’assure de la maîtrise du code de déontologie professionnelle; en quatrième année, l’éthique professionnelle de même que la contribution aux équipes multidisciplinaires deviennent centrales dans la formation.

Tableau 5
Indicateurs de développement reliés à la complexité des situations pour la compétence «Construire avec la clientèle une relation professionnelle dans la perspective d’un projet de soins»

Pour ce qui est de la compétence «Construire avec la clientèle une relation professionnelle dans la perspective d’un projet de soins», les formatrices et les formateurs ont retenu 13 indicateurs progressifs de développement (tableau 3): le même nombre (3) pour chacune des trois premières années de formation et quatre pour la dernière année. Ces indicateurs sont dits «progressifs» parce qu’ils précisent, soit à partir de familles de situations, soit à partir de la complexité des situations, une trajectoire de formation et de développement. Cette trajectoire «théorique» balise toutefois autant la formation que l’évaluation. Dans le présent contexte, l’indicateur terminal de développement est le suivant: «En interaction avec une personne présentant un problème de santé physique, psychologique ou psychiatrique, l’étudiante ou l’étudiant est en mesure

[début de la p. 19 du texte original]

de construire une relation professionnelle asymétrique et éthique dans la perspective d’un projet de soins, en recourant à l’interdépendance et à la complémentarité professionnelles et en mettant au premier plan la recherche et la construction du sens des expériences de vie». Cet indicateur terminal correspond à ce qui est attendu au terme de la formation dans le cadre d’une évaluation certificative.

Une différence très importante des indicateurs progressifs et terminaux de développement par rapport aux échelles descriptives analysées sommairement dans des sections précédentes: le niveau de maîtrise de la compétence et le degré de mobilisation des ressources, bien que les mots «niveau» et «degré» puissent avoir une connotation quantitative, ne sont pas précisés à partir de critères du genre «moins de 5», «entre 7 et 8», «9», «parfois», «généralement», «souvent», «une variété», «une grande variété», mais à partir de critères qualitatifs qui concernent d’abord et avant tout la compétence elle-même. Par exemple, dans le cas de l’indicateur «L’étudiante ou l’étudiant est en mesure d’établir avec la clientèle une relation professionnelle dans un contexte d’asymétrie compte tenu de la vulnérabilité et de la souffrance résultant de problèmes psychologiques et de problèmes psychiatriques» et en faisant référence à la dépression, les critères ne seraient pas précisés en stipulant que l’étudiante ou l’étudiant mobilise un symptôme sur cinq, deux sur cinq, trois sur cinq ou quelque chose de cette nature. Ils porteraient plutôt sur les ressources - plus particulièrement sur la nature du problème psychologique ou du problème psychiatrique - que l’étudiante ou l’étudiant mobilise en présence d’une personne diagnostiquée comme vivant une dépression. On est ici dans le domaine du qualitatif et non dans celui du quantitatif. Pour reprendre l’expression de Scallon (2004), on est à des années-lumière d’une «arithmétique de bilan».

Pour assurer la fidélité entre les évaluatrices et les évaluateurs dans l’évaluation des compétences, cette valeur docimologique étant cruciale dans toute évaluation de productions complexes, il importe de franchir un pas de plus à partir des indicateurs de développement et des ressources qui leur sont associées. Ce pas supplémentaire incite à recourir à des rubriques. Essentiellement, il importe de développer des rubriques visant, d’une part, à ce que l’étudiante ou l’étudiant puisse autoévaluer sa progression, ses apprentissages et ses productions et, d’autre part, à ce que les formatrices et les formateurs évaluent sensiblement de la même manière des productions complexes. Alors que, dans les échelles descriptives, les rubriques sont constamment reliées à des ressources particulières, elles portent, en ce qui concerne les indicateurs progressifs et terminaux de développement, sur la mobilisation des ressources dans la perspective de porter un jugement holistique par rapport à l’indicateur de développement en question.

Conclusion

L’extrait mis en exergue au début de l’article insiste sur le caractère «considérable» du changement ainsi que sur la nécessité, dans l’évaluation des apprentissages dans une approche par compétences, de «dégager la progression d’un individu en ce qui a trait à sa capacité à mobiliser diverses ressources» (Scallon, 2004, p. 223). Le changement est probablement beaucoup plus exigeant que ce qui avait été anticipé par les conceptrices et les concepteurs des programmes axés sur le développement de compétences. Scallon attire même l’attention sur le fait que «les savoir-faire traditionnels, pour la plupart liés à des considérations d’ordre psychométrique, ne conviennent plus ou doivent être dépassés» (2004, p. 329). Il ajoute que «de nouveaux savoir-faire doivent être envisagés dans une perspective de recherche et de développement» (p. 329). Dans l’évaluation des compétences, s’ils veulent porter un jugement sur une progression ainsi que sur la mobilisation de ressources, les formatrices et les formateurs sont contraints de s’éloigner de la logique quantitative qui a teinté si fortement l’évaluation des apprentissages dans les programmes définis à partir d’objectifs généraux et spécifiques, et de s’approprier une logique d’évaluation plus qualitative. Dans une telle logique, la cohérence serait grandement mise en cause si les outils développés ne privilégiaient que des marqueurs quantitatifs ou des marqueurs universels inspirés de l’échelle de Likert.

Alors que, dans le monde de la recherche, le fait d’infirmer une hypothèse qui avait été bien documentée et qui avait émergé à la suite d’une longue période de réflexion constitue une avancée importante pour l’état des connaissances, les professionnelles et les professionnels de l’éducation ne vivent

[début de la p. 20 du texte original]

généralement pas dans ce paradigme. Dans une posture de chercheur, il convient de porter un regard critique, sévère parfois, sur diverses propositions, diverses productions, divers scénarios dans le but de contribuer à l’avancement du savoir et, idéalement, à l’avancement des pratiques. Les idées soutenues dans les deux parties de cet article, tant pour ce qui est des analyses que des suggestions, n’auraient vraisemblablement pas vu le jour sans l’audace d’équipes qui se sont attardées à l’élaboration d’échelles descriptives. La remise en question du caractère judicieux de ces échelles ouvre la voie à de nouvelles propositions. Toutefois, dans une optique de recherche et de développement, les indicateurs progressifs et terminaux constituent une orientation qui doit être éprouvée, rejetée le cas échéant, étant donné qu’ils visent à ce que les programmes par compétences tiennent leurs promesses à l’égard des jeunes.

jacques.tardif@usherbrooke.ca

Références bibliographiques

HUBA, M. E. et J. E. FREED, Learner-centered Assessment on College Campuses. Shifting the Focus from Teaching to Learning, Boston, Allyn and Bacon, 2000.

LEROUX, J. L. et N. BIGRAS, L’évaluation des compétences: une réalité accessible dans nos collèges, Saint-Hyacinthe, Cégep de Saint-Hyacinthe, 2003.

SCALLON, G., L’évolution des apprentissages dans une approche par compétences, Saint-Laurent, Éditions du Renouveau pédagogique, 2004.

TARDIF, J., en collaboration avec A. PRESSEAU, Intégrer les nouvelles technologies de l’information. Quel cadre pédagogique?, Issy-Les-Moulineaux, Éditions sociales françaises, 1998.

<Note *> Jacques TARDIF a complété des études doctorales en psychologie de l’éducation à l’Université de Montréal et des études post-doctorales à l’Université de Californie à Berkeley. Il est présentement professeur titulaire au département de pédagogie de la faculté d’éducation de l’Université de Sherbrooke et président de l’AIPU. Ses activités portent, entre autres, sur la dynamique de l’apprentissage, le transfert des apprentissages et la motivation scolaire. Il intervient également dans différents milieux scolaires sur la planification et la mise en oeuvre de pratiques pédagogiques et évaluatives qui donnent la priorité au développement de compétences. Il a notamment publié, aux Éditions Logiques, Pour un enseignement stratégique. L’apport de la psychologie cognitive et Le transfert des apprentissages. Il prépare actuellement un ouvrage sur l’évaluation des compétences dans des contextes de professionnalisation en milieu post-secondaire.

Livres et documents reçus

ABERRA, Worku, An Empirical Study of Factors Determining the Success Rates of Social Science Students at Dawson College: Attendance and Grades in a Introductory Economics Courses, Rapport de recherche PAREA, Montréal, Collège Dawson, 2004, 43 p.

BOISVERT, Jacques, Pensée critique et programmes d'études au collégial, Rapport de recherche PAREA, Saint-Jean-sur-Richelieu, Cégep de Saint-Jean-sur-Richelieu, 2004, 266 p.

CHBAT, Joseph, Les attitudes et les pratiques pédagogiques au collégial, Rapport de recherche PAREA, Montréal, Collège André-Grasset, 2004, 504 p.

COLLECTIF sous la direction de PALACIO-QUINTIN, E., J.-M. BOUCHARD et B. TERRISSE, Questions d'éducation familiale, Montréal, Les Éditions Logiques, 2004, 596 p.

CONSEIL SUPÉRIEUR DE L'ÉDUCATION, L'accessibilité financière à la réussite du projet d'études, Avis au ministre de l'Éducation, Québec, Conseil supérieur de l'éducation, 2004, 76 p.

COSSETTE, Raymonde, Suzanne Mc CLISH et Kim OSTIGUY, L'apprentissage par problèmes en soins infirmiers, Rapport de recherche PAREA, Montréal, Cégep du Vieux Montréal, 2004, 190 p.

DESAUTELS, Luc, Le cours de philosophie éthique propre au collégial, Rapport de recherche PAREA, L'Assomption, Cégep régional de Lanaudière, 2004, 275 p.

LAPRÉE, Raymond, Réussir vos projets de groupe, Ciblez correctement et atteignez vos résultats, Montréal, Les Éditions Logiques, 2004, 236 p.

THÉRIAULT, Jacqueline et Nathalie LAVOIE, L'éveil à la lecture et à l'écriture. Une responsabilité sociale et communautaire, Montréal, Les Éditions Logiques, 2004, 149 p.

VEILLETTE, Suzanne, L'alternance travail-études au collégial: les effets sur la réussite scolaire et l'insertion professionnelle, Rapport de recherche PAREA, Jonquière, Cégep de Jonquière, 2004, 390 p.