Penser l'évaluation, définir les indicateurs

Dossier réalisé par : Pascal Boyries – Nisa Fiogère

Quelques éléments pour bien intégrer l’approche des indicateurs

Ce sont des outils d’aide au pilotage et à la décision dans la régulation d’un projet, d’une expérimentation, d’une structure.

Les indicateurs ont souvent mauvaise presse auprès de certains enseignants et autres acteurs de l’éducation qui y voient un outil de contrôle de l’institution sur leur action.

Nous cherchons à faire évoluer ce regard sur les indicateurs afin que les pilotes de projets ou d’établissement les envisagent d’abord comme des outils de régulation ce qu’ils entreprennent en lien avec des objectifs à atteindre. En termes de pilotage, les indicateurs sont mobilisés dans les projets CARDIE, CNR, sur les évaluations d’écoles et d’établissements, les projets d’école et d’établissement, les contrats d’objectifs, le pilotage des réseaux.

Que ce soit dans un projet, une expérimentation ou l’(auto)évaluation d’une structure, différentes étapes sont à poser :

le constat = un état des lieux ;
le diagnostic = une explication provisoire de cet état des lieux ;
les objectifs que l’on vise et qui découlent de la formulation du constat et de son diagnostic ;
ce qu’on met en œuvre pour atteindre les objectifs (les actions) et la façon dont on le met en œuvre (les modalités) ;
ce qu’on mesure pour s’assurer des effets de ce qu’on a entrepris, ajuster si nécessaire et vérifier l’atteinte ou non des objectifs.

Les indicateurs peuvent être mobilisés à toutes ces étapes :

au moment de la formulation d’un constat (ce que l’on observe, ce que l’on repère) pour l’étayer ;
au moment du diagnostic (comment nous expliquons les éléments constatés), des indicateurs sont nécessaires pour venir aider à le compléter ;
au moment de la définition des objectifs en reprenant notamment les indicateurs du constat ;
pendant la mise en œuvre du projet, pour le réguler ;
à la fin du projet, pour en mesurer les effets.

Les indicateurs se définissent en fonction d’un certain nombre de caractéristiques.

Les caractéristiques d’un indicateur

1. Les indicateurs s’inscrivent dans une typologie

Il en existe une multitude, il suffit de parcourir internet pour s’en convaincre. La plus intéressante pour nous est celle de l’UNESCO (UNESCO, 2023) dont on trouve les premières approches dans le guide de Claude Sauvageot (SAUVAGEOT, 1997). Il définit des indicateurs de résultats, de moyens, de procédure et de contexte.

Les indicateurs de résultats ciblent les résultats des élèves ou de l’établissement. Ce sont les plus faciles à suivre puisqu’une bonne partie des indicateurs proposés par l’institution relève de cette catégorie : résultats des évaluations nationales, résultats des examens, taux de passages, etc.
Les indicateurs de moyens (exemple : taille des groupes d’élèves, nb d’heures en co-enseignement, nb de séances de DF, etc… vont permettre de regarder si les moyens que l’on engage dans la mise en œuvre du projet sont bien ceux que l’on avait envisagé. En croisant avec des indicateurs de résultat, ils permettront de dire si les moyens engagés semblent donner des effets positifs ou non.
Les indicateurs de contexte (exemple : nb d’exclusions, nb de retenues, % d’élèves venant avec plaisir à l’école ou dans l’établissement, taux de stabilité du corps enseignant, % de boursiers taux 3, etc…). Ils permettent d’apporter des éléments d’explication aux évolutions des résultats durant la réalisation du projet, de donner des informations sur des changements qui pourraient avoir des effets sur les résultats, ou d’anticiper des difficultés ou des améliorations à venir (dans le cas d’un changement de carte scolaire, par exemple).
Les indicateurs de processus (exemple : mise en place d’une progression interdisciplinaire sur tel apprentissage ; nb de Conseils d’enseignements durant lesquels on construit une approche collective ; % du temps des conseils pédagogiques consacrée à construire une cohérence pédagogique sur le cursus des élèves). Ils permettent de voir si le projet est resté dans le faire ou s’est donné les moyens de faire bouger les pratiques pédagogiques.

2. Les indicateurs ont 4 fonctions

Les deux fonctions externes :

Rendre compte. C’est la fonction à laquelle les acteurs institutionnels (donc les enseignants) pensent en premier, il s’agit de rendre compte à l’institution des actions engagées dans l’établissement ou le projet, et ainsi de permettre à cette dernière de piloter son action à l’échelle nationale. Cette fonction est donc une fonction de régulation pour l’institution.
Communiquer. C’est une fonction centrée sur le public et les partenaires, afin de montrer les effets de ce qui a été mis en place dans l’établissement, à travers l’engagement des acteurs de l’établissement, les financements ou le soutien accordé.

Les deux fonctions internes, sont les plus intéressantes pour les porteurs de projet.

La fonction d’aide au pilotage car les indicateurs sont d’abord des outils d’autorégulation pour les équipes de l’établissement. Le suivi des indicateurs permet d’ajuster les actions mises en place lors du déroulement du projet ou de l’expérimentation en fonction de leur évolution positive ou négative. Ils doivent donc être porteurs d’informations pertinentes qui vont conduire le porteur de l’expérimentation à l’abréger, la prolonger, ou l’ajuster.
La fonction de focalisation. C’est le fait qu’en choisissant de placer un indicateur sur un élément, on va être tenté de vouloir faire évoluer positivement cet indicateur et donc de veiller à ce que les actions engagées aient bien des effets sur ce dernier.

Si on s’intéresse aux fonctions internes :

Les indicateurs de résultat servent à établir le constat de départ dans une expérimentation, un projet CNR, une autoévaluation ou une évaluation d’école ou d’établissement et à mesurer l’atteinte ou non des objectifs.
Les trois autres catégories (de contexte, de processus et de moyens) servent à étayer le diagnostic (l’explication provisoire du constat) puis, au moment du bilan à donner des indications pouvant expliquer les résultats obtenus.

Dans les évaluations d’écoles et d’établissements, ce sont ceux que l’on va retrouver dans la première rubrique sur « Apprentissage et parcours de l’élève ».

Une fois le constat et le diagnostic posés, il y a à identifier les objectifs qui en découlent.

Pour s’assurer de l’atteinte de ces objectifs, des indicateurs vont être à nouveau nécessaires.

Un indicateur peut être très pertinent dans un établissement, mais pas du tout dans un autre. C’est cette articulation constat – diagnostic – objectifs – action – modalités d’action – indicateurs qui va permettre de construire la cohérence, l’alignement pédagogique du projet, de l’expérimentation, de l’évaluation.

Il convient de bien garder à l’esprit que, pour une équipe d’établissement, cet appui sur les indicateurs n’est pas semblable à un travail de recherche car il ne s’inscrit pas dans un protocole de recherche rigoureux (sauf pour les établissements qui participent à des recherches collaboratives) : il cible les élèves, pas un objet de recherche. Les indicateurs sont donc à concevoir simplement comme des outils qui vous donnent des « indications » sur les effets de ce qui est conduit, ils n’ont pas de valeur scientifique et il ne faut pas chercher à leur en donner

3. Les indicateurs sont ciblés

Les indicateurs ciblent des groupes de sociaux, professionnels ou des structures. A la CARDIE, dans le cadre des expérimentations, nous proposons trois cibles principales : les élèves, les enseignants et les écoles/établissements.

Indicateurs élèves : servent à mesurer l’engagement ou les effets sur les résultats des élèves ou de groupes d’élèves. Exemple : % d’élèves concernés par le projet dont les résultats sont dans les groupes 1 et 2 sur telle évaluation nationale, moyenne au DNB des élèves concernés par le projet, etc.
Indicateurs enseignants : servent à mesurer des effets sur les enseignants ou certains enseignants de l’établissement du projet mis en cours. Exemple nb d’heures consacrées au projet, nb d’heures de formation suivies liées au projet, etc…
Indicateurs établissement : servent à mesurer les effets globaux sur l’établissement. Exemple : taux de poursuite en 1GT ou en CAP des élèves issus du collège, moyenne au Bac des élèves issues des CSP défavorisées, etc

Ils peuvent aussi cibler des échelles de territoire différentes (Réseau, circonscription, département) ou des publics différents (AED, CPE, AESH, etc …)

4. Les indicateurs ont un niveau d’objectivité

Il n’existe pas d’indicateurs purement objectifs, il suffit de faire un peu de docimologie pour savoir qu’une note ou un positionnement n’a rien de totalement objectif. Par contre, il existe des indicateurs plutôt relativement objectifs et d’autres qui cherchent à relever des données sur des éléments clairement subjectifs, par exemple niveau de stress d’élèves avant une évaluation, % d’élèves venant à l’école ou dans l’établissement avec une boule au ventre, ou inversement, avec plaisir. Ces indicateurs subjectifs sont essentiels pour le suivi des éléments de contexte.

5. Les indicateurs doivent être SMART si on veut s’assurer qu’ils permettent bien de vérifier l’atteinte des objectifs

L’acronyme SMART (DORAN 1981) vient du management, il signifie : Spécifique, Mesurable, Atteignable, Réaliste, Temporellement défini.

Spécifique : il doit être relativement ciblé, toutefois, un indicateur permet en général d’apporter des informations sur plusieurs éléments.
Mesurable : le calcul de l’indicateur doit être relativement simple et les données doivent pouvoir être collectées facilement. Mais il faut également se doter des outils de mesure et l’expérience montre qu’il est sage également qu’il y ait une personne responsable de l’indicateur. Cette personne est en charge de collecter les données aux moments définis et de les transmettre au porteur de projet.
Atteignable : lorsque l’on pose un indicateur, on dispose d’une valeur initiale et on définit une valeur cible : celle-ci doit pouvoir être atteinte dans le temps que l’on se donne. Des valeurs intermédiaires peuvent permettre de suivre l’évolution. S’il apparaît en cours de déroulement du projet que la valeur cible est irréaliste, il vaut mieux l’ajuster.
Réaliste : ou Relevant c’est-à-dire « Pertinent » dans certains modèles anglo-saxons. Il s’agit de se donner une valeur cible qui fasse sens par rapport à ce que l’on veut faire évoluer.
Temporellement défini : le relevé de l’indicateur doit se faire à des moments identifiés : valeurs intermédiaires éventuelles datées, valeur finale, voire valeur décalée par exemple pour mesurer les effets d’une action à n+1.

Il est également nécessaire de disposer d’une grille de suivi de ses indicateurs.

Des exemples sont proposés sur le site de la CARDIE. N’hésitez pas à nous envoyer les vôtres qu’on les propose en partage.

Analyser les indicateurs

Où trouver les indicateurs ?

La plupart des indicateurs sont disponibles sur Archipel, et ce à différentes échelles : école établissement circonscription, réseau, département académie, France. Ce sont des essentiellement des indicateurs de résultats et des indicateurs de contexte.

Il est aussi possible de se construire des indicateurs internes à l’établissement, ou à une expérimentation, par exemple le temps que j’ai consacré à cette tâche, ou la mesure sur une échelle de 1 à 10 de ma motivation pour venir travailler le matin. Pour ces derniers il est essentiel de se construire un descriptif de la façon dont est mesuré et relevé l’indicateur de façon à pouvoir le suivre de manière cohérente sur la durée du projet. Il est également nécessaire qu’il y ait un responsable de chacun de ces indicateurs.

La CARDIE vous propose une série d’indicateurs internes que vous pouvez mobiliser, avec le descriptif des modalités de mesure, ainsi que des outils pour les mettre en œuvre.

L’analyse d’indicateurs s’appuie essentiellement sur du croisement d’informations.

Le suivi de cohortes. Exemple pour un collège de l’académie sur les évaluations nationales en 6^ème 2021 et 4^ème 2023.

Le croisement d’indicateurs de types différents permet de donner de chercher des explications à un résultat ou l’évolution d’un résultat. Exemple : je fais des groupes à petits effectifs, mais les résultats des élèves qui sont dans ces groupes n’évoluent pas notablement : est-ce que je me suis donné suffisamment de temps ? Est-ce que les approches pédagogiques mobilisées dans ces temps sont adaptées ? Croiser des indicateurs objectifs avec des indicateurs subjectifs peut également être le moyen de comprendre des freins ou des dynamiques internes à l’établissement ou sur le projet.

Le croisement d’échelles consiste à comparer les résultats de l’école ou de l’établissement avec ceux du territoire dans lequel il s’inscrit : réseau, circonscription, département, académie. Exemple ci-dessous sur le résultat aux évaluations nationales des élèves de 6^ème en français entre un collège (à gauche) et l’ensemble des collèges du département. Cela permet de se faire une idée sur les effets du contexte, ou de définir des politiques territoriales de formation par exemple, ou de voir ce sur quoi il faut tout particulièrement porter l’attention : Ici, les efforts doivent porter sur l’orthographe alors que les autres items ont plutôt l’air de bien fonctionner.

Le croisement d’établissements de nature proche. C’est le principe des boîtes à moustache. Cette approche permet de lisser partiellement l’effet contexte et donc de s’interroger sur les raisons des écarts observés.

Ce travail sur les indicateurs doit se faire en complémentarité d’une approche qui tient compte de la perception des acteurs de terrain, notamment lors de la formalisation du constat et du diagnostic.

Document à venir

Pour résumer

On a besoin d’indicateurs pour piloter tout projet dans un établissement ou une école
Ces indicateurs doivent regarder les résultats, mais aussi les moyens que l’on se donne, le contexte dans lequel le projet évolue et les processus engagés.
Ces indicateurs doivent être simple à relever ou à calculer et faire sens.
Ces indicateurs doivent souvent être croiser pour prendre tout leur sens.

Pour aller plus loin

GALEA S. : Objectifs SMART ; EVAL, Centre de ressources en évaluation ; 2024. Une approche critique de l’approche SMART par le centre de ressources en évaluation qui regroupe des institutions, des opérateurs d’évaluation.
DORAN T. G. : There's a S.M.A.R.T. way to write management's goals and objectives ; Management Review, vol. 70, n^o 11,‎ 1981, p. 35–36. L’article qui pose l’approche SMART même si ces principales composantes sont antérieures.
SAUVAGEOT C. : Des indicateurs pour la planification en éducation, guide pratique ; Bibliothèque numérique de l’UNESCO ; 1997 ; 97 pages https://unesdoc.unesco.org/ark:/48223/pf0000103407_fre. Un article qui expose ce que sont des indicateurs en éducation, leurs fonctions et propose une typologie. Il est possible d’aller piocher des éléments ponctuels.
UNESCO : Indicateurs de qualité et d’apprentissage ; UNESCO, février 2023. Les 4 types d’indicateurs de l’UNESCO avec la vigilance à avoir sur la mesure de l’égalité.