Les bailleurs, les bénéficiaires, mais aussi le public, nous demandent de plus en plus de prouver l’efficacité de notre action de façon rigoureuse et objective. Au-delà des exigences de redevabilité, de bons indicateurs permettent également d’évaluer la qualité de notre action, et de la corriger si nécessaire. Dans cet article, vous trouverez quelques astuces pour bien définir et utiliser les indicateurs dans la conception et le suivi de vos projets, en évitant les erreurs les plus fréquentes.
Mais d’abord… Qu’est-ce qu’un indicateur?
Un indicateur est un facteur ou une variable, mesurable de façon objective, qui est utilisé pour évaluer de façon fiable les changements obtenus ou les progrès accomplis par un projet dans l’atteinte des résultats et des objectifs.
Les indicateurs doivent répondre aux caractéristiques suivantes :
- Fiables : mesurables de manière constante dans le temps et de la même façon par différents observateurs (on parle aussi parfois d’IOV, Indicateurs Objectivement Vérifiables).
- Précis : ils doivent pouvoir être mesurés de façon claire par des données quantitatives ou qualitatives.
- Opportuns : les indicateurs doivent fournir une mesure des changements dont on peut raisonnablement penser qu’ils sont dus au projet.
- Ils doivent pouvoir être vérifiés à travers des sources variées, comprenant autant que possible des sources externes (données gouvernementales, des Nations Unies, autres sources aussi fiables que possibles…)
A ne pas faire : les erreurs classiques
- Définir trop d’indicateurs : Attention à prendre en compte les ressources nécessaires pour le suivi des indicateurs. Les indicateurs doivent à la fois être suffisants, en nombre et en variété, pour donner une indication des changements intervenus, tout en prenant garde à ne pas se noyer dans le suivi !
- Omettre l’analyse de la situation de départ (baseline) : Les indicateurs définiront une valeur à atteindre, à quoi pourra-t-elle être comparée s’il n’existe pas de données fiables concernant la situation au moment du démarrage du projet ? Si celles-ci ne sont pas disponibles, il faudra planifier également cette récolte initiale de données avant le début de l’intervention. Des normes reconnues seront également utiles à titre de comparaison (par exemple celles du projet Sphere)
- Indicateurs trop vagues et difficiles à mesurer, tels que « l’amélioration du bien-être des communautés ». Comment allons-nous mesurer cette amélioration ? Il conviendra ici de traduire ce concept en éléments mesurables, tels que taux de mortalité, d’alphabétisation, ou d’autres éléments sur lesquels le projet va agir.
- Indicateurs sans relation directe avec les objectifs du programme ou prenant en compte d’autres facteurs externes non abordés par le projet. Par exemple, sera-t-on vraiment capable avec notre seul projet de diminuer le taux de chômage national, ou d’améliorer le cadre légal ?
- Données impossibles à vérifier : Il peut par exemple exister des problèmes de confidentialité, différentes selon les cultures, les données peuvent ne pas être désagrégées selon les besoins de suivi – par genre etc. Il faudra prendre en compte les non-dits et les facteurs culturels, tester les questionnaires pour voir s’il peut exister des confusions, etc. Tout comme les objectifs du projet, les indicateurs devraient dans la mesure du possible être définis en collaboration avec les populations bénéficiaires du projet.
- Inclure un aspect transversal dans le projet sans le refléter dans les indicateurs: Ainsi, si une composante « genre » est mentionnée dans les objectifs du projet, les indicateurs principaux devront être désagrégés par genre.
Comment les mesurer ?
Idéalement les sources devraient être croisées, et il ne faudrait pas s’appuyer uniquement sur des ressources externes, par exemple publiées par le gouvernement, avec le risque que ces données soient manipulées à des fins politiques. De la même manière, il faudra éviter de s’appuyer uniquement sur des données internes, dont l’exactitude pourrait être remise en question. Il faudra donc dans la mesure du possible varier ses sources autant que possible !
Les différents types d’indicateurs
- D’activité, de résultat ou d’impact ? Il existe une tendance naturelle à vouloir définir des indicateurs d’activité. Ainsi, on pourra vouloir mesurer le succès d’un projet de formation professionnelle à travers le nombre de personnes ayant suivi une formation. Mais quelle information nous donne vraiment ce chiffre sur le réel effet du projet? Il faut aller plus loin, et mesurer par exemple le nombre de personnes ayant suivi une formation en apiculture qui créent leur activité (et qui la maintiennent après 6 mois), le nombre de ruches créées, etc. Ainsi, il est la plupart du temps inutile de définir des indicateurs à des niveaux inférieurs à ceux des résultats. Dans certains cas, on pourra même définir des indicateurs d’impact, c’est-à-dire sur les effets à long terme du projet après la fin de sa mise en œuvre.
- Qualitatifs ou quantitatifs ? Même s’il est plus facile de définir des indicateurs quantitatifs, il est important de ne pas s’y limiter. Ainsi, on pourrait mesurer l’atteinte d’un objectif à l’aide d’un indicateur quantitatif de la façon suivante: « à la fin du projet, 100 % des habitants de la communauté disposent d’un point d’eau portable à moins de 150 m de leur foyer ». Cependant, un indicateur qualitatif mesurera de façon plus approfondie le résultat obtenu : « à la fin du projet, 80 % des personnes de la communauté, sur un échantillon minimum de 200 personnes, considèrent que le point d’eau créé répond à leurs besoins en approvisionnement en eau potable. »
Il existe cependant des limites à l’évaluation des projets basée sur les indicateurs…
- Les indicateurs ont tendance à simplifier les relations de cause à effet. Les réels changements sont toujours multifactoriels.
- Les indicateurs posent aussi le problème de l’effet « marketing» à destination des bailleurs : on va toujours vouloir valoriser et maximiser les succès obtenus, en occultant parfois les aspects moins positifs, voire franchement négatifs de notre action. Cet effet ne favorisera donc pas l’analyse des erreurs, pourtant importante pour en tirer un apprentissage et améliorer son action sur le long terme.
- Enfin, l’accent important sur les indicateurs quantitatifs, plus faciles à mesurer, tend à simplifier des questions de société, complexes, pour lesquelles on aura tendance à mesurer que les aspects qui « nous arrangent », sans avoir forcément une vision à plus long terme, au niveau de l’impact.
En résumé, il est important de définir de bons indicateurs, et nous espérons que cet article vous y aidera, mais aussi de ne pas s’y limiter ! Et vous, qu’en pensez-vous ?