En 1997, dans son discours inaugural de l'assemblée annuelle de l'Association américaine d'évaluation, William Shadish (1) proclame : " Tous les évaluateurs devraient connaître les théories de l'évaluation parce qu'elles sont au centre de notre identité professionnelle. " Cette citation est intéressante à double titre pour les praticiens de la promotion de la santé et de l'éducation pour la santé. D'une part, parce qu'elle suggère de manière générale que l'identité professionnelle se construit sur la théorisation des pratiques. D'autre part, parce que l'évaluation fait partie aussi de leur pratique et donc de leur identité professionnelle.

L'évaluation est donc d'abord une pratique professionnelle. Elle a fait l'objet de nombreuses démarches de conceptualisation, de modélisation, de recherche empirique, avec aussi des débuts d'explication à partir d'apports théoriques de diverses disciplines : sciences politiques et administratives, sociologie, épistémologie, etc. Il s'agit d'un effort de modélisation des pratiques plutôt qu'une théorie générale de l'évaluation. Cet effort permet néanmoins d'identifier et de comparer les pratiques, de conduire à des consensus et des référentiels pour guider les praticiens.

Pour mieux connaître, pour mieux utiliser les modèles de référence en matière d'évaluation dans le champ de l'éducation pour la santé, nous proposons un survol historique de quelques modèles de référence en prenant comme fil conducteur ce qui compose l'identité de la démarche évaluative. " Nous savons très bien, dit W. Shadish (1), que faire une expérience randomisée n'est pas du tout la marque d'un évaluateur. Ce qui nous différencie d'un économiste, d'un sociologue, ou de toute autre profession, c'est la conjonction entre la construction d'un savoir, la production d'un jugement de valeur et l'utilisation de l'évaluation pour prendre des décisions et modifier des actions. "

L'évaluation, un jugement de valeur ?

La littérature s'accorde en effet à identifier trois composantes à une évaluation : un processus qui vise à délimiter et obtenir des informations sur la valeur d'une action ; un produit qui est le jugement de valeur et un usage de ce produit pour modifier l'action par des décisions. L'évaluation de programme est un processus de production d'un jugement de valeur pour conduire une action par des décisions (2, 3).

J.-M. Barbier (4) considère les usages du jugement de valeur (la décision sur l'action) comme l'indice de l'universalité du rôle de l'évaluation dans la conduite de l'action. " On peut penser que l'immense majorité des processus sociaux d'évaluation s'effectue de cette façon et que le repérage des autres formes de manifestation de l'évaluation doit se faire sur le fond de celle-ci. "
Les décisions d'action, plus facilement repérables dans les discours ou les écrits, sont fonction de jugements de valeur produits et d'informations récoltées souvent non explicités et non formalisés. Les décisions les plus fréquentes sont internes au programme, comme des actes de gestion quotidienne, directs, immédiats, ou des décisions " stratégiques " aux effets plus lointains et aux sources plus diverses. Mais l'énonciation et l'externalisation de ces pratiques d'évaluation, parce que quotidiennes et sans " justification sociale ", sont peu fréquentes, ce qui ne les rend pas moins importantes pour la conduite effective de l'action.

Connaître, juger, décider

Il y a donc autour de chacune des composantes de l'évaluation et de leur combinaison des enjeux sociaux qui se reconnaissent par la mise en avant dans le discours d'une fonction particulière attachée à chaque composante : connaître, juger, décider. La connaissance renvoie à ce qui est vrai. Le modèle scientifique sera alors mis en avant. Le jugement renvoie à ce qui est juste. C'est souvent la vérification (devoir rendre compte) qui sera mise en évidence. La décision renvoie à ce qui est opportun. Référence sera faite à la gestion ou à la politique. Chacune de ces fonctions renvoie à des pratiques théorisées qu'il est possible de situer dans le temps.

Avant de parcourir rapidement différents modèles d'évaluation avec comme fil conducteur les trois fonctions identifiées, une remarque s'impose. L'approche historique centrée sur des modèles revient à privilégier une vision de l'évaluation comme un processus professionnalisé. Or, l'évaluateur professionnel est le plus souvent extérieur à l'action décidée et conduite par d'autres acteurs. Sa position le conduit d'emblée à considérer l'évaluation, non pas comme un phénomène continu, mais discontinu. La position des différents acteurs, leur " spécialisation " permet de comprendre l'apparente discontinuité de l'activité évaluative. Cette séparation des fonctions sera d'ailleurs d'autant plus grande que les programmes seront de plus grande ampleur et mobiliseront plus de personnes. Nous proposons de considérer à chaque fois les pratiques d'évaluation en regard de l'unité d'action que constitue le programme plus que par rapport à une unité de temps, de lieu ou de personne.

Années 1960 : l'évaluation se professionnalise

L'évaluation commence à faire l'objet de travaux scientifiques au XIXe siècle puis un tournant intervient dans les années 1930 (voir encadré ci-contre). Au début des années 1960, le lancement de la course vers l'espace à la suite du succès soviétique va provoquer aux États-Unis une remise en cause des programmes éducatifs et une préoccupation vis-à-vis de l'efficacité de l'investissement public. L'évaluation devient un passage obligé de tout programme public. E. Monnier (5) analyse cette institutionnalisation de l'évaluation comme un double phénomène politique : d'une part, la volonté du gouvernement fédéral de contrôler les moyens financiers mis à la disposition des administrations locales et, d'autre part, la nécessité de justifier sa propre activité face au Congrès. L'évaluation devient une pratique systématique, principalement dans les domaines de l'éducation et de la santé. À cette demande croissante répond une véritable industrie de l'évaluation : sociétés privées fournissant des services contractuels, multiplication des journaux, des réseaux professionnels, des formations et des centres d'études.

Les années 1970 voient la multiplication des propositions de " modèles " d'évaluation. M. Scriven définit l'évaluation comme la détermination systématique et objective de la valeur ou du mérite d'un objet ou d'une action. L'évaluation est dite objective car elle utilise des instruments de collecte de données. C'est une activité méthodologique systématique. Deux concepts sont particulièrement attachés au nom de Scriven, celui d'évaluation indépendante des buts (Goal-Free Evaluation) et la distinction entre évaluation formative et sommative.

Ce qui apparaît aussi, c'est le débat très vif entre les positivistes/quantitatifs et les phénoménologistes/qualitatifs. Ce débat, très idéologique au début des années soixante, s'est ensuite transformé pour évoluer vers des positions plus pragmatiques cherchant à combiner les avantages réciproques des méthodes. Cependant, aucun modèle unificateur ne semble pouvoir rallier les différentes positions et approches. Au-delà des débats méthodologiques et épistémologiques, la fonction reconnue comme principale de l'évaluation est le recueil d'informations.

Années 1970 : évaluer pour décider

Bien que le meilleur de la communauté des évaluateurs soit mobilisé avec des moyens financiers importants et toutes les techniques disponibles, les résultats s'avèrent décevants sur l'amélioration du système social, et des voix s'élèvent pour mettre en doute l'efficacité de l'évaluation. L. Cronbach, en 1963, est un des premiers à faire remarquer le manque d'utilité des évaluations construites de manière expérimentale, utilisant des tests normatifs et ne proposant de résultats qu'à la fin des programmes. L. Cronbach conseille de ne plus évaluer les programmes entre eux mais de guider leur développement. Il ouvre ainsi la voie à une série de théoriciens de l'évaluation qui vont mettre en avant l'importance du jugement de valeur et de la décision. Elles conduisent à d'autres modèles et en particulier à une attention accrue à l'évaluation orientée vers les décisions à prendre puis sur les conditions qui font qu'une évaluation est utilisée ou non.

Dans un modèle caractéristique, l'évaluateur délimite son travail avec le décideur puis récolte et fournit les informations. " L'évaluation en éducation est le processus par lequel on délimite, obtient et fournit des informations utiles permettant de choisir parmi les décisions possibles. " D.L. Stufflebeam identifie différentes catégories de décision qui correspondent à différents types d'évaluation. C'est le modèle appelé CIPP (Context, Input, Process, Product), où quatre types d'évaluations (évaluations du contexte, des intrants, du processus et des résultats) sous-tendent quatre types de décisions (décisions de planification, de structuration, de mise en application, de révision).

Années 1980 : évaluer pour changer

Que faire pour produire de bonnes évaluations qui soient utilisées ? Telle est la question que pose M. Patton. Il ne suffit pas de conseils tels que " travailler étroitement avec les décideurs " ou " maintenir une distance pour garantir l'objectivité et la neutralité ". Il faut des principes pragmatiques pour concevoir et mener des évaluations spécifiques.

L'originalité de la démarche de M. Patton tient à son approche empirique. En 1975, il décide d'étudier des exemples positifs d'utilisation. Il décrit vingt évaluations fédérales dans le secteur de la santé mentale, regarde comment elles ont été utilisées, identifie l'impact en termes de résultats, selon que l'évaluation a été prise en compte ou non. Ses travaux vont démentir l'hypothèse de l'absence d'impact significatif de l'évaluation. Il constate que l'évaluation a effectivement peu d'effets directs, immédiats, décisifs sur un programme. En revanche, l'évaluation externe peut jouer un rôle important d'influence, d'orientation, de consolidation si d'autres sources d'information confortent le diagnostic.

De cette étude, Patton va aussi retirer quelques principes pour mener autrement les évaluations et améliorer leur utilisation.

Ses recommandations sont les suivantes :

• identifier les décideurs de manière personnelle et pas comme un public abstrait ;
• identifier et préciser les questions d'évaluation pertinentes ;
• développer une attitude " active/réactive/adaptative " aussi flexible que possible face aux changements dans les buts et priorités politiques d'un programme ;
• ne pas se préoccuper de mesures quantitatives et de schémas expérimentaux mais décrire les variations et les processus d'implantation au moyen de méthodes qualitatives ou " naturalistes " ;
• tenter de construire une théorie de l'action du programme en termes de relation moyens-fins ;
• stimuler la participation des décideurs et praticiens dans les choix méthodologiques afin de les aider à comprendre et à croire dans les données ; les impliquer dans la publication des conclusions.

Un autre modèle est développé à cette époque par le National Institute of Education (NIE). C'est celui d'évaluation " par ceux qui tiennent les enjeux " (Stakeholders). L'approche stakeholders met en avant l'implication des personnes tenant différentes positions dans la structure sociale des programmes, l'attention à leurs intérêts et besoins, une représentation de leurs priorités, un accent sur le feedback et la dissémination.

C.H. Weiss en fait une critique sévère. Pour elle, cette approche peut élargir le type d'information, le rendre plus pertinent. Mais elle ne peut augmenter la qualité des informations (des résultats non valides et non fidèles sont inutiles, même si les participants en sont heureux), ni l'usage dans des décisions spécifiques. Elle augmente la charge des évaluateurs en temps, en ressources et en attention. De plus, le pouvoir de décision n'est pas réparti de manière égale. Pour elle, jouer la participation est une illusion.

On le voit, les écarts entre une approche professionnelle de l'évaluation orientée principalement sur l'information et ceux d'une évaluation participante plus orientée vers la décision et l'amélioration endogène des programmes est considérable. Pourtant, les modèles d'évaluation basés sur la collaboration et la participation entre évaluateurs et acteurs vont se développer au cours des années 1990.

Années 1990 : un modèle adapté à l'éducation pour la santé

En 1996, J.B. Cousins, J.J. Donohue et G.A. Bloom (6), à partir d'une enquête menée aux États-Unis sur les opinions et pratiques d'évaluation basée sur la participation, comparent différents modèles d'évaluation selon le niveau de contrôle de l'évaluateur sur les décisions techniques et le degré de participation des acteurs. Le modèle qui propose le plus de participation des acteurs et le moins de contrôle de l'évaluateur sur les décisions est celui de l'évaluation renforçante (Empowerment Evaluation) proposée, en 1993, par David Fetterman (7). Celui-ci la définit comme " l'utilisation des concepts, des techniques et des découvertes de l'évaluation pour nourrir le développement et l'autodétermination ". L'évaluateur est engagé aux côtés des acteurs. Ces rôles sont de former ; faciliter ; défendre ; éclairer ; libérer. Mais il faut réunir certaines conditions : un processus démocratique, une communauté d'apprenants, du temps. Elle intéresse particulièrement le secteur de la promotion de la santé et de l'éducation pour la santé, qui a fait de l'empowerment proposé par la charte d'Ottawa un principe fondateur de sa démarche. Ce modèle comme d'autres centrés sur la participation a maintenant droit de cité dans la communauté des évaluateurs. En 1996, Santé Canada a fait de l'évaluation participative son modèle de référence pour l'évaluation de projet. En 2004, la conférence de Berlin de la Société européenne d'évaluation proposait des ateliers sur la participation et l'apprentissage des organisations.

Et si tous les modèles étaient utiles ?

Si historiquement les différentes fonctions, connaître, juger et décider, sont apparues de manière distincte et spécialisée, les pratiques actuelles vont vers l'intégration de celles-ci. Dans cette perspective, tous les modèles peuvent nous apporter des leçons en fonction des méthodologies qu'ils ont développées. Mais le modèle social qui sous-tend la mise en place des programmes de promotion de la santé et d'éducation pour la santé est l'élément central qui transcende les techniques et les modèles et qui va orienter le choix éthique pour l'évaluateur comme acteur d'un programme (8).

L'évaluation comme apprentissage de l'action

La sociologie des organisations a fait progresser la compréhension de la gestion des problèmes sociaux. Celle-ci est un processus pluraliste jamais achevé, fait de négociations, de compromis entre protagonistes parfois peu complémentaires ou même franchement opposés. Ce processus progresse par phases " tourbillonnaires " comprenant des ébauches de solution, des actions qui sont reformulées en cours de route et qui demandent une évolution des objectifs et des moyens.

Un programme d'actions est un processus continu qui progresse s'il est soutenu par l'apprentissage de ses acteurs. L'évaluation peut se définir alors comme un processus d'apprentissage de l'action et l'évaluateur un acteur du programme dont le rôle premier est de soutenir ce processus d'apprentissage. Comme dans une situation éducative, l'évaluation et l'évaluateur ne sont utiles que s'ils renforcent cet apprentissage. L'appropriation de l'évaluation par les acteurs est l'élément fondamental de l'utilisation de celle-ci.

E. Monnier (5) le souligne. Le chargé d'évaluation ne peut plus être un évaluateur traditionnel, expert en méthodes et examinateur de la valeur d'un programme. Le chargé d'évaluation devient un maïeuticien, un méthodologue et un médiateur. Il est maïeuticien car il doit clarifier les questions des acteurs. Il doit dévoiler les enjeux sociaux et les valeurs, préciser les critères utilisables. Il doit engager les acteurs dans une démarche d'analyse et de compréhension de la situation. Il est méthodologue parce que son intervention vis-à-vis des acteurs doit être accompagnée, supportée par des informations les plus valides possible. L'évaluateur est souvent un garant de la crédibilité externe d'une action aux yeux de l'autorité publique. Il est, enfin, médiateur car l'évaluateur est engagé dans le processus politique. Il s'engage comme médiateur pour obtenir des compromis sur la définition des objectifs de l'évaluation, sur les informations prioritaires à recueillir. Il doit aussi découvrir et formuler les conclusions, les propositions qui permettent une approbation large et qui sont des compromis aussi pour la poursuite de l'action. L'évaluateur est un acteur. Et cet acteur intervient sur les trois composantes et les trois fonctions de l'évaluation.

Avec l'évaluation comme appui à l'apprentissage de l'action, nous pouvons progresser collectivement. Mais le développement de cette approche de l'évaluation n'est pas une question de choix individuel de l'évaluateur. Cela doit devenir un choix collectif partagé par tous les acteurs qu'ils bénéficient du programme, qu'ils le mènent ou qu'ils le financent. C'est une approche qui fonctionne, qui est reconnue internationalement, nous devons cependant y investir et la développer. Y investir, car l'appui à l'évaluation interne a un coût : le temps des personnes qui s'y engagent et le temps des évaluateurs qui l'accompagnent et la facilitent. La développer car si des initiatives existent, nous pouvons faire plus et mieux. Pourquoi ne pas en faire un enjeu pour le développement des programmes régionaux de santé publique ? Il faut pour cela amplifier l'offre d'appui à l'évaluation par les acteurs en rassemblant les compétences en évaluation participative, négociée et accompagnée, en éducation pour la santé comme dans d'autres champs de l'action sociale.