marqueur eStat'Perso

 

Evaluation, gouvernance

et procéduralisation de l'expertise

 

Bernard Perret

Intervention au séminaire sur "Les mutations contemporaines de l'art de gouverner" organisé par la Cellule de prospective de la Commission européenne, Bruxelles, 27 mars 1996

Page personnelle de Bernard Perret et autres textes sur l'évaluation

 

1- Remarque introductive

Cette communication n'a pas pour objet de dresser un bilan du fonctionnement du dispositif français d'évaluation des politiques publiques interministérielle, mais de s'appuyer sur cette expérience - et en particulier sur la réflexion méthodologique du Conseil scientifique de l'évaluation - pour mettre en relief certaines des implications les plus prometteuses du concept d'évaluation, dans la ligne des hypothèses sur la procéduralisation de l'action collective mises en avant par les animateurs de ce séminaire. Telle qu'elle est comprise aujourd'hui après des décennies de maturation du concept, l'évaluation est significative d'une nouvelle manière de concevoir la rationalisation de l'action collective, élargissant la vision traditionnelle des rapports entre les sciences sociales et la pratique politico-administrative.

2- L'évolution des idées sur la méthode et les usages sociaux de l'évaluation

L'évaluation de programme est apparue aux États-Unis dès avant la seconde guerre mondiale et a connu un développement important en Amérique du Nord et dans certains pays européens à partir des années 60. A l'origine, l'évaluation était comprise comme une technique de rationalisation de la décision publique fondée presque exclusivement sur l'utilisation de méthodes quantitatives. Cette conception positiviste et instrumentale s'est progressivement révélée théoriquement et pratiquement insuffisante, et, sans être totalement récusée, elle a aujourd'hui largement cédé la place à d'autres conceptions, fort diverses en fait, qui ont en commun de prendre au sérieux la pluralité des modes de connaissance et la pluralité des modes d'interaction entre la connaissance et l'action.

Le paradigme du "traitement" médical

D'un point de vue épistémologique, l'évaluation, et en particulier l'évaluation des programmes sociaux, était conçue à l'origine sur le modèle des protocoles mis en oeuvre pour mesurer l'efficacité des traitements médicaux expérimentaux. Cette conception portait la marque du behaviorisme qui imprègne les sciences sociales aux Etats-unis, particulièrement dans les domaines de la psychologie et de l'éducation(1)). les textes américains relatifs à l'évaluation utilisent d'ailleurs fréquemment le terme de "traitement" (treatment), pour désigner l'ensemble des mesures auxquelles sont effectivement soumises les "cibles" sociales d'une politique.

"Dans les années 1960, l'enjeu central de l'évaluation était d'"étalonner la boite noire" : produire des estimations précises et non biaisées des conséquences causales des programmes et de leurs principaux constituants. La méthode de référence pour y parvenir était l'expérimentation, et les techniques analytiques les plus utilisées étaient les techniques quantitatives" (T.D. Cook, conférence citée)

Le modèle du décideur rationnel

Corrélativement, les promoteurs de l'évaluation voyaient en elle le moyen de soumettre les décisions publiques à la rationalité scientifique :

"Il y a vingt-cinq ans, beaucoup d'évaluateurs pensaient naïvement que leurs résultats allaient être utilisés de manière habituelle comme l'ingrédient principal des décisions politiques. A cette époque, le plaidoyer en faveur de l'expérimentation nourrissait cette illusion, dans la mesure où la logique décisionnelle qui sous-tend l'expérimentation semble confirmer le modèle de l'acteur rationnel. Dans ce modèle, un problème ou un besoin est d'abord clairement défini (dans une expérience, l'analogue est de spécifier des critères de résultat) ; les solutions alternatives pour résoudre un problème sont alors déterminées et instrumentées (les différents traitements sont mis en place) ; les critères de résultat sont alors contrôlés (dans une expérimentation, les données sont recueillies) ; et, enfin, en fonction des données, on décide quelle est la meilleure solution pour résoudre le problème (un test statistique permet de décider quel est le traitement le plus efficace)." (T.D. Cook)

Cette idéologie a culminé avec l'ouvrage de Donald Campbell sur la "société d'expérimentation", utopie vertueuse d'une société dans laquelle la recherche de la vérité par l'expérimentation serait mise au coeur de la régulation socio-politique.

Vers une conception plus complexe de la méthode et des fonctions de l'évaluation

Dès les années 70, on a assisté à une double remise en cause, à la fois épistémologique et politique :

- d'un point de vue épistémologique, on a vu se développer une critique des présupposés positivistes inspirant les protocoles expérimentaux et la modélisation. Dans la plupart des situations sociales réelles, il est très difficile d'établir rigoureusement l'existence, et a fortiori de mesurer l'intensité de liens de causalité. Le réexamen des prétentions à l'objectivité des sciences sociales dans les domaines concernés par l'évaluation ne se limite d'ailleurs pas aux questions de mesure et de causalité : les chercheurs sont aujourd'hui davantage conscients de l'impossibilité d'adopter un point de vue totalement objectif, indépendant de la perception subjective des intéressés, pour décrire et qualifier le résultat d'actions qui ont pour finalité d'affecter les intérêts ou de modifier les conditions de vie de certaines catégories de la population. L'un des points cruciaux est, comme le remarque CHEN, qu'il y a de multiples manières de définir le résultat d'une politique : "Les critères de résultat finalement sélectionnés dans une évaluation ne représentent qu'un sous-ensemble d'un vaste champ de résultats potentiels susceptibles d'être affectés par le programme"(2)

- d'un point de vue politique, les évaluateurs ont été confrontés au constat d'une faible utilisation directe des résultats des évaluations. Constat dérangeant, mais nullement surprenant. Il ne suffit pas qu’une information soit intrinsèquement pertinente au regard d’un problème pour qu’elle soit utilisée, car, comme le note Jean Leca, " des intérêts multiples et changeants introduisent sans préavis de nouveaux standards d’action : de ceux-ci le " dédideur politique " a une connaissance bien meilleure et plus performante que les spécialistes de la connaissance"(3). En face de ces intérêts pratiques (le poids politique d’un lobby, l’impossibilité pratique de procéder immédiatement à une réforme) ou idéologiques, le souci abstrait de la vérité pèse d’autant moins que les décideurs ne peuvent consacrer beaucoup de temps à s’informer : " Dans un monde ou l’attention est une ressource majeure des plus rare, l’information peut être un luxe coûteux car elle peut détourner notre attention de ce qui est important vers ce qui ne l’est pas. Nous ne pouvons nous permettre de traiter une information simplement parce qu’elle est là"(4) .

Cette crise s'est soldée par les évolutions suivantes :

a) une revalorisation des méthodes "qualitatives", fondées sur l'utilisation d'un matériau verbal ou textuel, sur l'observation "naturaliste" de la réalité sociale (monographies, ethnosociologie), ou sur le développement des techniques de travail en groupe (groupe d'experts ou d'acteurs). Méthodes dont on s'est aperçu qu'elle étaient susceptibles de fournir une information souvent plus directement utile pour l'action que les méthodes quantitatives :

"Les méthodes qualitatives sont très utiles pour expliciter la théorie qui sous-tend un programme ; pour comprendre le contexte dans lequel le programme opère ; pour décrire ce qui est réellement mis en oeuvre dans le programme ; pour évaluer la cohérence entre la théorie du programme et ce qui est effectivement mis en oeuvre ; pour aider à comprendre les processus qui ont permis la réalisation des effets du programme ; pour identifier quelques-unes des conséquences non souhaitées du programme ; pour apprendre comment faire en sorte que les résultats du programme soient utilisés ; ou pour synthétiser les leçons apprises au sujet d'un programme ou d'un ensemble de programmes comparables".

Voire même "répondre aux questions concernant les relations causales et leur généralisation qui sont le domaine de prédilection des méthodes quantitatives"(Cook). Pour autant, il n'est pas question de nier le pouvoir d'objectivation des données chiffrées, qui, entre autres mérites, se prêtent mieux à la comparaison (dans le temps et dans l'espace), et à l'agrégation (globalisation de constats partiels). Il est aujourd'hui largement admis que l'évaluation repose sur l'utilisation conjointe des deux types d'informations.

Plus qualitative, l'évaluation est également devenue plus participative, dans la mesure ou la coopération des différents protagonistes de la politique évaluée, et en particulier des acteurs de terrain, est une condition de la mobilisation des connaissance concrètes qu'ils détiennent.

b) Une conception plus complexe de l'impact social de l'évaluation s'est progressivement imposée. Sans renoncer à l'utilisation instrumentale de l'évaluation, on s'est aperçu que son intérêt principal, dans la pratique, était de permettre un "éclaircissement" (enlightenment) du contexte de la décision. Et l'on a par ailleurs commencé à s'aviser du fait que les décideurs ne sont pas les seuls utilisateurs de l'évaluation : la connaissance sur les conditions de mise en oeuvre et les résultats d'une action publique est une ressource utile à l'ensemble des acteurs. D'où l'accent mis sur la dimension "formative" de l'évaluation (l'évaluation comme processus d'apprentissage et de mobilisation), et, plus récemment, sur le fait que l'évaluation peut servir à renforcer l'autonomie et la capacité d'action d'un groupe humain (l'empowerment evaluation selon D. Fetterman).

3. La "doctrine" du Conseil scientifique de l’évaluation : de la "méthode outil" à la "méthode processus"(5)

Une conception pluraliste des finalités de l'évaluation

Cette coexistence de finalités et de références méthodologiques de plus en plus diversifiées se traduit par d'inévitables et complexes querelles théoriques. Dans ses rapports annuels sur l'évolution des pratiques d'évaluation, le Conseil scientifique de l'évaluation a pour sa part toujours récusé les oppositions tranchées entre l'évaluation "managériale" et l'évaluation "démocratique". Le développement de l'évaluation répond à un ensemble de problèmes étroitement imbriqués : difficultés budgétaires, crise de légitimité de l'action publique, complexité des politiques et interpénétration des niveaux de gouvernement, dysfonctionnements dans les services publics, etc. On peut imputer à l'évaluation une pluralité de finalités, qui peuvent avoir une importance différente suivant les cas mais qui ne sont nullement incompatibles :

"a) une finalité "déontologique" : rendre des comptes aux responsables politiques et aux citoyens sur la manière dont une politique a été mise en oeuvre et sur les résultats qu'elle a obtenues. Cette dimension recouvre donc à la fois l'amélioration de l'"imputabilité" des systèmes d'action publique (notion correspondant au terme anglais ‘accountability’, au sens de capacité à rendre des comptes sur son action à une autorité de niveau supérieur ou à un public démocratique), la finalité informative et la finalité "démocratique" de l'évaluation.

b) une finalité d'apprentissage : contribuer à la formation et à la mobilisation des agents publics et de leurs partenaires en les aidant à comprendre les processus auxquels ils participent et à s'en approprier les objectifs.

c) une finalité gestionnaire : répartir plus rationnellement les ressources humaines et financières entre différentes actions, améliorer la gestion des services chargés de les mettre en oeuvre.

d) une finalité décisionnelle : préparer des décisions concernant la poursuite, l'arrêt ou la refonte d'une politique." (Petit guide de l'évaluation)

On devrait ajouter que, dans le contexte actuel de l'action collective, l'une des principales fonctions assurée par l'évaluation est de catalyser la coopération entre des acteurs publics autonomes engagés dans une même action (on a pu dire qu'elle était le "langage du partenariat").

Mobiliser toutes les informations pertinentes et tous les apports disciplinaires

De la même manière, le Conseil scientifique a insisté sur le caractère pluridisciplinaire de l'évaluation, et sur la complémentarité des méthodes quantitatives et qualitatives. La prise en compte du critère d'utilité impose la mobilisation de toutes les ressources cognitives pertinentes, sans tenir compte des clivages disciplinaires : "contrairement à une recherche scientifique menée dans un cadre disciplinaire déterminé, qui privilégie un nombre limité de raisonnements, l'évaluation cherche à utiliser toutes les "heuristiques", et à s'adapter aux conditions réelles de la délibération et de la prise de décision. Comme toute discussion ou réflexion menée à des fins pratiques, l'évaluation n'exclut a priori aucun élément d'information concernant son objet, quelle que soit sa nature (quantitative ou qualitative) et son origine, dès lors qu'il semble pertinent" (Idem).

Concrètement, cela signifie que l'évaluation s'appuie sur une grande variété de sources d'information, soit en exploitant des données ou documents existant (études antérieures, données administratives, textes à caractère juridique, coupures de presse), soit en faisant réaliser des enquêtes ou investigations ad-hoc permettant de recueillir de nouvelles données (enquêtes statistiques par questionnaire, suivi d'un panel de bénéficiaires d'une mesure, entretiens approfondis, monographies, audition, groupes d'acteurs ou d'experts).

De nouveaux enjeux méthodologiques

Cette complexification du concept d'évaluation s'est traduite par l'émergence de nouveaux enjeux méthodologiques. A l'origine, les questions de méthode posées par l'évaluation n'avaient aucune spécificité par rapport à celles habituellement rencontrées dans les opérations de collecte, de traitement et d'interprétation des informations dans les divers domaines des sciences sociales (neutralité de l'observateur, conditions de validité des protocoles expérimentaux, problèmes de modélisation et d'inférence statistique).

Dès lors que l'on prend en compte la diversité des modes d'inscription de la connaissance dans le fonctionnement des systèmes d'action et de décision, les principes méthodologiques et déontologiques applicables au "management" politique et organisationnel de l'évaluation prennent davantage d'importance. En plus de la "boite à outil" des sciences sociales, l'évaluation doit donc se constituer son propre corpus de principes méthodologiques, fondés sur des considérations à la fois épistémologiques et socio-organisationnelles, voire politiques. On ne renonce pas, bien entendu, à l'idéal d'une connaissance fiable et objective de la réalité sociale, mais cela ne suffit plus à définir les buts et les exigences de l'évaluation. Pratiquement, la méthode répond à plusieurs défis :

- Tout d'abord, le pluralisme des méthodes demande à être organisé. Il ne suffit pas de juxtaposer des informations de nature différente pour aboutir à des conclusions claires : le risque existe au contraire de sombrer dans la confusion. Les conditions de confrontation et d'intégration de données et raisonnements hétérogènes constitue donc un nouveau champ d'élaboration méthodologique.

- L'approfondissement de la réflexion sur l'usage social de l'évaluation a fait émerger la question des conditions d'appropriation des résultats : il ne suffit pas qu'une information soit exacte d'un point de vue scientifique pour être considérée comme crédible, pertinente et utile par ses destinataires. Pratiquement, cela conduit à accorder une grande importance i) à la recherche d'un consensus (ou plus exactement à l'élaboration d'un point de vue politiquement et socialement légitime) sur la définition de l'objet et la formulation des questions auxquelles l'évaluation devra répondre, ii) à la crédibilité des informations utilisées et, iii) à la légitimité des interprétations et jugements de valeur qui fondent les conclusions, recommandations et propositions.

La résolution de ces problèmes ne relève pas d'une expertise technique référencée : elle implique une construction méthodologique spécifique à chaque opération d'évaluation et met en jeu de manière cruciale la qualité et la productivité des rapports qui s'établissent entre les différents protagonistes. Tout au plus peut-on s'accorder sur la liste et l'ordre des questions qui doivent être traitées au cours d'un travail préparatoire au lancement des travaux d'étude (cf. Annexe, les phases de l'élaboration d'un projet).

L'institutionnalisation, une alternative à l'auto-régulation d'un milieu professionnel ?

L'une des difficultés de formuler de manière univoque les principes régulateurs de la "méthode-processus", provient de la diversité des situations sociales dans lesquelles s'inscrit l'évaluation. Qui plus est, le degré d'institutionnalisation des procédures d'évaluation intervient ici comme une variable cruciale. Schématiquement, on peut opposer une tendance Nord-américaine à faire de l'évaluateur professionnel le garant d'une déontologie spécifique à l'évaluation, et une tendance plus européenne à l'institutionnalisation des procédures. Dans le contexte américain, l'évolution du concept d'évaluation a été interprétée dans le registre disciplinaire et professionnel : l'évaluateur se considère de plus en plus comme un méthodologue, un "faciliteur", voire comme un "maïeuticien" ou un analyste (l'évaluateur de la "quatrième génération" selon Guba et Lincoln). C'est en ce sens qu'il faut comprendre la remarque de T.D. Cook, selon lequel "l'intérêt pour les questions de méthode constitue une source d'unité potentielle pour un milieu professionnel qui travaille dans des domaines d'application divers, et qui a été formé dans différentes disciplines".

Particulièrement significatif, le fait que les manuels destinés aux évaluateurs abordent explicitement les questions déontologiques : "A cause de la nature politique du processus évaluatif et du climat politique dans lequel il est conduit et utilisé, il est impératif que vous, en tant qu'évaluateur, examiniez les circonstances de chaque situation évaluative et décidiez si vous pouvez vous conformer aux attentes politiques sans violer votre propre éthique"(6). De même, la définition de critères de qualité propres à l'évaluation est comprise comme un enjeu interne à la profession d'évaluateur.

Dans le contexte européen, le développement de l'évaluation a souvent un caractère plus institutionnel. On parle plus volontiers d'évaluation des "politiques publiques" (et pas seulement des programmes), et les initiatives des pouvoirs publics jouent un rôle décisif dans l'émergence d'un champ de pratiques évaluatives distinctes à la fois du contrôle et des autres pratiques d'étude et de recherche. La dualité entre la "recherche évaluative" (evaluation research), et l'évaluation institutionnelle intégrée au fonctionnement des systèmes politico-administratifs y est plus marquée qu'aux Etats-Unis. Lors de la récente conférence mondiale de l'évaluation à Vancouver, il fut d'ailleurs observé que les chercheurs européens étaient plus attentifs à l'influence du contexte politique sur le processus et les utilisations de l'évaluation que leurs collègues américains. Le cas français, avec le rôle de référent institutionnalisé imparti au le Conseil scientifique de l'évaluation, est typique de cette approche.

Le Conseil scientifique, garant institutionnel de l'autonomie du processus et de l'adéquation des méthodes aux finalités sociales de l'évaluation

On rappelle en annexe le fonctionnement de la procédure interministérielle d'évaluation instituée en 1990, dans laquelle s'inscrivent les interventions du Conseil scientifique (7).

De par la logique de ses attributions, le Conseil a considéré que son rôle était d'être le garant, tout à la fois, de l'utilité politique de l'évaluation, de sa rigueur scientifique et de sa déontologie. Selon l'expression de Jean Leca (Président du CSE), l'évaluation d'une politique est dans cette politique (elle constitue, en quelque sorte, une extension, un élargissement du système d'action qu'institue cette politique), ce qui ne veut pas dire qu'elle doive être instrumentalisée, manipulée par le politique. Le paradoxe de l'évaluation, c'est qu'elle n'est une ressource utile pour le politique que si celui-ci accepte qu'elle lui échappe en partie pour acquérir une crédibilité propre. La notion de "zone d'autonomie de l'évaluation" (8) est particulièrement importante : elle veut dire que, en acceptant de jouer le jeu de l'évaluation, les responsables politiques (et le cas échéant les autres acteurs impliqués dans la décision d'évaluer), prennent le risque de mettre leurs savoirs pratiques, leurs conceptions idéologiques et leurs "théories d'action" à l'épreuve, dans un processus collectif dont ils sont partie prenante mais qu'ils ne maîtrisent pas totalement. En d'autres termes, il leur faut payer le prix de l'information crédible et des références partagées que vise à constituer l'évaluation. Pratiquement, cette idée de "zone d'autonomie" se concrétise par l'élaboration négociée d'un projet d'évaluation qui formalise l'accord des protagonistes de l'évaluation sur une problématique, un questionnement et une stratégie cognitive, et par la constitution, pour chaque évaluation, d'une instance d'évaluation, comité de pilotage aux fonctions élargies et formalisées (cf annexe).

Les deux avis rendus par le CSE (cf annexe) ont pour objet de veiller au respect de cette conception de l'évaluation.

a) au stade du premier avis (qualité du projet d'évaluation), il s'agit :

- d'inciter les "porteurs" politiques de l'évaluation à expliciter leurs préoccupations, leur "diagnostic préalable" sur la politique à évaluer et ce qu'ils attendent de l'évaluation.

- de les aider à traduire cette problématique générale en questions qui fassent sens pour les sciences sociales.

- d'orienter l'instance d'évaluation vers le choix de méthodes réalistes et adaptées à ces questions, avec le souci de produire une argumentation crédible pour les lecteurs du rapport d'évaluation (c'est à dire, en pratique, reposant sur plusieurs mécanismes de conviction complémentaires : arguments descriptifs, arguments logiques ou théoriques, arguments d'opinion).

- de veiller à ce que la composition de l'instance d'évaluation reflète les principaux points de vue pertinents, permette un pilotage efficace du programme d'études, et ne produise pas de dysfonctionnements susceptibles de bloquer le processus (ce qui, en pratique, n'est pas le plus simple).

b) Le second avis, portant sur la qualité du rapport d'évaluation, a pour double finalité de :

- valider les résultats de l'évaluation. Il n'est pas question pour le Conseil scientifique de se prononcer sur les conclusions de l'évaluation, et encore moins sur l'opportunité des recommandations faites par l'instance d'évaluation, mais seulement "d'apprécier, d'une part, le degré de cohérence entre le rapport d'évaluation et les différentes études réalisées à cette fin, et, d'autre part, le lien logique entre les recommandations et l'ensemble des constats et analyses du rapport. Il s'agit avant tout de fournir aux décideurs une garantie extérieure sur la valeur scientifique des arguments mis en avant par l'instance." (extrait du "Petit guide de l'évaluation").

- tirer des enseignements méthodologiques applicables à d'autres évaluations.

Ces avis s'appuient sur un ensemble de critères de qualité, proches de ceux qui sont suggérés par CHEN dans son livre Theory Driven Evaluation (Utilité-pertinence, fiabilité, objectivité, possibilité de généraliser les résultats, transparence).

Au titre de la "transparence" des évaluations, le Conseil scientifique accorde une grande importance à la rigueur formelle de l'argumentation développée dans les rapports d'évaluation :

"un rapport d'évaluation devrait se caractériser par un effort important pour articuler rigoureusement les jugements et les faits : il s'agit, idéalement, de référer toutes les assertions normatives à des raisonnements explicites, eux même appuyés sur des observations dûment documentées".

"Le rapport d'évaluation comprend des parties méthodologiques, des descriptions, des rappels de conclusions de travaux anciens, des analyses appuyées sur des informations nouvelles, et enfin des interprétations élaborées par l'instance d'évaluation. Ces différents types de texte doivent être, autant que faire se peut, distingués. En particulier, les imputations de causalité (telle action publique produit tel effet propre) et les jugements normatifs doivent être clairement identifiés comme tels et argumentés en référence aux études réalisées dans le cadre de l'évaluation. Le défaut le plus couramment constaté à cet égard est l'insertion de jugements de valeur non argumentés dans le cours d'un développement descriptif" (Petit guide de l'évaluation).

Cette exigence de rigueur formelle vise à prémunir le lecteur d'un rapport d'évaluation contre toute interprétation abusive de ses conclusions, en attirant son attention sur les impasses et les incertitudes qui en limitent la portée. Elle tente également de faire droit à un souci pédagogique, voire rhétorique : le rapport d'évaluation doit être un outil de communication conciliant rigueur, lisibilité et capacité de conviction.

4. Evaluation et rationalité procédurale : une double mise en question des rationalités de l'action et de la connaissance sociale

Bien que le Conseil scientifique n'ait jamais conceptualisé sa doctrine en ces termes, on peut la qualifier de "procédurale", dans la mesure où elle tente d'organiser et de systématiser sous forme de procédures, les processus complexes d'ajustement réciproque entre le travail des chercheurs en sciences sociales et les savoirs pratiques des acteurs et des décideurs.

Dans une conception traditionnelle, il y a totale dichotomie entre la rationalité scientifique et la rationalité propre au fonctionnement des systèmes d'action collective : la constitution d'un savoir scientifique sur la réalité sociale et l'action instrumentale au sein des systèmes sociaux relèvent de pratiques essentiellement différentes, sans interaction possible. L'évaluation, au contraire, dans la mesure où elle tente d'organiser l'interaction entre ces deux logiques, est confrontée à leur paradoxale proximité : chercheurs et acteurs ont en commun de devoir en permanence se livrer à des opérations plus ou moins arbitraires de qualification du réel, de jugement, de construction de représentations, de généralisation, etc. Toute activité scientifique peut être regardée comme une activité normative, et toute activité sociale complexe comme une activité qui comporte des aspects théoriques. Il en résulte une double déconstruction des rationalités de l'action publique et de la connaissance sociale.

Un dévoilement critique des conceptions théoriques et des référentiels normatifs qui fondent les politiques publiques

Toute politique ou action publique repose sur une "théorie d'action", ensemble de représentations et d'idées (souvent implicites) qui inspirent ses concepteurs et/ou ses acteurs quant à ses mécanismes d'action et relations de cause à effet entre les mesures prises et leur impact social attendu. L'un des intérêts de l'évaluation est qu'elle nécessite l'objectivation de cette théorie (dans la mesure ou elle amène à formaliser des objectifs et à se référer à une représentation a priori des mécanismes d'action) et qu'elle permet donc sa mise à l'épreuve. L'un des leitmotifs des rapports d'évaluation est que les théories d'action des décideurs centraux sont excessivement simplistes et qu'elles demandent à être affinées et reformulées à la lumière des processus sociaux réels. Outre le fait qu'elles sont presque toujours contradictoires (les responsables politiques n'ont pas intérêt à afficher des choix trop clairs entre différents objectifs), les théories d'action ignorent assez généralement la capacité des différents protagonistes du "système d'action" de surimposer leur propre rationalité à celle qui découle des objectifs "officiels" d'une politique. Bien conduite, l'évaluation amène les responsables politiques et administratifs à une vision plus réaliste de la "co-production" des politiques publiques, et à porter une attention plus soutenue aux conditions de leur mise en oeuvre (parmi lesquelles, au premier chef, l'information et la formation des acteurs). En d'autres termes, l'évaluation instruit le procès d'une conception "balistique" de l'effet des décisions publiques sur la société, et souligne

la tentation permanente pour l'acteur central de sous estimer l'autonomie des autres acteurs et les divers effets non voulus de son intervention sur la société.

Il faut noter que cette déconstruction n'a pas pour objet de délégitimer la rationalité des acteurs, et encore moins de lui substituer une rationalité substantielle globalisante, du type rationalité économique, susceptible de relativiser les objectifs particuliers des différentes politiques publiques. Contrairement à l'économie publique, qui tente de traduire en terme monétaire la valeur des actions publiques (ce qu'implique l'expression britannique value for money), par exemple en simulant l'existence d'un marché dans des domaines où il ne joue normalement aucun rôle (9) , l'évaluation des politiques publique prend implicitement le parti de l'hétérogénéité et de l'indétermination de cette valeur. Le référentiel auquel confronter les résultats observés de la politique reste construit à partir des objectifs qui lui ont été démocratiquement fixés, même si ceux-ci demandent presque toujours à être interprétés et actualisés en fonction des priorités de l'heure. Ces résultats doivent certes être confrontés au coût de la politique, mais aucune conséquence contraignante ne peut être automatiquement déduite de cette confrontation. La question de la valeur se déplace alors de la mesure au jugement de valeur : elle n'a en général pas de réponse univoque, mais on peut lui en donner une en référence à un contexte social et politique donné, dans lequel des acteurs légitimes ont fait valoir des intérêts, exprimé des préférences et des finalités concernant les coûts et les effets de cette politique. Le jugement évaluatif ne doit cependant pas être confondu avec un jugement politique, lequel appartient aux électeurs : il constitue en quelque sorte un niveau sui generis de construction sociale de la valeur d'une action publique, qui s'appuie sur la science comme sur une réserve de sens commun.

Une conception procédurale de la régulation du travail scientifique

De son côté, toute connaissance sociale qui se veut utile à l'action peut être suspectée de reposer sur des choix et des conventions arbitraires, nécessaires pour formuler des problématiques, construire des objets de recherche, bâtir des systèmes d'information et qualifier des observations. La structuration académique des différentes disciplines scientifiques exerce une régulation de fait sur cette activité normative des chercheurs en instituant des modes de questionnement scientifiquement légitimes. Mais cette forme de régulation de l'activité scientifique a l'inconvénient de rendre difficile l'interdisciplinarité (que l'on pense à la difficulté de faire dialoguer les approches économiques, sociologiques, historiques et anthropologiques du problème de l'emploi). Quoi qu'il en soit, l'évaluation pourrait théoriquement avoir pour effet de substituer à ce mode de régulation disciplinaire une régulation institutionnelle de la constitution des objets de recherche, offrant, peut-être, de meilleures chances à l'approche pluridisciplinaire de certains problèmes complexes : "Dans le contexte de l'évaluation, la position des chercheurs n'est pas identique à celle qui est la leur dans les conditions habituelles de la recherche. Il est important qu'ils puissent trouver un juste équilibre entre les grilles d'interprétation propres à leur discipline et les interprétations les plus à même d'être discutées par l'instance d'évaluation dans le cadre de sa propre problématique" (Petit guide de l'évaluation).

Corrélativement, l'évaluation déplace et enrichit la problématique de la validation de la connaissance. L'effort de rigueur ne peut avoir pour ambition de produire une vérité unique sur la réalité sociale, mais "seulement" une représentation légitime, crédible et utile de cette réalité. Particulièrement significative à cet égard est la conception "constructiviste" de l'objectivité développée dans certains textes du CSE :

"Dans le contexte de l'expérimentation, le terme de protocole renvoie à l'ambition de construire une "expérience sociale" analogue à une expérience scientifique, c'est à dire en se donnant les moyens de contrôler rigoureusement l'influence des facteurs exogènes sur les effets de la politique ou du programme évalué. En transposant le concept, on peut parler de protocole dans le sens plus général d'organisation des conditions de production et d'interprétation des informations concourant au jugement évaluatif. Comme dans le cas du protocole expérimental, il s'agit de contrôler les conditions de validité de la connaissance. L'objectivité dont il s'agit est différente de l'objectivité scientifique : on pourrait la définir comme l'adéquation aux exigences de constitution d'une conviction commune dans un contexte social donné. Le pluralisme des opinions et des compétences mises en jeu dans le travail de synthèse et d'interprétation des informations est une condition essentielle de la construction de l'objectivité au sens qui lui est donné ici"(10).

Le risque existe toutefois de dissoudre l'exigence de rigueur scientifique dans la recherche d'un consensus entre les acteurs pertinents. C'est pourquoi la citation précédente doit être complétée et nuancée par cette autre définition de l'objectivité :

"l'objectivité s'entend comme le fait que les résultats de l'évaluation n'ont pas été influencés par les préférences personnelles ou les positions institutionnelles des responsables de l'évaluation (chargés d'étude ou membres de l'instance), ou du moins que ces préférences ont été suffisamment explicitées ou contrôlées pour que l'on puisse supposer qu'une autre évaluation répondant aux mêmes questions et utilisant les mêmes méthodes conduirait aux mêmes conclusions". (Petit guide de l’évaluation).

En d'autres termes, le Conseil établit une distinction (théorique ?) entre, d'une part, le pluralisme souhaitable des opinions et des compétences, et, d'autre part, l'influence des intérêts personnels et institutionnels, qui doit être soigneusement "contrôlée". En pratique, le Conseil a fréquemment mis en garde les instances d'évaluation contre leur tendance naturelle à se transformer en lieux de négociations entre intérêts constitués. La confrontation des interprétations ne doit pas être instrumentée à des fins stratégiques, mais, au contraire, doublement régulée par les valeurs communes aux différents "porteurs d'enjeu" d'une politique, et par les "standards" de validité propres aux différentes disciplines scientifiques utilisées. La surveillance exercée par le Conseil a pour but de vérifier que la rédaction du rapport de synthèse respecte cette déontologie dans le traitement des conflits d'interprétation, et que l'éclectisme méthodologique propre à l'évaluation ne débouche pas sur la confusion des registres argumentaires : "contrairement à une discussion ordinaire, menée sans méthode formelle, l'évaluation s'efforce de ne pas mélanger les différents types d'arguments, mais de les hiérarchiser, de les pondérer, et de relier chacun à des conclusions spécifiques" (Petit guide de l'évaluation). La réflexion du Conseil débouche sur une conception relativiste et pluraliste, mais différenciée et hiérarchisée des formes de l'objectivité.

5. Remarques finales

La conception que l'on vient de développer est-elle au moins partiellement validée par l'analyse des pratiques évaluatives ? Comme on l'a dit en introduction, cette mise en perspective, délibérément théorique et prospective, ne tient pas lieu de bilan critique du fonctionnement du dispositif institutionnel crée en 1990. L'expérience s'est d'ailleurs heurtée à des difficultés de divers ordre que l'on analysera pas ici, et elle est restée, sinon marginale, du moins trop limitée pour que l'on puisse tirer des conclusions définitive de ses résultats. Le constat est d'ailleurs différent selon que l'on s'intéresse à la qualité des rapports d'évaluation ou à leur retombées effectives. La faiblesse apparente de ces dernières (limitées, selon les cas, à quelques mesures techniques ou à une clarification/reformulation partielle des termes du problème et des objectifs de la politique évaluée), ne devrait pas conduire à sous-estimer l'intérêt et l'utilité potentielle des conclusions pratiques que l'on aurait pu tirer des rapports d'évaluation. Sans approfondir ce point, on se rabattra, à titre d'hypothèse provisoire, un jugement en demi-teinte : l'évaluation a échoué en tant que technique de rénovation du travail gouvernemental, mais elle a fait la preuve de sa capacité à redonner du sens à l'activité des fonctionnaires. On se rallie donc ici au diagnostic de deux chercheurs qui ont analysé le déroulement et les effets sociaux produits par les premières évaluations interministérielles :

"L'expérience montre une grande distance entre les attentes, différentes selon les origines, politique ou administrative, les moyens mobilisés, et les usages qui sont faits des résultats des évaluations. Si, en théorie, l'évaluation des politiques publiques est un outil d'intelligibilité démocratique des effets de l'action publique, le consensus apparent sur cette fonction cache mal une divergence (ou un malentendu) sur les limites de sa fonction. Force est de constater que d'un côté l'acteur politique n'y voit pas une solution à ses problèmes, tandis que de l'autre, l'acteur administratif y pressent confusément une voie de renouveau."

"l'apport de l'évaluation est plus sensible et plus profond au niveau administratif : comme moyen d'éclaircissement des problèmes, comme reflet élargi d'une action publique atomisée, comme lieu de confrontation des rationalités isolées, voire comme moyen d'amorcer une coopération toujours réclamée et rarement rencontrée. On peut affirmer que chez la plupart des administratifs impliqués domine une impression vivace d'apprentissage et celle d'une évolution rarement irréversible (11)".

En revanche, le manque d'implication des acteurs politiques (malgré le nombre de déclarations officielles favorables au développement de l'évaluation), ne permet pas à celle-ci de jouer pleinement son rôle dans la redéfinition des politiques publiques au niveau gouvernemental: "l'évaluation n'est pas actuellement un facteur de reconstruction des politique publique, c'est à dire d'une nouvelle inscription du problème sur l'agenda politique. A l'heure actuelle, d'autres formes d'inscription sur l'agenda et d'élaboration des politiques publiques représentent la règle observée : demandes sociales, groupes d'intérêt et de pression, crises, etc" (idem)

Pour que l'évaluation constitue un levier de réforme des modes de gouvernement, il semble nécessaire qu'elle devienne une pièce dans le jeu des pouvoirs, c'est à dire que le Parlement en fasse un moyen d'éclairage du débat démocratique et un instrument habituel d'aide à l'élaboration des lois. Les hommes politiques s'impliqueront dans l'évaluation quand elle sera devenue l'enjeu d'un rapport de force entre le législatif et l'exécutif, ou, autre hypothèse, un terrain de valorisation et de mise à l'épreuve de leur action (il va de soi que la manière dont les médias utilisent les résultats d'évaluation peut jouer un rôle dans cette évolution). Force est de constater que, dans l'état actuel des choses, l'acteur politique n'est pas mûr pour jouer le jeu d'une pratique qui semble restreindre sa liberté d'agir "politiquement", c'est à dire en se fondant sur les mécanismes traditionnels d'agrégation de la demande sociale, d'expression des valeurs et de représentation des intérêts. Moyennant quoi il préférera presque toujours rabattre l'évaluation sur l'expertise ou sur des formes déguisées de contrôle. Il reste à espérer que l'abstention probable du politique n'empêchera pas les acteurs administratifs de s'emparer de l'évaluation.

La liste des politiques évaluées (cf. Annexe) est révélatrice de la manière dont l'évaluation a été tenue en lisière de la grande politique et, en même temps, perçue comme un instrument permettant de nouvelles formes de régulation politico-administrative. Il s'agit de politiques complexes impliquant une pluralité d'acteurs et poursuivant simultanément un grand nombre d'objectifs, voire des évaluations "thématiques" examinant un ensemble d'actions publiques hétérogènes concernant un même problème (lutte contre la grande pauvreté, protection des zones humides). Dans une pure logique d'aide à la décision, il aurait été plus efficace de développer en priorité l'évaluation de programme au sein de chaque département ministériel, ou, dans une hypothèse plus ambitieuse, de réaliser des évaluations directement liées à des enjeux politiques immédiats et importants (immigration, politique monétaire). Pour considérer l'aspect positif des choses, l'évaluation semble avoir été utilisée comme un moyen pour éclairer des questions complexes, mais relativement dépassionnées, et contourner les blocages du travail interministériel. Ce constat est à rapprocher du fait que l'évaluation se développe rapidement au niveau régional dans le cadre de politiques partenariales impliquant plusieurs niveaux de décision publique (Contrats de Plan État-Région, programmes européens) : cette manière d'utiliser l'évaluation n'est sans doute pas la moins prometteuse, compte tenu de la complexité croissante des systèmes d'action publique.

 

 

ANNEXE

Éléments sur le dispostif français d'évaluation

des politiques publiques

On présente successivement le dispositif de 1990 (auquel fait directement référence le présent texte), et le nouveau dispositif crée par le décret du 18 novembre 1998.

A- Les dispositions du décret du 22 janvier 1990

La création d'un dispositif interministériel d'évaluation des politiques publiques a constitué l'un des volets de la politique de "Renouveau du service public" initiée par le gouvernement Rocard à la fin des années 80, dont les principales orientations étaient "une politique de relations du travail rénovées ; une politique de développement des responsabilités ; un devoir d'évaluation des politiques publiques ; une politique d'accueil et de service à l'égard des usagers". Le décret du 22 janvier 1990 crée un Comité Interministériel de l'Evaluation (CIME) chargé, aux termes du décret, de "coordonner les initiatives gouvernementales en matière d'évaluation des politiques publiques". A ce titre, il a notamment pour prérogative de choisir les projets d'évaluation qui pourront bénéficier du Fonds National de Développement de l'Evaluation (FNDE) créé également par le décret. Une fois connu le résultat des évaluations, il délibère des suites qu'il convient de leur donner. Un Conseil Scientifique de l'Evaluation (CSE) est également crée. Composé de 11 membres nommés pour six ans (non renouvelables) par le Président de la République, sur la base de leur compétence en matière d'évaluation ou dans le domaine des sciences économiques, sociales ou administratives.

Le CSE se voit confier la mission de "favoriser le développement des méthodes d'évaluation et définir une déontologie en la matière". De manière plus spécifique, il est chargé de "veiller à la qualité et à l'objectivité des travaux bénéficiant du Fonds national de développement de l'évaluation (FNDE)" (fonds budgétaire crée pour financer les évaluations interministérielles décidées par le Comité interministériel de l'évaluation). A ce titre, il formule deux avis sur les évaluations relevant de la procédure interministérielle :

Politiques évaluées dans le cadre du dispositif de 1990

B- Le nouveau dispositif crée par le décret du 18 novembre 1998

La réforme de 1998 marque une volonté de relance de l'évaluation interministérielle, dans la continuité des principales orientations définies en 1990 : lien entre évaluation, démocratie et modernisation du service public, exigence de pluralisme, de transparence et de rigueur scientifique, implication des administrations dans l'évaluation des politiques qui les concernent. Par rapport aux précédent dispositif, le décret de 1998 se caractérise par la volonté d'impliquer davantage les collectivités locales dans l'évaluation des politiques nationales, et, d'autre part, par la volonté d'intégrer davantage le travail méthodologique et la gestion administrative des évaluations. Au prix, vraisemblablement, d'un affaiblissement du rôle d'autorité méthodologique tenu précédemment par le Conseil scientifique.

Le Conseil interministériel de l'évaluation est supprimé et le Conseil scientifique est remplacé par un Conseil national de l'évaluation (CNE) composé de 14 membres nommés pour trois ans par décret du Premier ministre (renouvelables une fois). De par sa composition, le CNE a un caractère plus politico-administratif et moins scientifique que l'ex CSE. De fait, les attributions du CNE sont à la fois politiques et méthodologiques :

- il propose chaque année un programme d'évaluation au Premier ministre ;

- il définit les principales conditions de réalisation des évaluations (contenu et motivations de l'évaluation, mode de composition de l'instance d'évaluation, critères de choix des opérateurs en charge des études et recherches évaluatives, etc) ;

- à l'issue des évaluations, il rend un avis sur la qualité des travaux effectués (comme dans le dispositif précédent).

Le Commissariat général du plan voit en outre ses compétences renforcées dans l'animation du développement de l'évaluation dans l'administration et dans la gestion du dispositif interministériel. Il assure directement le secrétariat du CNE.

Le premier programme annuel d'évaluation élaboré par le CNE a été approuvé par le Premier ministre en juillet 1999. Il porte sur les politiques suivantes :

C- Les principales étapes de l'élaboration d'un projet d'évaluation

D- Structure du questionnement (catégorisation des questions à examiner)

E- Rôle de l'"instance d'évaluation"

(Extrait du "Petit guide de l'évaluation")

"L'évaluation n'est ni pure connaissance, ni pur mécanisme politique. Il faut reconnaître et organiser une zone d'autonomie de l'évaluation entre la science et l'action. Lorsque la complexité du sujet le justifie, cela peut passer par la constitution d'une "instance d'évaluation", groupe chargé par le commanditaire d'assumer la fonctions de maître d'oeuvre de l'évaluation. L'instance d'évaluation est plus qu'un comité de pilotage : elle doit bénéficier d'une large responsabilité dans le cadre d'un mandat écrit du commanditaire. Plus précisément, ses missions sont de deux ordres :

a) Piloter les travaux d'évaluation, c'est à dire, d'abord, mener à son terme l'élaboration du projet d'évaluation, traduire le questionnement évaluatif dans le cahier des charges des études et recherche, passer commande et suivre les différents travaux d'étude, auditionner des "personnes ressources", responsables administratifs, experts ou autres "témoins", voire se déplacer collectivement sur le terrain...

b) Intégrer les travaux d'évaluation, c'est à dire réceptionner la documentation et les travaux d'étude, valider leurs résultats, interpréter ces résultats au regard des autres informations collectées (auditions ou informations préalablement disponibles...), répondre aux questions posées par le projet d'évaluation, formuler des conclusions générales et, le cas échéant, des propositions, rédiger le rapport final.

L'instance est en général le lieu où, par la délibération, des conclusions raisonnables sont déduites d'études analysées et interprétées. Celle-ci doit être conçue comme un arbitre entre les différents points de vue et non comme un médiateur de différents intérêts qu'il conviendrait d'accommoder".

Notes

 

- Retour au début de la page -

- Retour à la banque de textes -

 

 

 


FastCounter by bCentral