marqueur eStat'Perso

 

 

 

L’évaluation des politiques publiques

 

Bernard Perret

(Texte pour la revue Informations sociales, octobre 2003)

 

Le terme « évaluation » fait partie du langage courant. On l’emploie dans des situations très variées pour désigner des activités comportant une dimension de jugement de valeur et/ou de mesure approximative (on peut évaluer une distance, la valeur d’un meuble ancien, la gravité d’un accident, etc). Dans le contexte du management public, l’évaluation s’applique au moins à trois grandes catégories d’objets : les personnels, les structures (services, organismes…) et les actions (programmes, politiques, projets…).

Nous laisserons ici de côté l’évaluation des hommes, bien qu’il s’agisse d’un aspect essentiel de la gestion des ressources humaines. L’évaluation des structures et l’évaluation des actions constituent deux champs distincts, malgré de nombreuses et évidentes connexions. Les structures doivent en effet être jugés au regard de leurs missions pérennes ou de normes organisationnelles prédéterminées. Pour clarifier la terminologie, il est préférable de parler dans ce cas d’audit, notion suffisamment large pour englober différentes formes d’examen du fonctionnement et des performances des structures, et de réserver le vocable évaluation aux seules actions. Celles-ci doivent en effet être évaluées au regard de leurs effets sur la société, ce qui pose un ensemble de problèmes méthodologiques et politiques fort différents de ceux rencontrés au cours d’un audit.

Par commodité, on peut rappeler ici la définition officielle de l'évaluation des politiques publiques : « évaluer une politique c'est apprécier son efficacité en comparant ses résultats aux objectifs assignés et aux moyens mis en œuvre ». (décret du 18/11/ 1998). Cela paraît clair, mais pose en fait pas mal de questions, à commencer par celle-ci : quels sont les objectifs de la politique, quels sont ses résultats attendus et comment peut-on les mesurer ? En pratique, les objectifs officiels des politiques sont souvent flous, contradictoires et peu susceptibles d’être rigoureusement confrontés à la réalité des effets produits. Un aspect important du travail d’évaluation consiste à reformuler de manière plus précise ces objectifs et à concevoir les indicateurs et dispositifs d’observation qui permettront de savoir s’ils ont été ou non atteints.

Il existe d’autres définitions de l’évaluation, dont la suivante, moins normative et plus descriptive : « Les évaluations ont pour but d'appliquer les théories, méthodes et techniques des sciences sociales pour porter des jugements relatifs à l'utilité, l'efficacité, et la responsabilité dans les organisations gouvernementales et non gouvernementales, dans le but de stimuler l'apprentissage organisationnel. ». Cette définition complète la précédente, mais elle laisse néanmoins dans l’ombre l’aspect institutionnel de l’évaluation. L’évaluation institutionnalisée se différencie des pratiques intégrées d’aide à la décision par son caractère formel, collectif et procédural. Cette extériorisation de l’évaluation se traduit par l’agencement d’une scène évaluative, distribution formalisée des rôles entre différents acteurs : commanditaire(s), décideurs, membres de comités de pilotage, acteurs de la politique et évaluateurs. L’évaluation est identifiée comme un élément à part entière de la politique elle-même, un moment particulier dans son « cycle de vie ».

Cela étant posé, il n’est pas toujours facile de tracer des frontières nettes entre l’évaluation et un ensemble de pratiques connexes ou apparentées : contrôle (de conformité ou de gestion), audit, observation, benchmarking, conseil, démarches qualité, etc. Ces frontières sont d’autant plus complexes à tracer que l’évaluation intervient à différentes échelles géographiques et porte sur différents types d’actions : politiques, programmes, projets, procédures, dispositifs (lois, règlements), pratiques, activités, etc. En France, on parle le plus souvent d’évaluation des politiques publiques, mais cette expression consacrée par la pratique recouvre des situations et pratiques fort diverses.

 

1) Modes d’institutionnalisation et acteurs de l’évaluation

 

Les origines américaines

 

Un bref détour historique est nécessaire pour éclairer les enjeux de l’institutionnalisation de l’évaluation. Aux Etats-Unis, les premières évaluations scientifiques de programmes publics datent du début du siècle. L’évaluation est alors conçue comme un mode d’intervention des sciences sociales dans le débat public. Au plan méthodologique, le modèle originel de l’évaluation de programme est l’expérimentation avec groupe de contrôle. L’évaluation est comprise comme une activité de mesure n’accordant qu’une faible place aux aspects qualitatifs, inspirée par une épistémologie « positiviste ». De grands espoirs sont placés dans la science pour aider à porter un jugement objectif sur l’efficacité et le bien fondé des mesures publiques. L’acteur principal de l’évaluation est l’ « évaluateur », spécialiste des méthodes de recherche quantitative (modélisation, plans d’expérience, statistique) appliquée aux phénomènes sociaux. Une fois l’évaluation décidée par une autorité politique ou administrative légitime, c’est à l’évaluateur qu’il revient de concevoir et de mettre en œuvre le protocole de recherche, d’en produire des résultats et d’en proposer des conclusions.

Dès les années 1980, ce modèle est remis en cause. La supériorité de l’évaluation expérimentale ne fait plus l’unanimité. Satisfaisantes sur le plan scientifique, les études coûtent cher et peuvent durer des années. De plus, l'expérimentation n'est pas toujours le meilleur moyen d'obtenir des informations utiles sur la mise en œuvre, la pertinence et l'efficacité d'un programme. L'évaluation se développe aujourd'hui sous des formes diversifiées et les méthodes qualitatives et participatives ont pleinement droit de cité. Par ailleurs, la dimension procédurale et participative de l’évaluation est mieux reconnue : la construction d’un jugement pertinent et légitime sur une action publique ne relève pas seulement de la bonne application de techniques de mesure. Il faut également se poser des questions pertinentes et savoir interpréter les données collectées, ce qui suppose de prendre en compte l’ensemble des points de vue dans un cadre institutionnel approprié. Cette exigence d’institutionnalisation concerne à la fois la commande, le pilotage et les suites données aux évaluations.

 

L’évaluation en Europe

 

Après la seconde guerre mondiale, la pratique de l’évaluation de programme s’est étendue à l’ensemble du monde anglo-saxon et à l’Europe du Nord. Son développement en France et dans les pays latins est plus tardif. Dans l’ensemble, la dimension institutionnelle et pluraliste de l’évaluation est mieux reconnue en Europe qu’aux Etats-Unis. Cela se traduit notamment par un mode de pilotage des évaluations impliquant les différents « porteurs d’enjeux » au sein de comités ou « instances d’évaluation » pluralistes.

La Commission européenne est un acteur important du développement de l’évaluation. Dès 1960, les programmes de recherche communautaires font l’objet d’une évaluation systématique. En 1983, une unité spécialisée d’évaluation est crée à la direction chargée de la recherche (DG12). Mais ce sont les politiques de développement régional (les fonds structurels) qui ont fait de la Commission l’acteur clef de l’évaluation européenne. Depuis 1988 et surtout depuis 1993, des directives de la Commission organisent l’évaluation systématique des programmes financés par les Fonds structurels, donnant une impulsion décisive au développement de l’évaluation dans les régions européennes.

Malgré les progrès récents de l'évaluation en Europe, l'avance américaine demeure incontestable. Plusieurs facteurs propres aux Etats-Unis expliquent ce dynamisme. Le plus décisif est sans doute la faible légitimité des interventions publiques, d'où découle l’exigence d'apporter la preuve de leur efficacité. Contrairement à la France où l'Etat n'a pas à justifier a priori son intervention dans tout domaine où l’intérêt général est en cause, les pouvoirs publics américains ne peuvent agir qu'en fonction d'objectifs précis et de manière toujours révocable.

Sur un tout autre plan, l’orientation empiriste et “ behaviouriste ” des sciences sociales constitue un facteur favorable au développement de la recherche évaluative. Aux Etats-Unis, la recherche en sociologie, psychologie, sciences de l’éducation, santé publique, etc., accorde une place importante à l’observation empirique et au recueil de données chiffrées. De plus, l’activité théorique est orientée, bien plus qu’en Europe, vers la modélisation déterministe des comportements individuels. Ce qui n’est pas sans lien avec la conception même des programmes, dont les objectifs (notamment dans les domaines sociaux, éducatifs ou sécuritaire) sont formulés en termes de bénéfices strictement individuels.

 

Le cas français : une institutionnalisation tardive et inachevée

 

En France, il faut attendre la fin des années 80 avec les initiatives du gouvernement Rocard pour que l’évaluation ex-post soit identifiée comme une activité spécifique et que l’on prenne la mesure de son rôle potentiel dans la modernisation de l’Etat. On peut résumer les tentatives d’institutionnalisation de l’évaluation en France par quelques étapes clefs :

 

·    La Rationalisation des choix budgétaires (RCB), de 1970 à 1984. La RCB a représenté une première tentative pour instituer l’évaluation ex ante (par opposition à l’évaluation ex post qui domine actuellement le paysage de l’évaluation) comme un rouage de la décision publique. Initiative d’origine purement technocratique et inspirée d’une conception trop rationnelle de la décision, elle n’a pas abouti aux résultats escomptés mais a toutefois permis d’amorcer le développement d’une culture de l’évaluation dans l’administration française.

·    Les initiatives du gouvernement Rocard : rapport Viveret (1989), circulaire de février 1989 sur le renouveau du service public, évaluation du RMI par une commission indépendante (1989-1992), création du Comité national d’évaluation de la recherche, décret de janvier 1990 créant le Conseil scientifique de l’évaluation (CSE) et le Comité interministériel (CIME) de l’évaluation. Ce dispositif a été réformé par le décret de novembre 1998 par lequel le CSE et le CIME ont été remplacés par le Conseil national de l’évaluation (CNE).

·    Le développements de l’évaluation dans les régions à partir de 1990, suite à la circulaire sur l’évaluation dans les procédures contractuelles et aux directives européennes sur l’évaluation des programmes financés par les fonds structurels (1993).

·     Une succession d’initiatives aux fortunes diverses visant à développer l’évaluation parlementaire : loi de juin 1996 créant un office parlementaire d’évaluation des politiques publiques (organisme qui n’a jamais vu le jour), création d’une mission d’évaluation et de contrôle à l’Assemblée nationale en 1997, loi d’orientation sur les finances publiques (LOLF) d’Août 2000. La LOLF vise à réformer en profondeur la pratique budgétaire française en imposant une présentation par programmes des dépenses de l’Etat. Il est prévu d’associer à chaque programme un certain nombre d’indicateurs de résultat. En l’état actuel des travaux préparatoires à sa mise en œuvre, le lien entre cette réforme et le développement de l’évaluation n’est toutefois pas évident.

·    Enfin, la nouvelle étape de la décentralisation devrait se traduire par la création d’un dispositif spécifique pour évaluer les politiques menées par les collectivités locales.

 

Globalement, l’évaluation connaît un réel développement en France, comme en témoigne le dynamisme de la Société française de l’évaluation crée en 1999. L’évaluation est cependant loin d’avoir conquis la même influence que dans d’autres pays. Son impact demeure faible sur la décision publique, particulièrement au niveau national. Malgré la réalisation d’une quinzaine de grandes évaluations, le dispositif institutionnel mis en place en 1990 n’a pas permis de donner à l’évaluation une place reconnue dans le fonctionnement de l’Etat. Le nouveau dispositif crée par le décret de novembre 1998 (Conseil national de l’évaluation) ne fonctionne plus depuis quelques mois, dans l’attente de décisions relatives à l’avenir du Commissariat général du plan.

La comparaison avec le monde anglo-saxon est toujours nettement en défaveur de la France. Non seulement les pratiques d’évaluation y sont moins développées, mais elles sont également moins bien intégrées au fonctionnement des administrations et n’ont qu’un faible impact sur les décisions politiques. Par contraste avec la situation française, les pratiques évaluatives anglo-saxonnes présentent un certain nombre de point forts : 1) le caractère programmatique de l’action publique, 2) une réelle intégration de l’évaluation au processus budgétaire, avec pour corollaire le rôle actif joué par le Parlement et les institutions supérieures de contrôle (à l’exemple du General Accounting Office aux Etats-Unis) 3) l’orientation empiriste des sciences sociales et 4) la professionnalisation du métier d’évaluateur.

Les pratiques françaises d’évaluation présentent cependant quelques points forts, parmi lesquels la qualité de l’expertise sectorielle (notamment dans les corps d’inspection et les services d’étude des administrations) et une culture de « l’évaluation de process » liée à l’influence de la sociologie des organisations.

L’impression générale est que l’évaluation se développe, mais reste une activité interne à l’administration dont les résultats diffusent peu à l’extérieur. Ce qui ne signifie pas qu’elle soit sans effet : certaines évaluations ont eu une influence non négligeable à moyen terme en contribuant à la formation des idées partagées par la majorité des fonctionnaires (on pourrait prendre l’exemple des politiques d’emploi).

 

2) Quelques principes méthodologiques

 

    L’importance du questionnement

 

L’objectif de l’évaluation est de produire une connaissance utile et appropriable. Les aspects scientifiques et techniques du travail évaluatif (ce que l’on appelle parfois la « recherche évaluative ») sont certes importants, mais ils doivent rester subordonnés à une démarche d’ensemble visant à modifier les représentations collectives. Dans cette perspective, l’étape du questionnement joue un rôle essentiel. Evaluer une politique, c’est d’abord la questionner, c’est à dire élaborer collectivement un certain nombre de questions à son sujet. Ces questions concernent typiquement les aspects suivants : pertinence des objectifs, mise en œuvre des mesures, cohérence de la politiques, atteinte des objectifs, efficacité, efficience, mécanismes d’action. Pour aboutir à une formulation pertinente de ces questions, préalable au lancement des travaux d’étude et d’investigation, une réflexion approfondie doit être menée, en dialogue avec les commanditaires et les autres « porteurs d’enjeux » légitimes de la politique. De manière plus précise, l’élaboration et la conduite d’un « projet d’évaluation » comporte les étapes suivantes :

·    Formulation du mandat, explicitation des attentes du commanditaire, mise en place du dispositif d’évaluation, délimitation de l’objet,

·    élaboration d’un référentiel (explicitation des objectifs de la politique sous une forme permettant leur confrontation à ses résultats),

·    formulation d’un diagnostic provisoire et d’hypothèses de travail,

·    formulation d’un questionnement (parfois appelé « agenda analytique » de l’évaluation),

·    bilan informationnel (recensement des sources d’information disponibles),

·    élaboration du programme d’études et d’investigations, choix des opérateurs,

·    suivi, validation et synthèse des études,

·    rédaction des conclusions et recommandations, suivi éventuel de leur mise en oeuvre.

 

Dans la pratique française de l’évaluation pluraliste, l’instance d’évaluation assure une médiation entre le commanditaire politique et les évaluateurs. Son rôle, plus ou moins développé et  formalisé, est d’assurer la traduction du questionnement politique en questionnement scientifique et, en sens inverse, la traduction des résultats de la recherche évaluative en réponses qui fassent sens pour les destinataires administratifs et politiques de l’évaluation.

 

Le point de vue des usagers

 

On ne peut évaluer une politique sans prendre en compte le point de vue de ses usagers, bénéficiaires ou « clients ». Dans le cas des politiques sociales ou des actions relatives à la production d’un service collectif (transport, santé, etc.), la satisfaction exprimée par les bénéficiaires est l’un des critères d’évaluation à prendre en compte. Les évaluations de politiques sociales s’appuient généralement sur des enquêtes auprès qui permettent à la fois de mesurer l’impact objectif de l’action sur la situation des bénéficiaires et leur satisfaction subjective.

Il est moins évident d’associer les usagers au pilotage des évaluations. Même lorsque la volonté existe de donner un caractère pluraliste et participatif à la conduite de l’évaluation, il n’est pas toujours facile d’identifier les organisations représentatives et de trouver en leur sein des interlocuteurs disponibles et motivés par le travail d’évaluation.

Une autre difficulté, d’ordre plus général, réside dans l’incertitude qui, pour certaines politiques, affecte la notion même d’usager. A titre purement hypothétique (ces politiques étant rarement évaluées), il est intéressant de considérer l’exemple extrême des politiques pénitentiaires : les personnes incarcérées devraient-elles être considérées comme des usagers légitimes et, comme telles, faire l’objet d’enquêtes de satisfaction ? Il semble raisonnable de répondre positivement à cette question, mais d’autres catégories d’usagers, parmi lesquelles les victimes de la délinquance, pourraient également faire valoir leur point de vue. Dans de nombreux cas, il existe différents groupes de porteurs d’enjeux dont les intérêts peuvent être considérés comme légitimes à divers titres. Ajoutons que l’évaluation ne doit pas être confondue avec un mécanisme délibératif : les points de vue des groupes d’intérêt ne sont importants pour l’évaluation qu’en tant qu’ils apportent une information pertinente sur la politique évaluée et ses effets.

 

 

3) Finalités et usages de l’évaluation

 

Des retombées à différents niveaux

 

Il semble naturel d’associer évaluation et aide à la décision. Qui contesterait la nécessité de fonder les décisions politiques sur une meilleure connaissance de leurs effets ? En pratique, pourtant, il est bien peu d’exemples d’infléchissement significatif d’une politique suite au résultat d’une évaluation. Il serait pourtant erroné d’en conclure que l’évaluation ne sert à rien. Beaucoup d’évaluations produisent des effets, mais, dans la majorité des cas, ceux-ci sont indirects, diffus et différés.

De plus, l’aide à la décision n’est pas la seule finalité de l’évaluation. Evaluer permet également à l’administration de rendre compte de son action aux autorités politiques et aux citoyens. Les anglo-saxons mettent un accent particulier sur cette dimension de compte-rendu à travers la notion d’accountability, un mot clef du management public qui renvoie à un double impératif de démocratie et de gestion économe de l’argent public.

Sans que cela figure nécessairement dans ses objectifs explicites, l’évaluation a presque toujours un rôle « formatif ». Sous ce terme on peut distinguer deux aspects : l’apprentissage (learning), la mobilisation ou « capacitation » (empowerment). Pour des agents publics impliqués dans la mise en œuvre d’une politique, être associé à son évaluation constitue une occasion unique de s’en approprier les objectifs et de mieux en comprendre la logique.

Enfin, l’évaluation a également pour intérêt de favoriser le partage des informations et la convergence des représentations au sein des systèmes d’acteurs. Cette fonctionnalité se révèle particulièrement utile pour faciliter le pilotage des politiques « partenariales », telles que les contrats de ville ou les contrats de plan Etat-régions.

 

Actualité de l’évaluation

 

Même si les progrès restent lents, la nécessité de développer l’évaluation des actions publiques est de mieux en mieux reconnue. L’évaluation semble en effet constituer une réponse pertinente à plusieurs des défis rencontrés par les pouvoirs et administrations publiques : resserrement de la contrainte budgétaire, crise de légitimité de l’action publique, nouvelles formes de gouvernance et d’intervention publique (décentralisation, rôle des organisations internationales, politiques partenariales), crise du management public, juridicisation et procéduralisation de la vie sociale. L’évaluation ne constitue certes pas un remède miracle à cette « crise de la gouvernance », mais elle peut apporter davantage de transparence au fonctionnement des organisations publiques et, surtout, contribuer à redonner du sens à l’action publique.

 

- Retour au début

 

- Retour à la page personnelle de Bernard Perret -