Quadrant Conseil : évaluer la valeur créée par les transitions

Karine Sage est co-fondatrice de la SCOP Quadrant Conseil, cabinet d’étude spécialisé dans l’évaluation des politiques publiques.

Qu’est-ce que l’évaluation ?

L’évaluation désigne l’activité permettant de juger de la valeur d’une action publique, notamment du point de vue de ses résultats. L’évaluation vise à se former une opinion sur l’action publique et ses effets, qui soit circonstanciée et étayée par des faits, en prenant en compte l’ensemble des points de vue légitimes. Cette construction collective du jugement permet finalement de mieux connaître, de juger en connaissance de cause, de mieux décider et d’améliorer les pratiques.

D’emblée, « juger de la valeur d’une action publique » suppose de porter une appréciation collective sur ce que l’on considère être les critères de réussite d’une action, c’est-à-dire les finalités souhaitées. Avant toute évaluation, il y a donc une discussion politique qui suppose de confronter des visions des effets souhaités de l’action.

L’évaluation distingue également entre le changement, qui est une dynamique multifactorielle, et l’impact, qui désigne la contribution spécifique d’une intervention particulière à une transformation. L’évaluation vise donc à mesurer la part liée à l’intervention publique, et de qualifier cette part d’impact de la politique publique, afin de voir là où le projet a fait une différence.

Quels rapports entre l’évaluation et le récit ?

La première rencontre formelle de Quadrant entre récits et évaluation s’est faite lors de l’évaluation de la conduite de changement de la dynamique de Loos-en-Gohelle à la demande de l’ADEME. L’ADEME voulait comprendre les effets et les raisons du changement de ce territoire. Ce travail a montré que la mise en récit est un levier puissant et effectif qui vient soutenir la dynamique de transitions et de mise en mouvement d’acteurs.

Dans ce territoire, le récit proposé par l’équipe municipale (« d’où nous venons, ce qui nous faisons aujourd’hui et vers quoi nous allons ») est suffisamment accessible, convaincant, désirable et médiatisé pour emporter l’adhésion des acteurs en interne et en externe.

L’évaluation Loossoise constitue une première identification de la mise en récits comme objet d’évaluation. Cela pose la question de caractériser ce projet. On a ensuite conduit un autre travail sur d’autres territoires pour essayer de caractériser ce mécanisme de mise en récits. L’enjeu est de montrer qu’un récit partagé, avec une identité, dans lequel on s’identifie permet de renforcer le projet.

Quels usages des récits dans l’évaluation ?

Dans la pratique de l’évaluation des politiques publiques, les récits sont souvent utilisés, notamment pour la collecte de données, comme méthodologie d’évaluation ou comme livrable de présentation des résultats. Après une première étape visant à se mettre d’accord sur ce que serait  la réussite du projet, une seconde étape consiste en la collecte de données (notamment via des entretiens) pour récolter des éléments permettant l'évaluation.  

D’un côté, pour mener à bien cette collecte de données, l’évaluation mobilise des outils anthropologiques et biographiques. L’un des plus incontournables sont les entretiens narratifs qui permettent d’obtenir des récits de vie ou de parcours qui constituent ensuite une banque de données. La chronologie narrative permet d’animer des ateliers collectifs autour d’une frise, de façon didactique car visuelle, en demandant aux participants de replacer les différents éléments clés de l’action que l’on cherche à évaluer. Les approches par étude de cas consistent enfin un zoom sur un cas, de manière immersive, qui donne lieu à rédaction d’une monographie d’étude de cas, sous une forme très narrative.

Du côté des méthodologies d’enquête, on peut citer par exemple la méthode du changement le plus significatif. En atelier, on demande aux participants de recenser ce qui leur parait être le changement le plus important, puis on hiérarchise progressivement les propositions retenues. Cette méthode permet d’identifier les convergences et les divergences entre les conceptions des acteurs. Il existe également l’analyse de contribution, qui a été mise en place à Loos-en-Gohelle, qui vise à apposer à partir des récits collectés pour identifier :

• les changements observés ;
  
• la contribution de l’intervention, de façon expliquée, circonstanciée et contextualisée ;
  
• les autres contributions significatives au changement.

L’évaluation est-elle un récit comme les autres ?

Je pense que l’évaluation est plutôt un récit parmi les autres. Il y a certaine spécificité de l’évaluation qui en font un récit à part, un récit analytique. L’intervention est mise au centre du récit afin d’estimer sa contribution au changement. Ensuite, ce récit doit être fondé et appuyée sur une recherche des éléments de preuves qui requiert une confrontation des éléments convergents et divergents. Ce récit a une dimension normative, puisque l’analyse justifie des prescriptions relatives à l’intervention. Enfin, c’est un récit qui doit être utile : il a une visée instrumentale d’amélioration de l’action.

Néanmoins, l’évaluation partage quelques caractéristiques avec la mise en récits. 

• Dans les deux cas, le personnage principal de l’action est identifié pour éviter toute « personnification » de principes causaux sans réelle agentivité. 

• En outre, contre le danger de l’histoire unique, il s’agit d’instaurer une plurivocité et d’offrir un espace d’expression de multiples points de vue. Un outil, par exemple, est la cartographie des parties prenantes qui permet d’identifie les acteurs légitimement concernés par l’intervention, et à quels degrés. S’intéresser aux acteurs tiers, gagnants ou perdants de l’action, même s’ils sont parfois extérieurs au territoire, permet d’enrichir la compréhension des effets de l’action. 
  

• La réflexivité du narrateur est également en jeu, afin de délivrer une version critique de l’histoire et d’être attentif à ses biais d’interprétation. Cette réflexivité est généralement soutenue par un espace d’analyse qui permet de retirer des enseignements des histoires racontées. Le Copil de l’évaluation, s’il est composé de manière pluraliste, peut en constituer un organe intéressant pour permettre  « une organisation d’un temps de critique constructive du récit ».
  

De la mise en récits à l’évaluation

Pour Karine Sage, travailler sur la mise en récit sur mon territoire ne revient pas automatiquement à faire de l'évaluation. En revanche, la mise en récits peut nourrir l'évaluation, et fournir des éléments et des dispositifs d’évaluation, notamment de recueil de perception et de vécus. Mais l’évaluation suppose un effort supplémentaire par rapport à la mise en récits classique, notamment en cherchant à analyser ces histoires, à révéler les points de convergence ou de divergence, en questionnant l’impact de l’intervention.

Une première étape qui semble pouvoir constituer un premier pont entre ces deux approches, c’est l’animation de temps de réflexivité sur l’action publique, avec une posture évaluative et un questionnement critique qui permette de mettre à jour des apprentissages. La rosace de la posture évaluative offre ainsi une bonne grille de questionnement.

Trop souvent, l’évaluation est vue comme un outil de contrôle descendant. En fait, elle est un outil d’apprentissage et d’amélioration des pratiques. Elle peut même être un outil démocratique, avec différents degrés comme dans le spectre de l'implication citoyenne. Il existe ainsi des évaluations citoyennes, dans lesquelles le COPIL est composé de citoyen.nes. Cela dit, ce sont souvent des dispositifs lourds, conduits par des grosses métropoles ou par des collectifs citoyens.