La Commission européenne publie une étude nuancée sur les bénéfices du financement par contrat à impact

En termes de méthode, l’analyse distingue les contrats à impact social (CIS) (social impact bonds, SIB), qui comprennent des investisseurs, et le paiement aux résultats, qui n’implique pas d’investisseurs puisqu’il ne concerne que la transaction entre Etat et opérateurs (payment by results, PbR). Quinze projets ont été sélectionnés pour l’étude (figure 1), développés au Royaume-Uni et Irlande, en Europe continentale, aux Etats-Unis et en Australie, qui avaient comme caractéristiques d’être terminés et d’avoir des données d’évaluation disponibles.

Le premier constat, prévisible, est qu’une telle étude est rendue difficile par l’absence d’évaluation de résultats sur les programmes financés traditionnellement. D’un autre côté, les CIS et PbR sont peu transparents sur les coûts de conceptions, de mise en œuvre, et d’évaluation. Aucune comparaison robuste des approches selon leur efficacité et leur efficience respectives ne peut être réalisée sans la création de données de résultats et de coûts. A FAIR, nous adhérons à l’appel à la transparence des données d’évaluation et de coûts pour tous les CIS réalisés en France. Nous avons notamment souhaité participer à la mise à disposition de données dans l’étude de cas du CIS de l’Adie, le Guide méthodologique coécrit avec BNP Paribas et le Retour d’expérience (2016-2020). Le rapport propose néanmoins une analyse critique des approches basées sur les résultats, dont nous présentons ici quelques aspects clés. Nous mettons ces conclusions en regard avec le panorama des CIS en France.

La critique est novatrice dans le sens où elle s’oppose aux justifications communes de l’usage des CIS (et, indistinctement, du PbR). Premièrement, contrairement à l’idée selon laquelle ils assurent un meilleur accompagnement et une meilleure issue à des populations ayant des besoins complexes, le rapport suggère que les contraintes des CIS amènent les opérateurs à sélectionner les personnes les plus « faciles » à accompagner. Ces contraintes sont doubles : d’une part, la population à accompagner est limitée en nombre, d’où la problématique du « choix » entre plusieurs personnes, et d’autre part, l’évaluation suppose que les bénéficiaires suivent le programme du début à la fin (tout abandon, déménagement, disparition, etc. sera considéré comme un échec). Le phénomène de tri est bien connu par les praticiens de l’impact sous le terme « incitations négatives » (perverse incentives), incluant l’écrémage, qui favorise en effet les populations ayant une probabilité plus élevée d’atteindre les résultats (cherry picking ou cream skimming). Pendant le montage des CIS, il est d’usage d’anticiper et de pallier ces biais par des stratégies diverses, mais ces dernières ne semblent pas porter leurs fruits. Le rapport recommande de valoriser la « distance parcourue » par les bénéficiaires ainsi que leur niveau de satisfaction, même si les résultats (par exemple, l’emploi), ne sont pas atteints.

Deuxièmement, les auteurs ne sont pas très optimistes sur les conditions de travail des opérateurs impliqués dans des CIS. En particulier, l’évaluation peut constituer une lourde charge de travail, pour la collecte de données et leur traitement, associée à la pression de devoir atteindre les résultats. En France, le risque est limité car l’opérateur est au centre des négociations. C’est lui qui définit le programme, les opérations, les indicateurs pertinents et le budget nécessaire, là où à l’étranger les indicateurs et le financement disponible sont généralement fixés d’avance par le tiers payeur. Les opérateurs répondent en France à des appels à projets plutôt qu’à des appels d’offre cadrés. La phase de structuration se déroule, de même, autour de l’opérateur, ce qui garantit que le cadre d’évaluation reste cohérent et compatible avec l’activité opérationnelle. Cet aspect fait d’ailleurs l’objet d’une recommandation dans le rapport. Par ailleurs, l’étude déplore que les petites organisations aient du mal à accéder à des financements basés sur les résultats, par manque de capacité d’évaluation et de ressources pour mener à bien la structuration des contrats. Ce constat est aussi vrai en France, avec l’idée que le financement aux résultats reste exceptionnel et complexe, adapté à des structures financièrement solides. Si ce type de financement venait à être généralisé, l’exclusion des petites organisations serait un problème indéniable.

Troisièmement, les évaluations réalisées dans les CIS n’ont pas la rigueur espérée. La plupart des CIS étudiés proposent des indicateurs de réalisations et de résultats sans contrefactuel (c’est-à-dire sans groupe de contrôle réel ou données statistiques de comparaison) pouvant prouver la relation de causalité entre le programme et les résultats mesurés. Le rapport recommande de soigner l’évaluation de manière à prouver si une intervention innovante est efficace, et d’appliquer les enseignements dans une phase postérieure d’essaimage financée traditionnellement. Les CIS peuvent garantir une valeur ajoutée dans la mesure où il existe un déficit de financement et une stratégie de changement systémique.

En France, les CIS sont prévus pour être complémentaires des subventions classiques sur le volet spécifique de l’innovation sociale, mais rien ne garantit aujourd’hui que les innovations probantes seront essaimées. La problématique de l’après-CIS a été traitée dans un article récent de FAIR. En France, seulement un CIS est arrivé à son terme à date (celui de Wimoov).

Nous espérons qu’une analyse comme celle de PPMI et Politecnico di Milano pourra voir le jour lorsque d’autres CIS auront été clôturés.  

​​​​​​