Yaël Questions d'asso, le podcast par et pour les assos. Comme toute organisation, les associations sont soumises à l'évaluation de leurs actions. Combien de bénéficiaires touchent-elles ? Quels effets produisent-elles sur leur territoire ? Utilisent-elles pertinemment leur budget ? En creux, la question posée est souvent celle de l'efficacité de l'action associative. Car si toute association se donne une mission, comment savoir lorsque celle-ci est atteinte ? Cependant, mesurer l'action associative n'est pas aussi simple qu'il y paraît. Car si compter le nombre d'adhérents et d'adhérentes ou le nombre de personnes inscrites à votre newsletter peut sembler relativement facile, comment évaluer, par exemple, l'amélioration de la qualité de vie d'un bénéficiaire en particulier ?

Autrement dit, est-il possible d'évaluer l'action associative de manière qualitative ? Et de manière générale, quelles sont les conséquences de cette évaluation sur la gestion et le fonctionnement de l'association ? Ce sont ces questions que nous vous proposons d'aborder dans ce dixième épisode – déjà 10 de Questions d'asso, le podcast par et pour les assos, en partenariat avec la MAIF et la Métropole de Lyon. Et pour parler de ce sujet, nous recevons une association bien connue du monde du numérique, l'association Framasoft, représentée aujourd'hui par son co-directeur, Pierre-Yves, dit pyg. Bonjour Pierre-Yves.

Pierre-Yves Bonjour.

Yaël Et nous avons également avec nous Eléonore Lavoine, doctorante en sciences de gestion à l'université de Clermont-Ferrand et en CIFRE au sein de la fédération Léo Lagrange. Elle nous éclairera sur les enjeux de l'évaluation d'une association et plus précisément de son utilité territoriale, qui constitue son sujet de thèse. Bonjour Eléonore.

Eléonore Bonjour.

Yaël Pour animer ce podcast, j'ai moi-même le plaisir d'accompagner Karl. Salut Karl.

Karl Salut Yaël.

Yaël Cet épisode de Questions d'asso est réalisé par Reha Simon de Synchrone.TV sur une musique de Sons of Nowhere. Vous pouvez vous abonner à Questions d'asso sur votre plateforme de podcast préférée, sur Apple Podcasts, Google Podcasts, mais également Spotify, Deezer et SoundCloud. Vous pouvez également écouter ce podcast directement sur notre site web questions-asso.com, où vous retrouvez une version textuelle de ce podcast – mais on est quand même un peu à la bourre. Il faut qu'on finisse ceux de la première saison. Nous sommes en tout cas très heureux d'être avec vous parce que c'est le premier épisode de la seconde saison de Questions d'asso.

On souhaitait en profiter pour remercier toutes celles et ceux qui rendent possible ce projet : la MAIF et leur super équipe, la Métropole de Lyon, Reha Simon et Guillaume Desjardins de Synchrone.TV pour la production, toutes les assos et experts qui viennent et qui sont venus à ce micro. Et tout particulièrement, on souhaitait vous remercier, vous, amis auditrices et auditeurs, parce que vous êtes toujours plus nombreux et vous êtes maintenant plus de 200 à nous écouter régulièrement chaque mois, et ça, c'est quand même chouette. Bref, comme d'habitude, on vous propose de vous installer confortablement et c'est parti !

Yaël Et nous retrouvons Karl pour l'édito.

Karl Effectivement, merci Yaël. Alors comme l'an passé, nous ouvrons cette saison de Questions d'asso par un gros dossier du monde associatif. Pour rappel, l'an passé, on avait traité la question de la subvention et de son caractère aliénant, si ce n'est addictif. Cette année, on vous propose donc de traiter le sujet de l'évaluation associative. Un sujet d'ailleurs très lié à celui de la subvention, puisque bien souvent, l'association qui doit évaluer son action est celle qui doit justifier les subventions qu'elle reçoit. Mais on va y revenir. Alors, qu'entend-on à travers cette expression obscure d'évaluation de l'action associative ? Le plus souvent, ce qu'on met derrière, c'est la mesure de ce que produit l'association sur son écosystème, que ce soit un territoire ou des bénéficiaires. D'ailleurs, on reviendra tout à l'heure avec Eléonore sur ce que disent ces termes de la façon dont on perçoit le sujet.

Sauf que mesurer ce que produit une association, ce n'est pas aisé. Comment savoir si vous améliorez vraiment la vie de vos bénéficiaires ? Et surtout, comment le mesurer sans avoir besoin de mener d'études poussées tous les six mois ? C'est, en tout cas il me semble, cette difficulté à la mesure qui va être le cœur de notre émission d'aujourd'hui, à savoir la facile confusion entre la métrique et l'objectif. Ainsi, dans nos associations, nous avons souvent du mal à rendre concrets les objectifs que nous poursuivons. La métrique – qu'il s'agisse du nombre d'adhérents, du nombre de followers sur Twitter, du nombre de pages vues sur notre site, ou des montants de subventions distribuées – est alors trop souvent érigée en objectif. Nous faisons la course aux followers, aux personnes qui sont présentes à nos événements pour simuler le poids de nos associations. Parfois, nous sommes un peu ces crapauds qui tentent de se faire passer pour un bœuf.

Alors ce qui va nous intéresser aujourd'hui, c'est de comprendre quelles sont les logiques à l'œuvre derrière cette notion d'évaluation de l'action associative. Est-ce uniquement une conséquence du modèle de subvention des associations ? Quelle place jouent également nos bénéficiaires ? Et puis surtout, on va chercher à questionner ce que peut être une évaluation qualitative qui dépasse les chiffres pour s'intéresser à la façon de faire perdurer l'association et son esprit dans le temps long. Et c'est pourquoi on a invité Pierre-Yves de Framasoft à ce micro, notamment parce que Framasoft travaille sur la question de la compostabilité de son action. On va revenir sur ce terme dans l'épisode. Autrement dit, que restera-t-il de Framasoft une fois que l'association aura disparu ?

Yaël Vaste question. Et là, je me pose quand même une question sur ton édito, Karl. C'est pourquoi tu parles déjà de cette question-là, alors qu'on parle juste de l'évaluation ? Je ne sais pas si tu vas répondre maintenant ou plus tard, ou si on la garde pour la fin, parce que ça sera la réponse. OK. Alors, du coup, Pierre-Yves, merci beaucoup d'être avec nous. En plus, là, il y a un teasing de ouf pour nous partager, du coup, les réflexions de l'association Framasoft sur la façon dont elle s'évalue et dont elle se projette dans le futur, et dans la fin dont elle se termine, de ce que je comprends.

Donc, on le disait, Framasoft est une association qui est bien connue par toutes celles et ceux qui travaillent dans l'univers du numérique, notamment parce que vous êtes à l'initiative du projet Dégooglisons Internet, qui n'est jamais très facile à dire, et qui vise à proposer une offre de services numériques libres et alternatifs à tous les services numériques dominants, dont on ne va peut-être pas dire les noms. Et c'est également vous qui développez le logiciel PeerTube, alternative à YouTube. Et d'ailleurs, chers auditeurs et auditrices, sachez que vous pouvez d'ailleurs nous écouter – ce que j'ai appris en faisant ce podcast – sur PeerTube, si vous le souhaitez.

Mais avant que nous entrions dans le détail de l'évaluation associative de l'association Framasoft, et pour que celles et ceux qui nous écoutent puissent en savoir un peu plus sur vous et vous situer dans le vaste monde des assos, on te propose de dresser une carte d'identité de l'association à travers trois questions qui sont assez simples. C'est décrire l'activité, comment vous êtes financés et comment vous fonctionnez d'un point de vue un peu organisationnel. Donc, première question, si tu es prêt.

Pierre-Yves Toujours.

Yaël Est-ce que tu peux, Pierre-Yves, nous décrire simplement l'activité de Framasoft, grosso modo, pour ceux qui ne vous connaissent pas ? Qu'est-ce que vous faites ?

Pierre-Yves Alors, simplement, je ne sais pas si je vais y arriver, mais je vais essayer. Si je prends l'objet social de Framasoft, ce qui est marqué dans les statuts de l'association, Framasoft, c'est une association d'éducation populaire aux enjeux du numérique et des communs culturels. Donc, il faut que je re-sépare souvent ces termes-là. Donc, « association », c'est vraiment un choix pour nous d'être une association de loi 1901. On s'est posé, il y a quelque temps, la question d'une transformation en SCOP ou en SCIC, Société Coopérative d'Intérêt Collectif. On a choisi de rester associatif pour plein de raisons sur lesquelles je pourrais revenir, mais on est vraiment une association en loi 1901 qui a maintenant 20 ans, quasiment. Enfin, on va fêter bientôt les 20 ans. L'association est née en janvier 2004. Et Frama, c'était Français et Mathématiques. Donc, Framasoft, c'était le logiciel au départ de Français et de Mathématiques.

Ensuite, le deuxième terme, c'est l'éducation populaire. Alors nous, on s'inscrit vraiment dans ce mouvement qui est très ancien, qui est : comment, finalement, est-ce qu'on peut apprendre entre nous, notamment par l'action et pas uniquement par quelque chose qui soit très, très descendant en termes de transmission ? C'est-à-dire que c'est réaliser des actions, transformer un petit peu le monde par le faire, F-A-I-R-E, plutôt que, je ne sais pas, par d'autres types d'actions ou d'autres types de réflexions qu'on aurait pu mener.

Ensuite, il y a la question des enjeux du numérique. Alors là, du coup, c'est beaucoup plus vaste et on a trois types d'actions autour des enjeux du numérique. Il y a évidemment des actions d'éducation populaire où on va être cette fois-ci très descendant, très verticaux, avec des conférences, répondre aux interviews sur la question notamment de la toxicité des GAFAM – donc les Google, Apple, Amazon, Facebook et Microsoft. Moi, je n'hésite pas à les citer, notamment par le fait qu'on fait partie de celles et ceux qui ont poussé pour que soit inclus Microsoft dans le terme GAFAM et qu'on n'en reste pas uniquement aux GAFA, parce que Microsoft a les mêmes caractéristiques, pour nous toxiques et aliénantes, que peuvent avoir les autres géants du numérique. Évidemment, ça ne se limite pas aux GAFAM. On pourrait étendre ça aux NATU, donc Netflix, Airbnb, Tesla, Uber, etc.

Et donc, on essaye un petit peu de sensibiliser le public à cette question de qu'est-ce que le numérique, et notamment de qu'est-ce que les plateformes numériques et ces géants du numérique changent dans nos vies. Donc on travaille des questions un peu plus conceptuelles, comme le capitalisme de surveillance, comme l'économie de l'attention, etc. On essaye de produire des réflexions autour de ça. Mais là, on est sur une partie plutôt descendante. Sur un deuxième type d'action qu'on fait, on est beaucoup sur ce que moi j'appelle « outil et la société de contribution ». Le terme « société de contribution » est emprunté à feu Bernard Stiegler, qui était un philosophe avec lequel on travaillait régulièrement sur ces questions de la technique et de la transformation du monde par la technique, et notamment par le numérique.

Pierre-Yves Et donc, outiller la société de contribution, ça veut dire quoi ? Ça veut dire notamment cette campagne dont tu parlais, Yaël, qui s'appelle « Dégooglisons Internet », qui visait non pas à améliorer la diction des gens sur le terme « dégoogliser » – qui, une fois qu'on l'a dit deux ou trois fois, ça passe – mais qui visait non seulement à sensibiliser le public, comme je le disais tout à l'heure, à la toxicité des GAFAM, mais aussi à montrer que le logiciel libre était une réponse possible et efficace à cette problématique de la centralisation des données et de l'exploitation commerciale des données. Donc, on avait lancé la campagne en octobre 2014 et, jusqu'en octobre 2017, on a sorti un service alternatif à ceux des GAFAM, ou en tout cas de type GAFAM. Pendant un mois, tous les mois, on sortait un nouveau service, pendant trois ans. Ce qui fait qu'on est arrivés au final avec plus d'une trentaine de services en ligne. C'est une campagne qui a très, très bien marché à la fois d'un point de vue médiatique et d'un point de vue, je vais dire, politique, pour montrer qu'on pouvait retrouver de l'autonomie numérique. Maintenant, on parlerait de souveraineté numérique, mais c'est un vaste débat. Mais en tout cas, de l'autonomie et de l'indépendance vis-à-vis de ces outils numériques.

Et nous, quand on parle d'outils et de la société de contribution, c'est évidemment essayer d'outiller les gens, les publics, qui changent le monde – dans lequel nous, on voudrait qu'ils évoluent – puisqu'on pense qu'il y a un certain nombre de problèmes, et le dérèglement climatique n'en est qu'un parmi ceux-là, mais peut-être un des plus importants. Et donc, la question, c'est : comment est-ce qu'on outille les gens qui veulent changer le monde ? Et Framasoft essaye de fournir des outils, des planches, des marteaux, des clous numériques pour ces gens-là.

Yaël Peut-être juste, j'en profite : est-ce que tu peux donner des exemples de ces services ? Parce que je ne suis pas sûre que tout le monde les ait forcément en tête.

Pierre-Yves Bien sûr. Donc, dans les services qu'on propose, je pense qu'un des plus connus vis-à-vis du public, c'est Framadate.org. Framadate, qui permet de choisir un rendez-vous. C'est une alternative au logiciel qui s'appelle Doodle, qui maintenant, a priori, est bardé de pubs. Enfin, c'est ce qu'on m'en dit, mais je ne suis pas allé vérifier. Il permet aux gens de trouver une date commune ou de faire un petit sondage en commun. Dans les autres services très utilisés, il y a Framapad, qui est un outil de rédaction collaborative en ligne. Ça veut dire en temps réel. Tu ouvres, par exemple, dans ton association, un document pour une prise de notes parce que vous êtes à 5, 6, 10 dans la salle. Et pour que ça ne soit pas toujours la même personne qui fasse la prise de notes, on peut être plusieurs à la faire en même temps. C'est enregistré automatiquement, etc. Donc là, on est plutôt sur une alternative à Google Docs. Et dans les autres outils qui sont très utilisés, on va avoir par exemple Framaliste, qui est un outil de liste de discussion qui permet à des groupes de s'organiser entre eux. Et Framaforms, qui est une alternative à Google Forms et qui est aussi là massivement utilisé. Et puis après, je reviendrai sur PeerTube et Mobilizon, qui sont deux autres outils.

Donc, juste pour terminer sur ta première question, on fait aussi des actions de terrain. On en fait un petit peu moins parce qu'on n'a pas vocation nécessairement. On est une toute petite association. J'en viendrai sur l'organisation, mais on est une toute petite association.

Yaël Parce qu'on ne dirait pas.

Pierre-Yves Oui, si, si, j'y viens. Et on est une quarantaine d'adhérents et adhérentes uniquement. Donc, ça fait assez peu de gens pour être présents, finalement, sur le terrain, pour aller présenter un petit peu ce qu'on fait. Et donc, on essaie plutôt d'essaimer notre discours pour qu'il soit porté par d'autres derrière. Et notamment, on a impulsé un collectif qui s'appelle CHATONS – Collectif des hébergeurs alternatifs, transparents, ouverts, neutres et solidaires – il y a quelques années, et qui porte un petit peu sa parole autour de la décentralisation d'Internet. Voilà.

Yaël Super, merci. Du coup, je me dis que ça fait très bien le lien avec la troisième question, puis on reviendra peut-être sur la deuxième après. Du coup, comment vous vous organisez ? Donc, tu disais que vous étiez une quarantaine de bénévoles. Vous avez des salariés, vous avez un conseil d'administration ?

Pierre-Yves On est exactement 37 adhérents et adhérentes. Et comment est-ce que ça fonctionne à l'intérieur ? Il y a entre 3 et 5 coprésidents et coprésidentes chaque année, donc au niveau de nos statuts. Donc là, actuellement, on a 4 coprésidents. Enfin, oui, c'est ça : on a 2 coprésidents et 2 coprésidentes.

Yaël Et vous les renouvelez tous les ans ?

Pierre-Yves On les renouvelle tous les ans, tout à fait. Ces personnes n'ont strictement aucun pouvoir supplémentaire, sinon celui d'ester en justice, comme on dit poliment. C'est-à-dire qu'ils portent un petit peu une certaine responsabilité. Ils se désignent, ils s'auto-désignent chaque année. On ne galère pas trop à trouver dans nos membres des coprésidents et des coprésidentes parce que ça paraît relativement logique, pour nos adhérents et adhérentes, à un moment donné, de prendre des responsabilités dans la structure. Ensuite, on a non pas un conseil d'administration, mais un comité directeur qui a le même rôle qu'un conseil d'administration, qui est composé en gros d'une quinzaine de bénévoles. Et ensuite, on est organisés sous forme de comités. Donc, c'est vraiment très, très transversal. C'est en gros des groupes de travail dans lesquels peuvent s'inscrire n'importe quel adhérent. Et pour soutenir toutes les actions de l'association, on a une dizaine, aujourd'hui dix, de salariés.

Voilà, pour donner un petit peu le détail. On a donc deux co-directeurs. On a, derrière tout ça, pour faire fonctionner les serveurs d'un point de vue technique, un administrateur système et deux développeurs, un sur le logiciel qui s'appelle PeerTube, un sur un autre logiciel qui s'appelle Mobilizon. Il y a aussi un développeur front-end qui s'occupe essentiellement de maintenir la cohérence entre nos presque 80 sites qu'on maintient. Et ça fait vraiment du monde derrière. Et enfin, on a une équipe plus, on va dire, administrative, financière, etc., avec une personne qui s'occupe de l'aspect comptabilité essentiellement, une personne qui est chargée de projets et de partenariats, une personne pour le support de tous les services qu'on maintient. Et enfin, une personne sur la communication, sur l'organisation.

Yaël Sur les bénévoles, vous avez quand même, j'ai l'impression, besoin de profils assez techniques. Ou est-ce que c'est une association ouverte à tout le monde ?

Pierre-Yves Alors non, non, on est une association de cooptation. Souvent, on nous fait le reproche, on dit : « Je voudrais soutenir Framasoft, je voudrais adhérer, comment est-ce que je fais ? » En fait, il y a le fait que, dans le milieu du logiciel libre, il y a d'autres associations qui, elles, vivent vraiment des cotisations. Je pense notamment à nos amis de l'April, donc l'association de promotion et de défense de l'informatique libre, et qui, eux, regroupent, en gros, aujourd'hui, ils doivent être autour de 3000 adhérentes et adhérents. Et si nous, on ouvrait les cotisations, je pense qu'il y aurait des vases communicants, finalement, d'une association vers l'autre. Et on ne trouverait pas ça sain, parce que nous, on n'est pas du tout une association de plaidoyer. Ce que parfois les gens ont un peu du mal à entendre. C'est-à-dire qu'on ne va pas nécessairement s'adresser aux ministres. On ne va pas nécessairement s'adresser à l'élu ou autre. Nous, notre boulot, il est de faire des choses. On est vraiment une association d'expérimentation, voire de préfiguration. On plante des graines, on voit ce qui pousse. Et puis, si ça pousse, tant mieux. Et si ça ne pousse pas, ce n'est pas très grave et on passe à autre chose.

Yaël Ok, super. Merci beaucoup. Et du coup, ça fait bien le lien avec la dernière question, celle du financement. Est-ce que tu peux nous présenter un peu – soit juste un ordre d'idée, on n'a pas besoin d'avoir les comptes bien détaillés, mais qu'on ait un peu les grands ordres de grandeur – et savoir comment ça fonctionne ?

Pierre-Yves On pourrait donner les comptes détaillés, d'autant qu'ils sont sur le site web, ils sont publics. Framasoft, c'est une association qui gère aujourd'hui un budget d'environ 600 000 euros par an. On a 10 salariés, il faut pouvoir payer évidemment les salaires derrière tout ça. Et le mode de financement est assez atypique, vu que nous, on ne vit que du don, et notamment quasiment, très largement, des dons de particuliers. Pour être très précis, on doit avoir aujourd'hui à peu près 98 % de nos revenus qui proviennent de dons. Les 2 à 5 % qui restent, en gros, c'est de la prestation. On fait un petit peu de prestation. Typiquement, le ministère de l'Éducation nationale nous a demandé de rajouter des fonctionnalités dans PeerTube. On leur a facturé ces fonctionnalités et ils nous payent. Maintenant, on souhaite que ça reste le plus bas possible parce que nous, on veut rester justement sous forme associative. On pourrait vendre évidemment de la prestation. Ce n'est pas du tout contre-indiqué quand on est une structure associative, mais ce n'est pas du tout notre objectif. Notre objectif, il est de changer le monde un octet à la fois, comme on dit. Donc, on ne va pas chercher pour l'instant de l'argent. Vraiment, on fait assez peu de prestations.

Et sur les dons, qui représentent l'immense majorité de nos revenus, il y a en gros deux parties. Il y a une partie qui est essentiellement des dons de particuliers. Donc, on a en gros entre 10 et 12 000 personnes qui, chaque année, font des dons à Framasoft pour qu'on existe. Donc, on est vraiment sur une logique don contre don, pour ceux qui ont lu Mauss. Et ça fonctionne pour nous assez bien. On fait des choses. Si ça convient aux gens, ils nous font un don. Si ça ne leur convient pas, ils ne font pas de don, et on arrêtera nos actions et nos activités à l'avenir. Et il reste, dans ces dons, une partie un petit peu spécifique qui est celle des dons de fondation. On a deux fondations aujourd'hui qui nous soutiennent : la Fondation pour le Progrès de l'Homme et une fondation néerlandaise qui s'appelle NLnet, qui nous soutient vraiment sur des points très spécifiques, très techniques, autour de PeerTube…

Pierre-Yves Sur des développements, vraiment deux développements, on va dire, purs et durs.

Yaël Et en termes de pourcentage, tu disais quand même que les dons de particuliers prenaient la majorité ?

Pierre-Yves En tout cas, les donateurs et donatrices ont la possibilité de défiscaliser les dons, ce qui, évidemment, est intéressant. Donc, on a un petit pic de dons en fin d'année, parce que les gens se rappellent qu'ils peuvent économiser un petit peu sur leurs impôts en nous faisant un don. Mais on est conscients que c'est un fonctionnement très, très atypique, puisque ça veut dire qu'on touche zéro subvention. Et ça, je suis conscient que ce n'est pas courant. Donc, je fais souvent attention, dans ce type de présentation, à rappeler qu'on est un petit peu privilégiés dans ces temps un petit peu durs pour les associations, où les subventions publiques ont tendance à baisser, et où forcément nous, on se retrouve dans une situation plutôt privilégiée, où on se repose plutôt sur les dons des particuliers, qui eux aussi vont avoir tendance à baisser – et on le sent déjà avec la crise financière qui arrive.

Karl Et on renvoie à l'épisode qu'on avait fait avec La Quadrature du Net, qui fonctionne également sur le modèle du don, pour comprendre un peu les tenants et les aboutissants de ce modèle économique.

Yaël Merci beaucoup, Pierre-Yves, pour ce premier aperçu de Framasoft. Et Karl, je te laisse prendre la suite pour commencer l'entretien et rentrer dans le vif du sujet.

Karl Parce qu'on avait souhaité recevoir Framasoft sur cette question de l'évaluation de l'action associative, parce qu'on sait que vous êtes quand même, mine de rien, en pointe sur beaucoup de sujets qui nous animent ici, à Questions d'Asso. Donc, c'était intéressant de vous recevoir sur un sujet qui est à la fois assez commun, finalement, au monde des associations, mais aussi assez spécifique dans le niveau de détail sur lequel on peut aller. Et donc, peut-être pour commencer, par une question qui va permettre aux auditrices et aux auditeurs de positionner un peu ce qu'on entend par action associative, évaluation de cette action associative : est-ce que tu pourrais nous expliquer comment, de manière générale, vous évaluez ou vous n'évaluez pas justement votre action au sein de Framasoft ?

Pierre-Yves Alors, ce que je trouvais dans ton édito, et ce que disait Yaël aussi, c'est qu'il y a forcément une problématique derrière, presque de schizophrénie, entre : on a besoin de s'évaluer et de s'auto-évaluer pour savoir tout simplement où est-ce qu'on en est par rapport aux années précédentes, pour savoir si oui ou non on répond à l'objet social de l'association, ce qui est quand même le but. Quand on s'associe entre êtres humains, c'est pour faire des choses ensemble, donc on a besoin de savoir si ça marche. Et de l'autre côté, il y a une vraie dualité entre ce besoin d'évaluation et les problématiques qu'il pose derrière, et notamment les auto-injonctions qu'il peut poser, les objectifs uniquement chiffrés qu'il peut poser, et derrière, toute la problématique, finalement, de « est-ce qu'on ne dénature pas le projet associatif ? Est-ce qu'il n'évolue pas ? », dans le sens de « il faut performer sur les chiffres ».

Et donc, nous, encore une fois, là, on est sur un axe relativement privilégié. Vu qu'on n'a pas de bailleurs de fonds qui viennent nous demander : « mais vous en êtes où, je ne sais pas, du nombre de publics des quartiers populaires que vous touchez, de moins de 25 ans, etc. » On est assez libres de définir, finalement, quels sont les critères d'évaluation et d'auto-évaluation qu'on se met. Dans ces critères-là, il y en a un qui est relativement classique quand on fait du numérique, c'est le nombre de visiteurs. Alors, la particularité, à Framasoft, c'est qu'on ne trace pas, on ne traque pas nos visiteurs et visiteuses. Donc, on est obligés de faire des conversions. Moi, je peux vous dire aujourd'hui combien est-ce qu'on a de pages vues sur l'ensemble du réseau Framasoft, puisqu'il n'y a pas qu'un seul site. Il y en a entre 70 et une centaine, de sites. Même moi, je ne sais plus. On a plus d'une centaine de noms de domaines. Et donc, forcément, ça pose un premier problème. Bon, on ne sait pas exactement combien d'êtres humains on sert. On sait qu'on a largement entre 5 et 6 millions de visites par mois. Et donc, on évalue en gros entre 800 000 et 1,2 million le nombre de visiteurs et visiteuses, c'est-à-dire d'êtres humains, qui viennent chaque mois.

Karl Et alors, cette information, concrètement, elle te sert à quoi au quotidien dans la gestion de l'asso ?

Pierre-Yves Alors, tout simplement à savoir si… Alors, nous, c'est plutôt pour suivre des tendances. Concrètement, c'est pour savoir si Framadate continue à être de plus en plus utilisé ou pas. Je vais donner un exemple très concret de comment est-ce qu'on a utilisé ce type d'évaluation pour amender les actions de l'association. Il y a quelques… Enfin, il y a deux ans, on a entamé une nouvelle campagne presque de déframasoftisation de l'asso, parce que, tout simplement, elle devenait trop grosse. Je pense qu'on en reparlera, mais elle devenait trop importante, trop incontournable en termes d'alternatives aux projets numériques des GAFAM, etc. Donc, quand il y a eu le Covid, l'Éducation nationale a dit : « allez chez Framasoft. » Voilà, nous, on s'est retrouvés…

Karl Super cool.

Pierre-Yves Oui, à la fois super cool, et pas du tout cool, du coup, parce que c'est le plus gros ministère – enfin, le ministère le mieux doté de France, c'est-à-dire à quelques milliards quand même d'euros. Et à un moment donné, c'est tout à fait anormal qu'ils se retournent vers une micro-association de 40 adhérents. Donc, à la fois, c'est très chouette, mais il faut quand même un petit peu réfléchir à comment est-ce qu'on utilise la société civile pour parer aux déficiences des services publics. Et donc, il y avait cette problématique-là de se dire, en fait : quels sont les services qui sont les plus ou les moins utilisés, tout simplement pour fermer ceux qui sont peu utilisés.

Donc, on avait des services qui étaient certes très chouettes – je pense, je ne sais pas, à Framaslides, qui permettait de faire des slides, du coup des diaporamas en ligne, mais qui étaient très, très peu utilisés. Alors, sans doute parce que nous, on avait mal fait la com' dessus. Mais quand on voit qu'il y a 200, 300, 500 personnes qui viennent chaque mois sur ce service, alors qu'on en a des centaines de milliers sur Framadate, on se dit : est-ce qu'on doit continuer à mettre de l'énergie à maintenir ce service ? Et je pense que beaucoup d'associations fonctionnent comme ça. C'est-à-dire que lorsqu'il y a quelque chose qui ne fonctionne pas, bon, soit il y a un côté affectif et on se dit : ok, on va maintenir le projet. Soit on se dit : bon, ok, en fait, il a vécu, et on va le fermer. Voilà, donc ça, c'est un petit peu le principal outil qu'on va utiliser, c'est le nombre de visiteurs et de visiteuses.

Yaël Là, ce que je trouve intéressant sur ce que tu dis, c'est que tout à l'heure, tu dis qu'il y avait en gros trois activités, et notamment, par exemple, celle d'éducation populaire, où là, pour le coup, c'est plus compliqué. Enfin, ce n'est plus du tout les mêmes métriques, comme on disait. Quel indicateur vous mettez en place ? Ou est-ce que déjà, vous mettez des indicateurs ou pas ?

Pierre-Yves Eh bien, on n'en met pas. Sur ce côté-là, on n'en met quasiment pas. C'est-à-dire qu'il y en a toujours. Par exemple, je peux te dire combien de confs et d'interventions on a fait, d'année en année. C'est public, là aussi, dans nos rapports d'activité. Par contre, on n'a jamais mis en place, on n'a jamais fait tourner de feuilles de présence.

Donc moi, des fois, je me pointe dans une MJC, il y a cinq personnes. Des fois, je me pointe dans un incubateur de start-up, il y a 500 personnes. Mais pour moi, c'est la même intervention. Ça compte comme une intervention, qu'il y ait cinq personnes ou qu'il y en ait 500. Pour moi, finalement, l'impact est… En tout cas, le travail est le même. Je suis payé de la même façon, d'abord, pour les deux. Et c'est-à-dire rien. C'est l'association qui me paye, je précise. On ne se fait pas rémunérer pour les interventions.

Mais derrière, on essaye, finalement, de… C'est presque une volonté de ne pas qualifier ça, parce qu'on pense que c'est totalement inquantifiable de savoir quel va être l'impact. C'est-à-dire que moi, maintenant que ça fait presque 15 ans que je fais ça, il y a des gens qui reviennent me voir 5 ans après en me disant : « ah oui, mais j'avais assisté à une conf dans la MJC du Vieux Lion, etc., et puis du coup j'utilise maintenant LibreOffice et Linux, etc. » Et bon, tant mieux. Mais par contre, est-ce que je savais à ce moment-là que ça allait avoir tel ou tel impact ? La réponse est non. Et du coup, savoir qu'il y a eu, je ne sais pas, 500 000 personnes ou 200 000 personnes face auxquelles on a été ne sert justement quasiment que dans le cadre de subventions publiques.

Ça sert assez peu pour nous, c'est-à-dire qu'on fait les interventions quand on est disponibles, quand on a envie de les faire, quand on sent qu'il peut y avoir quelque chose qui va basculer, quand on sent qu'on peut être utiles. Mais sinon, encore une fois, qu'il y ait deux personnes ou qu'il y en ait 500, même combat.

Karl Et donc, ce qui est intéressant, c'est que là, la première chose qu'on va mobiliser dans le discours sur l'évaluation de l'action associative, c'est quand même des éléments chiffrés. Justement, toi, pour dire que, finalement, c'est des choses que vous utilisez relativement peu, sauf quand il s'agit de choisir entre deux services lequel est-ce qu'on doit sacrifier si on n'a pas assez de moyens. Il y a un autre élément que j'aimerais amener dans la discussion. Lorsqu'on a préparé l'émission, un des premiers éléments que tu as mentionnés, c'était notamment Bénévalibre. Et donc, la mesure du temps bénévole, est-ce que ça, c'est aussi quelque chose que vous pratiquez, notamment avec vos 40 adhérents ?

Pierre-Yves Oui, on le pratique non seulement avec les adhérents, mais on le pratique aussi avec les contributeurs et contributrices, parce qu'il y a beaucoup de gens qui sont bénévoles à Framasoft sans forcément être adhérents. Et donc, Bénévalibre, c'est un… donc Bénévalibre.org, je fais la promo, encore une fois, je n'ai rien à vendre. C'est un projet qu'on a monté à plusieurs structures, avec le CRAJEP Bourgogne-Franche-Comté, avec l'April, avec Framasoft, avec des chercheurs comme Lionel Prouteau, qui travaillent sur les questions associatives depuis longtemps. Et donc, l'idée, c'était de dire : comment est-ce qu'on peut évaluer le temps passé par les bénévoles sur les actions d'une association avec un outil qui respecte les valeurs associatives ? C'est-à-dire que des outils pour évaluer le bénévalo – donc le bénévolat valorisé – il y en a plein. Mais se poser la question de savoir comment est-ce qu'on pourrait en faire un qui ne pervertisse pas les valeurs associatives… Et notamment parce que nous, on constate qu'il y a un vrai souci, maintenant politique, de se dire, en fait : les associations, c'est combien de divisions, j'ai envie de dire. En gros, les associations, c'est combien ça rapporte,

Pierre-Yves Qu'est-ce que ça génère comme flux financier ? Et donc, il y a un outil derrière ça qui pourrait être le bénévolat à valoriser. C'est-à-dire que, OK, toi, tu as passé deux heures sur un stand, on va le valoriser à deux fois 10 euros. Donc, vous aviez fait une émission sur le sujet, mais voilà, ça vaut 20 euros, l'équivalent de 20 euros de production. Sauf que, pour nous, ça nous paraît complètement débile, et ça doit être à chaque association de déterminer quel est le coût, le prix, l'impact qu'il peut y avoir derrière ce bénévolat valorisé.

Et donc, on a fait cet outil en essayant de garder en tête ce qui, pour nous, est important : c'est de comptabiliser finalement le temps, et de laisser chaque association maîtresse de l'évaluation quantitative et monétaire, finalement, de ce temps de travail. Et aujourd'hui, je crois qu'on est arrivé – enfin moi, j'étais assez scotché – à près de 800 associations, notamment dans les réseaux d'éducation populaire, qui utilisent Bénévalibre. Et ça continue de monter, et c'est très bien.

Et Framasoft, d'ailleurs, dans ses multiples actions, co-finance Bénévalibre en mettant de l'argent pour payer des développeurs qui vont améliorer petit à petit cet outil libre que n'importe quelle association peut utiliser sur le site Bénévalibre.org, ou qu'elle peut télécharger et installer pour elle-même en ayant la maîtrise de ses données.

Yaël Et est-ce que vous-même, à Framasoft, les données sur le temps de vos bénévoles, vous les réintégrez dans vos bilans comptables ?

Pierre-Yves Oui, on les réintègre pour l'instant. Alors, ça a relativement peu de sens vu qu'on ne cherche pas de subvention. La problématique que moi j'ai, et je pense que de plus en plus de gens ont dans les associations, c'est que c'est quelque chose d'assez casse-pied pour les bénévoles à répondre. Donc, Bénévalibre, typiquement, il y a une petite application ; enfin, le site web fonctionne en mode responsive sur les smartphones, donc c'est très simple à utiliser, en quelques clics. Ça fonctionne bien. Mais en fait, on a beaucoup de mal à relancer nos bénévoles chaque mois sur cette question du bénévolat à valoriser. Ce qui fait que, pour moi, le chiffre est complètement biaisé.

Et c'est un bon exemple, pour moi, du côté pervers de l'évaluation, et voire de l'auto-évaluation. C'est que, par exemple, nous, on a une maison d'édition dans Framasoft qui s'appelait Framabook et qui s'appelle maintenant Des livres en commun. Et quelqu'un qui écrit un livre pour Framasoft, qui est publié dans la collection Framabook ou Des livres en commun, c'est des dizaines, voire des centaines d'heures d'écriture. Et la personne peut tout simplement oublier d'aller rentrer son bénévalo. Et donc, ils disparaissent comme ça, des centaines d'heures. Alors bon, moi, en tant que co-directeur, je peux aller chercher et toquer à chaque porte, mais je trouve que ce n'est pas une bonne solution. Donc, tant qu'on est sur quelque chose de déclaratif, on peut relativement facilement, je ne vais pas dire truquer, mais en tout cas faire dire ce qu'on veut à ces chiffres-là.

Karl Moi, en t'écoutant, je me dis, comme tu le disais aussi, de la manière dont vous êtes financés, vous n'avez pas forcément besoin de vous évaluer, à part justement pour répondre à vos propres objectifs que vous vous fixez. Du coup, peut-être, est-ce que tu peux revenir sur la manière dont vous définissez vos objectifs ? Et du coup, comment, derrière, vous définissez vos indicateurs ? Et si vous arrivez – mais là, peut-être que je vais trop loin, j'anticipe sur la suite – est-ce que vous arrivez à sortir des indicateurs non chiffrés ?

Pierre-Yves Alors, ça va être la satisfaction, évidemment. Du coup, on les a toujours à la marge, ces indicateurs ; ils ne sont pas rentrés dans des cases, entre guillemets. Et comment est-ce qu'on fait pour savoir si on fait bien ou si on fait des choses beaucoup moins bien ? On a plusieurs façons de le savoir. La première, c'est le support, c'est-à-dire les retours que nous font les utilisateurs et utilisatrices de nos services. C'est assez bête, mais quand on a un service qui ne fonctionne pas, quand on a Framadate, qui n'est quand même pas le logiciel le mieux designé du monde, qui pose problème à tel ou tel type de public, on a des retours de personnes qui nous disent « Coucou, là, votre truc, ça ne fonctionne pas bien ». Et donc ça, on reçoit des mails, plusieurs dizaines de mails chaque jour, de retours d'utilisateurs qui viennent nous dire « ça, ça marche, ça, ça ne marche pas, c'est bien, ce n'est pas bien ».

On manquait un petit peu d'amour de temps en temps, parce qu'on a besoin de ça ; vu qu'évidemment, l'amour, on le reçoit aussi souvent financier, mais enfin bon, on a quand même d'autres objectifs dans la vie. Et donc, comment faire s'exprimer, finalement, l'amour des utilisateurs envers nos actions associatives ? Là, par exemple, on avait lancé entre le mois de mai et fin juin une enquête pour essayer de définir, en fait, mais qui sont les utilisateurs et utilisatrices de Framasoft ? Parce qu'encore une fois, on a 10 à 12 000 personnes qui nous font des dons chaque année, mais on ne les connaît pas puisqu'on ne les trace pas. Donc moi, je suis totalement incapable de dire est-ce que c'est plutôt, je ne sais pas, des profs de centre-gauche ? Est-ce que c'est des gens qui sont plutôt dans le milieu associatif ? Est-ce que c'est un croisement de tout ça ?

Donc on avait lancé une enquête, et l'enquête, on a eu 12 164 réponses. Ce qui est énorme. Ce qui est énorme, on est bien d'accord, j'étais complètement scotché. Voilà, alors une enquête anonyme : on n'a pas les noms, on n'a pas les mails, etc. C'est juste les gens qui sont venus nous répondre, et évidemment, il y avait un champ libre pour dire « laissez-nous un petit mot si vous voulez ». Alors évidemment, ces résultats d'enquête sont biaisés, puisqu'il n'y a que les gens qui connaissent Framasoft et les gens qui ont envie de s'exprimer sur Framasoft qui nous répondent. Mais on était à un taux de satisfaction de 98 %, enfin nord-coréen. Le côté résultat était quand même assez fou. Mais du coup, pour nous, ça veut dire que, quelque part, on va dans le bon sens. Et ce type d'enquête permet aussi de repérer là où se retrouvent les frictions avec nos publics, etc.

Donc, on n'a pas, pour répondre à ta question, on n'a pas précisément un objet dans lequel les gens peuvent venir dire ce qu'ils et elles pensent de notre structure et de ce qu'on fait. Par contre, on essaye de sentir un petit peu l'air du temps. Et un autre lieu dans lequel, évidemment, on a des retours, c'est qu'on est souvent face à ce public lors de conférences, etc., quand on intervient dans une école. Bon, OK, très bien, on prend tous ces retours et on essaye d'en faire une synthèse pour pouvoir améliorer finalement nos actions associatives, et faire en sorte que notre objectif d'outiller cette société de contribution qu'on souhaite voir advenir puisse se concrétiser en fonction des besoins des utilisateurs et utilisatrices de nos services.

Yaël Mais ce qui est intéressant, c'est qu'à travers ce que tu dis, on comprend que finalement, pour toi, les enjeux assez macro ne correspondent pas à l'objet de votre association. Et donc, quand tu réponds à la question de finalement quels sont les objectifs de votre association, tu reviens tout de suite sur des objets beaucoup plus micro, sur en fait qu'est-ce que ça produit sur un individu. Et donc la question qui suit, à mon sens, c'est finalement : est-ce que ces individus, parfois, vous projettent une forme d'injonction, aussi, à l'évaluation, de votre part ?

Pierre-Yves Oui, il y a deux types d'injonctions. Il y a l'injonction start-upienne, qui est « vous fournissez du service, donc ça doit marcher tout le temps ». Et donc là se pose la question de la souffrance au travail, etc., parce qu'il y a des humains qui sont derrière. Donc, quand on se fait insulter parce que Framaliste est tombé en panne pendant deux heures, il y a des humains qui reçoivent ça. Il y a des gens qui ne se relèvent pas la nuit pour relancer les serveurs, mais le premier mail, quand tu te lèves le matin, c'est ça. Ce n'est pas très agréable. Donc, il peut y avoir ça comme type de problématique.

Et l'autre type de questionnement qu'il peut y avoir, c'est « vous n'allez pas assez loin ». Et alors, du coup, ce « vous n'allez pas assez loin » peut être hyper large. Il y a des gens qui nous reprochent de ne pas aller assez loin d'un point de vue politique. Il y a des gens qui nous reprochent de ne pas aller assez loin d'un point de vue technique : « Vos outils ne sont pas bons », etc., ce qu'on entend. Mais encore une fois, la particularité – je n'en ai pas parlé tout à l'heure – c'est qu'on est dix salariés, et on a choisi de ne pas dépasser les dix salariés. Enfin, on pourrait être dix ou douze, mais l'idée, c'est de ne pas croître. On est a-croissant, quelque part.

Et donc, la difficulté, c'est de se dire comment est-ce qu'avec dix salariés et une trentaine de bénévoles, on peut répondre aujourd'hui à un million de personnes chaque mois. Et forcément, on sait qu'on va blesser un certain nombre, on va frustrer un certain nombre de personnes qui vont nous écrire en disant « on n'est pas content, on n'est pas content, on n'est pas content ». Et donc, sur ces évaluations-là, c'est toujours un petit peu compliqué pour nous de trouver la bonne posture. Et aujourd'hui, la meilleure posture qu'on ait pu trouver, c'est celle de l'humilité : c'est de dire « en fait, on fait ce qu'on peut avec ce qu'on a ». Et si vous n'aimez pas ce qu'on fait, vous avez le droit de le dire ; évidemment, on est dans un pays libre, encore à peu près. Mais par contre, vous êtes surtout libre de ne pas donner à Framasoft et d'aller voir ailleurs, si ça ne vous convient pas.

Karl Est-ce que tu peux développer, quand même, ce principe que vous vous êtes donné de ne pas croître ? Parce que c'est quand même peu courant de l'entendre.

Pierre-Yves On essaye d'être aligné avec nos valeurs. Et dans nos valeurs, il y a une forme de conscience que – on va dire, si j'employais les grands mots – le capitalisme et le patriarcat ne nous amènent pas vraiment là où on voudrait qu'ils nous amènent. Ou en tout cas, enfin non, pas là où on voudrait qu'ils nous amènent, parce qu'on pense que ce ne sont plus les bons systèmes de fonctionnement de nos sociétés, et qu'on est obligé un petit peu de pivoter, si je prends un terme très start-up, et donc qu'il faut réfléchir à des modes de fonctionnement qui sont différents.

Ce serait forcément contradictoire de se dire « OK, Framasoft, ça marche bien, aujourd'hui on est dix salariés, on passe à 50, on passe à 100 ». À un moment donné, on avait suffisamment d'argent pour se dire qu'on pouvait passer, je crois que c'était à peu près, de 7 à 15 salariés. Parce que pendant le Covid, il y a eu beaucoup, un vrai afflux de dons, qui s'est bien tassé depuis. On a perdu 60 000 euros en 2021. Mais ce n'est pas grave, on le vit très bien puisqu'on n'a pas d'objectif de croissance financière. Aujourd'hui, on tape dans les réserves. Très bien, on tape dans les réserves.

Pierre-Yves On n'a pas un objectif, on n'a pas d'actionnaire. Et donc, dans cette logique-là, on a préféré se dire qu'il vaut mieux rester une petite équipe pour deux raisons. La première, c'est que, que ce soit pour moi ou pour Pouhiou, qui est mon collègue co-directeur, de pouvoir connaître les gens. Donc, il y a une raison vraiment humaine de se dire : les collègues qu'on a, moi, je veux connaître le nom de leur compagne, de leurs compagnons, de leurs enfants, etc. Et cognitivement, il y a une règle dont j'ai oublié le nom qui dit qu'à partir de 10-15 personnes, tu ne retiens plus le nom et les prénoms de chacune des personnes qui t'entourent au quotidien. Donc là, aujourd'hui, on sait comment on fonctionne. Moi, je suis capable de dire, rien qu'à la façon dont un collègue me dit bonjour le matin sur un tchat – puisqu'on travaille tous de façon décentralisée –, s'il est de bonne ou de mauvaise humeur, limite s'il a bien dormi ou pas. Et ça, forcément, on le perdrait si on était plus nombreux. Et il faudrait rajouter des couches de management, ce qu'on n'a pas envie de faire.

La deuxième raison, elle est aussi humaine, mais elle est plus sur l'épanouissement, cette fois-ci, des individus. C'est que plutôt que d'embaucher, ça permet de mieux payer les salariés. Donc ça pose la question de la rémunération dans le milieu associatif, qui est un vaste sujet. Mais du coup, quand on a un développeur comme celui qui développe PeerTube, c'est quelqu'un qui vaudrait quasiment deux fois le prix qu'il est payé à Framasoft pour travailler dans une entreprise privée classique. Il n'est pas mal payé à Framasoft. Du coup, les salaires peuvent être publics, mais on est quasiment tous payés aux alentours de 2 000 euros net. Il n'y a pas une volonté d'égalité de salaire, il y a une volonté d'équité dans les salaires. Et du coup, si ça lui convient, il peut rester à Framasoft. Il peut aussi changer de poste s'il a envie de changer. Mais en tout cas, on est conscients que plutôt que d'embaucher des gens pour produire plus, on est plutôt sur de payer mieux petit à petit chaque salarié de l'association.

Et donc, c'est évidemment pour être alignés avec nos valeurs qu'on fait ça. Et pour nous, c'est aussi une mesure de l'évaluation, cette fois-ci interne, de se dire qu'en fait, on est rémunérés aussi à la hauteur de ce qu'on est capables de produire. Finalement, peu importe la fonction, mais que les salaires soient en regard de ce qui est aussi fait dans le privé. Et ce n'est pas juste parce qu'on travaille dans une association qui a du sens qu'on va être payés au lance-pierre.

Yaël Et pour finir sur cette première partie : quand on préparait l'entretien, et pour revenir sur ces questions d'évaluation imposées par vos usagers, tu me parlais notamment de la transformation qui est en train d'avoir lieu sur les enjeux environnementaux, et sur le fait qu'on vous impose presque une sorte d'injonction à la performance énergétique. Est-ce que tu peux détailler ce point ?

Pierre-Yves C'est quelque chose qu'on a vu émerger ces deux dernières années et qui, à mon avis, va continuer à monter, et sur laquelle nous, on réfléchit beaucoup. C'est que, forcément, la question de l'impact écologique du numérique est assez importante. On est entre 5 et 7 % de la consommation énergétique mondiale. Ce n'est pas rien du tout. Et on est conscients qu'en plus, ça continue de monter et que c'est un vrai sujet. Pour nous qui connaissons quand même un petit peu le sujet et qui le travaillons depuis longtemps, le périmètre d'évaluation écologique du numérique se concentre sur ce qu'on appelle le scope 1, essentiellement. C'est-à-dire… il y a trois scopes. Le premier scope, c'est la consommation directe : donc là, l'ordinateur de Yaël est allumé, c'est combien est-ce qu'il consomme actuellement. Il y a le scope 2, qui peut être, on va dire, indirectement, le trajet qu'elle a fait pour venir, etc. Et il y a le scope 3, qui est vraiment en amont et en aval. C'est quoi la production de cet ordinateur ? Qu'est-ce qu'il a fallu comme matériaux ? Quels ont été les impacts écologiques, etc. ? Et, en aval, comment est-ce qu'elle pourra le recycler le plus tardivement possible, espérons-le, de façon à ce que cet impact puisse être calculé de façon globale ? Donc, il faudrait calculer les trois scopes. Or, aujourd'hui, dans les évaluations, il y a essentiellement le scope 1 qui est calculé.

Donc on arrive à des trucs que moi, j'ai clairement dénoncés il y a déjà plusieurs années, en mode : « bah oui, un mail avec une pièce jointe de 1 méga, c'est 15 grammes équivalent CO2 ». Je me souviens d'avoir répondu à Brune Poirson, c'était en 2018, en disant : « bah, en fait, allez lire l'étude d'où vient ce chiffre » – qui était une étude de l'ADEME, ou les gens de l'ADEME, qui avaient très bien fait leur boulot, avaient écrit en dessous : en fait, nous, on arrive à ce chiffre-là, mais notre méthode, elle est biaisée parce qu'on a les chiffres des constructeurs, elle est biaisée parce qu'on fait nos tests en circuit fermé, elle est biaisée parce que… Et du coup, ils disaient : en fait, ce chiffre-là, vous en faites ce que vous voulez. Et donc, moi, j'ai un vrai problème parce qu'aujourd'hui, les gens viennent nous dire : « oui, mais alors du coup, est-ce qu'il vaut mieux un YouTube centralisé ou des milliers de PeerTube décentralisés ? » – PeerTube étant notre alternative libre et fédérée à YouTube.

Et ma réponse, j'essaye en tout cas de la formuler de la façon suivante. Je dis : en fait, sur YouTube, vous avez des publicités. Par exemple, tu as une publicité pour un SUV pendant que tu es en train de regarder une vidéo de chaton ou une rediff de telle ou telle émission. Et donc, moi, la question que ça me pose, c'est : est-ce que la publicité a un impact ou pas ? Et je pense que oui, sur nos cerveaux, je veux dire cognitivement. Et donc, à un moment donné, si on clique sur cette publicité pour le SUV et qu'on finit par acheter un SUV, l'impact écologique de YouTube devient infiniment supérieur à celui de PeerTube, qui, lui, n'a pas de publicité et ne collecte pas vos données personnelles. Et donc, à partir du moment où on prend l'ensemble des scopes, ça devient juste impossible à calculer. Et donc, ma réponse, c'est qu'on ne sait pas évaluer aujourd'hui réellement l'impact écologique du numérique. Ce n'est pas grave, ça va s'améliorer petit à petit. Mais il ne faut pas rester fixé sur des grammes équivalents CO2, sinon on ne s'en sortira jamais.

Yaël Mais par contre, est-ce que ça ne demande pas… est-ce que tu modifies la manière dont tu communiques auprès de vos usagers ? Parce qu'eux, ils n'ont pas forcément cette lecture, et donc tu risques de perdre peut-être des personnes qui vous soutenaient auparavant et qui vont se dire que ce n'est peut-être plus la bonne chose que de soutenir Framasoft.

Pierre-Yves C'est une très bonne question. Ma réponse aujourd'hui, elle est plutôt de dire : on va sensibiliser à cette problématique de l'ignorance, finalement, qu'on a vis-à-vis du calcul de l'empreinte écologique du numérique. Et il vaut mieux aujourd'hui avoir un discours sur ce point-là plutôt que de modifier notre com sur PeerTube. Par exemple, sur la page PeerTube, je ne vais pas raconter ce que je vous ai dit sur le coût du SUV, parce qu'on ne souhaite pas – et c'est encore une fois une liberté relativement atypique qu'a Framasoft, et je suis conscient que toutes les associations ne l'ont pas –, mais c'est une liberté relativement atypique qu'a Framasoft de ne pas répondre aux injonctions, nécessairement, de ses utilisateurs et utilisatrices. C'est-à-dire : on fait les choses. Si ça ne vous convient pas, ne venez pas. C'est assez violent comme réponse, mais ça permet tout de suite de poser le truc en disant qu'en fait, on sait ce qu'on fait. Vous avez le droit de nous questionner sur le sujet. On fera une foire aux questions. On répondra, dans cette foire aux questions, à la problématique écologique, par exemple, de PeerTube dans le monde. Mais par contre, une fois qu'on aura répondu à cette foire aux questions : faites-nous confiance et avançons ensemble là-dessus. Mais on ne sortira pas le gramme équivalent CO2 de chaque page PeerTube, comme ça nous a été demandé plusieurs fois.

Karl C'est intéressant, parce que j'ai l'impression que ça reboucle avec ce que tu disais au début, où tu disais que, par exemple, s'il y avait un service qui n'était plus utilisé, du coup, vous alliez le fermer. Et du coup, là, j'ai l'impression qu'il y a un peu une tension entre, d'un côté, faire confiance à l'équipe interne qui a ses objectifs, sait ce qu'elle sait, a sa visée militante et qui développe des outils qu'elle estime nécessaires. Et de l'autre côté…

Pierre-Yves Cette tension, effectivement, qui dit de ne pas répondre aux injonctions… On essaye. C'est toute la difficulté de l'évaluation : c'est comment est-ce que tu interprètes les choses. Et du coup, là, on sait qu'on ne sait pas. Et du coup, pour nous, ça paraît plus simple de répondre « on ne sait pas » plutôt que de répondre à cette injonction et de l'afficher sur l'ensemble des sites.

Yaël Ce qui nous fait une très belle transition pour initier la question d'expert, à laquelle on va recevoir Eléonore Lavoine.

Karl Et donc, aujourd'hui, notre experte est Eléonore Lavoine, doctorante en sciences de gestion, presque docteure. Bonjour Eléonore.

Eléonore Bonjour.

Karl Donc, tu as travaillé sur la question de l'impact social en tant que consultante avant de commencer une thèse sur la question. Qu'est-ce qui t'a poussée à commencer cette thèse et pourquoi est-ce que tu as voulu creuser ce sujet ?

Eléonore Oui, alors du coup, moi, j'ai commencé ma thèse il y a un an et demi sur ces questions d'évaluation d'utilité sociale territoriale. Donc, d'essayer de réfléchir aux rapports qu'on peut entretenir avec le territoire quand on est une structure associative, ou voire des entreprises de l'économie sociale et solidaire, et de voir aussi quel apport on peut avoir à cet écosystème territorial. En fait, moi, j'avais cette envie, après avoir rencontré beaucoup de structures en étant consultante, d'aller un peu plus en profondeur, de prendre le temps de réfléchir, d'être sur un autre rythme, et, en fait, de prendre le temps de réfléchir à cette question qui revenait assez souvent dans mon travail. C'était un des enjeux, en tout cas, que beaucoup de structures que j'accompagnais rencontraient, sur lesquelles on n'était pas forcément très bien outillés pour réfléchir, en tout cas où il y avait beaucoup de flou dans certains outils ou concepts.

Et donc, c'était l'occasion d'aborder ces questions sur une perspective un peu plus long terme, tout en restant assez proche quand même des enjeux du milieu associatif, parce que c'est sur le format d'une convention CIFRE. Donc, c'est un partenariat entre une organisation, en l'occurrence la Fédération Léo Lagrange, et un labo de recherche de l'université de Clermont-Ferrand – le CleRMa – et une école de commerce qui s'appelle la Grenoble École de Management. Il y a vraiment ce souci d'avoir à la fois une contribution au niveau académique,

Eléonore … pour parler à ses pairs en tant que chercheurs et d'apporter une contribution à ce niveau-là, mais aussi de faire en sorte que cette contribution soit retraduite derrière pour le milieu associatif, pour les praticiens, et que, derrière, on puisse réfléchir ensemble à cette question de l'utilité sociale et du territoire.

Karl Et pourquoi est-ce que c'est une question qui intéresse la Fédération Léo-Lagrange ?

Eléonore Ah, ça, c'est un sujet. Alors, la Fédération Léo-Lagrange, c'est une association d'éducation populaire. Donc, c'est le deuxième acteur de l'éducation populaire. Et, alors, historiquement, elle est organisée en associations régionales. Donc, elle a aussi une présence dans les territoires qui est assez importante. Elle couvre l'ensemble du territoire métropolitain. Et pour des raisons organisationnelles, elle modifie un peu son organisation. Elle part d'une organisation régionale, avec des relais dans chacun des territoires, vers une organisation qui sera plus poussée en termes d'expertise par métier. Et donc, il y a ce souci, quand même, de garder cet ancrage dans les territoires. C'est une des spécificités aussi qu'on retrouve dans l'économie sociale et solidaire, ce rapport au territoire.

Et donc, dans le cadre de cette transformation, de pouvoir continuer à réfléchir à ce rapport et à cet apport au territoire, c'était un enjeu assez important. Et puis aussi, ils ont été accompagnés, dans le cadre de cette transformation organisationnelle, par des chercheurs qui les ont amenés à cette question-là : à avoir un autre regard sur la place qu'eux pouvaient avoir dans les territoires, et sur la place qu'ils ont vis-à-vis de leurs commanditaires, qui sont des collectivités territoriales. Ce n'est pas un modèle économique qui repose essentiellement sur des dons, mais à 90 % sur de la commande publique. C'est d'autres injonctions. Et donc, d'essayer de réfléchir au rôle qu'on joue dans un territoire quand son principal commanditaire, c'est l'organisateur de ce territoire. C'est aussi un terrain assez fertile pour réfléchir.

Yaël Du coup, merci, car t'as précisé, parce que j'avais la question : pourquoi ces questions intéressent les assos, plus précisément. Mais du coup, on y a répondu de manière plus spécifique. Et peut-être, Eléonore, est-ce que tu pourrais revenir justement sur les termes qu'on utilise ? Parce que là, tu parlais, je crois, de la commande publique. Alors là, le terme d'indicateur, il est partout. On parle d'impact social, on parle de mesures, d'évaluation. Alors déjà, est-ce que tout veut dire la même chose ? Est-ce que tu peux nous faire un petit panorama ? Ça, c'est la partie simple de la question. Alors, qu'est-ce que ça veut dire ? Non.

Eléonore Mais alors, en fait, je pense qu'il y a plusieurs choses à distinguer. Alors déjà, il y a la distinction à opérer entre le terme d'évaluation et celui de mesure. Souvent, on dit que la mesure, c'est potentiellement un temps de l'évaluation, mais il y a un sociologue qui s'appelle Desrosières, qui a beaucoup travaillé sur cette question de la quantification, et qui dit qu'il faut distinguer, dans l'évaluation, le temps où on convient de ce qu'on cherche à montrer et démontrer, et le temps où on mesure. Mais du coup, c'est deux temps qui sont très différents ; et quand on fait l'abstraction de ce premier temps, justement de construction d'une convention, de discussion entre les différentes parties prenantes, en fait on oublie, on invisibilise toute la portée politique et tout ce que ça engage, en termes de valeur, de mettre en place des chiffres. Donc quand on parle uniquement de mesure, en fait, on a tendance à enlever toute la partie jugement de valeur, interprétation, qu'il y a derrière le terme plus large d'évaluation – qui vient, du coup, en amont, prendre toute cette partie de construction du chiffre, et quand chiffre il y a, parce qu'on peut aussi avoir des évaluations qui ne sont pas chiffrées – et qui oublient aussi toute la phase a posteriori d'interprétation, de valorisation aussi de ce chiffre, etc. Donc, c'est deux termes qui sont assez différents, que c'est un peu dangereux de confondre, du coup. Donc ça, c'est le premier enjeu à distinguer : entre évaluation et mesure.

Ensuite, tu l'as dit, en fait, moi, je fais de l'évaluation d'impact ou d'utilité sociale – c'est la troisième distinction que je ferais. C'est assez différent d'autres types de démarches qu'on peut opérer, où on va aller regarder… soit faire de l'audit, où là, on ne va pas faire de l'évaluation : on va plutôt aller regarder si les processus qu'on a mis en œuvre sont cohérents avec des normes, des pratiques, etc., et où la conséquence, ça va être de sanctionner un écart à une règle. Alors que là, l'évaluation, c'est plus un processus de jugement. Et donc, on va regarder à la fin si le jugement qu'on porte est cohérent avec ce qu'on s'était fixé à la base comme hypothèse, par exemple. Et ce n'est pas non plus de l'évaluation de processus : en fait, quand on parle d'évaluation d'impact ou d'utilité sociale, le but, c'est d'aller se poser la question de à quoi est-ce qu'on contribue, pas seulement de regarder ce qu'on a fait. Par exemple, quand on parlait du nombre d'ouvertures de pages, on constate ce qu'on fait, sans savoir, par exemple – ce qu'on se disait – qu'est-ce que ça change, pour la personne qui est dans la MJC, d'avoir assisté à cette conférence ? Ou alors, est-ce que, quand on entend derrière que la personne, elle va revenir et nous dire : « Depuis, je me suis renseignée sur les logiciels libres, etc. », là, on est plus dans le domaine, effectivement, de l'évaluation d'impact ou d'utilité sociale – qui sont effectivement deux termes qui ne veulent pas dire la même chose, en tout cas qui ont des portées sémantiques assez différentes.

Donc, pour la faire courte, parce qu'on pourrait en parler assez longuement : le terme d'impact social, aujourd'hui, il a une connotation qui est beaucoup plus gestionnaire et tournée autour de la performance et de la reddition de comptes. En fait, on va mettre en place des indicateurs pour regarder si, effectivement, on atteint les objectifs qu'on s'est fixés, dans une perspective plus d'efficacité, voire d'efficience, qu'on va communiquer à ses financeurs, etc. Alors, c'est le terme dominant. C'est-à-dire que si on devait faire « qui a gagné l'histoire », clairement, c'est le terme d'impact social. Parce que c'est celui qu'on voit partout, sur lequel communique le gouvernement, qui est repris par beaucoup d'experts ; on a un marché des évaluateurs d'impact social, etc. Et puis après, on a un autre terme, celui d'utilité sociale, qui est un peu plus ancien, qui succédait au terme d'intérêt général, qu'on a retrouvé dans la loi de 2014 sur l'économie sociale et solidaire, et qui vient plus là interroger – au-delà, effectivement, des effets qu'on peut avoir sur ses bénéficiaires et dans une perspective gestionnaire – qui vient plus interroger les valeurs de la structure et la contribution, de monde en commun, qu'on porte. Il y a des charges sémantiques qui sont assez différentes, même si, dans la réalité, on a des évaluations d'impact social qui peuvent ressembler plus à des évaluations d'utilité sociale, dans la mesure où elles vont mobiliser beaucoup plus largement les bénéficiaires, les instances de gouvernance, etc. Mais en tout cas, on n'est pas sur exactement les mêmes idéologies qui sont portées par les deux termes.

Karl Top, merci. Et est-ce qu'il y a un enjeu, précisément, à ramener pour nous, associations, certains termes dans ce débat-là, à ton avis ?

Eléonore Oui. Il y a effectivement tout un enjeu de plaidoyer à faire sur ce que c'est, l'évaluation qu'on veut pour la structure associative. Parce qu'on l'a dit, en fait : les injonctions de l'évaluation, elles sont performatives, elles vont modifier la façon dont on conduit l'action, potentiellement. Donc il y a un réel enjeu, par exemple : si on est une structure qui va opérer sur le champ de la grande précarité, si le seul indicateur qu'on nous demande, c'est le nombre de douches, par exemple, ou le nombre de personnes qu'on a sorties de la rue, alors que ce n'est pas ce qu'on cherche à faire et que ce n'est pas son objet social, en fait, ça pose un réel problème. Donc il y a un vrai enjeu, justement, à faire du plaidoyer sur le type d'évaluation qu'on veut, et donc, derrière, apporter éventuellement certains termes plutôt que d'autres. Je crois que, moi, je n'incite pas nécessairement à ce qu'il y ait des querelles de chapelle infinies sur des termes, mais plus à aller montrer, derrière, la place qu'on veut donner aux chiffres. Est-ce que c'est cohérent ou pertinent par rapport à l'action qu'on porte ? C'est plutôt ça qui est le plus important.

Karl Est-ce que ce n'est pas juste une question de manque de moyens de la part des associations, au sens où, si on se restreint aux chiffres, c'est parce qu'on n'a pas les moyens d'aller plus loin ?

Yaël Et donc, peut-être, du coup, question couplée : est-ce que tu as des outils d'évaluation qui sont différents, tu vois, selon les types d'évaluation, ou de mesure, ou d'impact, que tu veux faire ?

Eléonore Alors, oui, il y a des outils qui sont différents, sachant que la question de l'outil, elle vient après la question de ce qu'on veut faire. Et donc, effectivement, il y a forcément un lien : l'outil n'est pas neutre, et il va découler de la question qu'on s'est posée initialement, et des valeurs aussi qu'on porte. On peut aller sur une évaluation très monétaire, par exemple en mobilisant des méthodes qui vont consister à calculer un retour social sur investissement, donc à dire, par exemple : quand vous investissez un euro chez PharmaSoft, vous créez deux euros de valeur sociale, super ! On entend bien que ça ne va pas mobiliser forcément les mêmes visions du monde. Donc oui, il y a des outils qui sont différents en fonction des questions initiales. Et puis aussi, dans l'évaluation, on distingue différents registres évaluatifs, qui vont venir un peu classer les grandes questions qu'on peut se poser. Donc, il y a celles, comme on a dit, qui sont dominantes autour de l'efficacité, de l'efficience. Est-ce qu'on a bien alloué les ressources ? Est-ce qu'on a bien atteint nos objectifs, par exemple ? Est-ce qu'on a bien sorti 70 % de personnes qui étaient en recherche d'emploi ? Est-ce qu'elles ont bien retrouvé un emploi ? Enfin voilà, ça c'est un peu l'indicateur méga classique d'efficacité qu'on retrouve beaucoup. Mais après, il y en a d'autres qui existent, de registres. Celui, par exemple, de la pertinence : est-ce qu'on répond aux besoins des personnes auxquelles on s'adresse ?

Pierre-Yves …de cohérence : est-ce que ce qu'on dit par rapport à ce qu'on fait, en interne et en externe, est cohérent ? Le registre d'utilité sociale : à quoi est-ce qu'on contribue plus largement pour la société ? Donc oui, les outils vont être différents en fonction. Oui, il y a les questions de ressources – je pense qu'on avait prévu d'en parler un peu après, mais en tout cas, c'est une des questions les plus importantes pour la question de l'évaluation.

Quelles ressources, en termes humains et financiers, on peut consacrer à cette question-là ? Au-delà de la question de l'envie, ça demande aussi des compétences, du temps d'animation, surtout si on veut être sur une démarche qui ne soit pas uniquement technicienne, mais qui vise à embarquer la vie associative dans cette question de l'évaluation. Parce que c'est important, on l'a dit : se questionner sur ce qu'on fait, sur le sens de ce qu'on fait, à peu près tout le monde le fait ; mais du coup, si on veut faire une vraie démarche…

Karl …effectivement, ça demande des ressources, du temps, de l'argent. Et en plus, pas que pour l'association, parce que dans ces cas-là, si tu fais une démarche d'évaluation un peu participative, c'est aussi du temps, de l'argent ou pas, mais en tout cas de la disponibilité que tu prends pour les personnes que tu vas mobiliser : tes usagers, tes bénéficiaires, ou les personnes que tu veux toucher mais que tu ne touches pas. D'où l'importance, derrière, de leur faire aussi un retour.

Yaël De ne pas garder les résultats que pour l'association, c'est ça.

Karl Ok. D'ailleurs, peut-être là-dessus – ça, c'est quelque chose que vous réfléchissez… Qu'est-ce que toi tu as mis en place, ou qu'est-ce que vous êtes en train d'expérimenter et de mettre en place à la… Donc c'est fédération et pas fondation, c'est ça ? Léo Lagrange ?

Pierre-Yves Moi, j'ai un terrain de thèse notamment qui est à Nantes, donc sur la ville, sur un contrat sur les temps périscolaires. Alors, pour les gens qui ne sont pas spécialistes, c'est les temps le matin, le midi et le soir à l'école, donc qui ne sont pas pris en charge par les professeurs des écoles, mais par des animateurs – alors qu'ils peuvent être soit salariés de la ville, soit salariés d'une organisation privée. En l'occurrence, là, c'est la Fédération Léo Lagrange.

Et donc là, en fait, on a essayé de réfléchir à ce que ça pourrait être, une démarche d'évaluation de l'utilité sociale territoriale de cette action-là. Et notamment en faisant le constat qu'au sein de la ville de Nantes, sur l'ensemble des écoles, il y a différentes échelles qui sont importantes à faire discuter. Et c'est important d'entendre à la fois les enfants, les parents, les animateurs, à un niveau tout petit, nano, au sein d'un accueil périscolaire.

Et donc là, en essayant au maximum d'utiliser des temps qui existent déjà – il y a des conseils d'école, des kermesses, etc. – d'utiliser des temps de la vie des parents, des enfants, pour justement éviter de les sur-solliciter, en essayant de mobiliser des techniques d'éducation populaire, de faire en sorte qu'on apprenne ensemble sur le sens de ce qu'on fait. Et d'en faire quelque chose qui soit aussi ludique, et pas seulement rébarbatif – des questionnaires de 30 pages sur les revenus du ménage, etc.

Et de faire en sorte qu'entre accueils périscolaires, au sein d'un même quartier, il y ait une discussion qui se fasse sur chacun sa propre vision de l'utilité en fonction de son quartier, de son micro-quartier, et de le faire discuter au niveau du quartier, et ensuite au niveau de la ville, pour qu'on ait des niveaux de consolidation qui permettent, à la fin, de ne pas non plus être noyés sous la masse des informations, mais de leur donner du sens un peu, petit à petit, et de les faire discuter comme ça.

Karl C'est hyper intéressant. Est-ce que c'est dans ce cadre-là que tu as mis en place une grille d'analyse ?

Pierre-Yves C'est un peu en amont, mais en fait, on a beaucoup parlé de ce qu'on pouvait mettre derrière les termes d'utilité sociale, d'impact social. Mais donc moi, je fais une thèse sur l'évaluation de l'utilité sociale territoriale. Donc il y a encore un mot très compliqué, le mot de territoire, qu'on retrouve utilisé beaucoup à tort et à travers, surtout parmi nos interlocuteurs de la commande publique. Et donc pour moi, j'avais déjà un premier enjeu d'essayer de me dire : mais en fait, qu'est-ce que ça veut dire, ce mot de territoire ? Et d'en dégager un peu différentes dimensions.

Donc, il y en a quatre que j'ai fait ressortir. Une dimension matérielle du territoire, alors qui renvoie à la fois à tout l'environnement naturel et infrastructurel du territoire. Mais en fait, face à ce territoire un peu géographique, souvent on donne du sens à cette géographie. Donc il y a tout un territoire symbolique et politique qui répond à ce territoire géographique. Moi, par exemple, je fais ma thèse notamment à Grenoble, où on a une identité très forte de la montagne, qui représente à la fois un territoire géographique, mais aussi symbolique et politique, où c'est souvent très lié. L'arc alpin, ça renvoie à plein d'images, etc.

Et au-delà de ça, on a une autre dialectique entre deux dimensions du terme « territoire ». Une dimension administrative – notamment, pour nous, pour qui c'est très important, un territoire qui nous est assigné par l'administration. Par exemple, un centre social, il a de telle rue à telle rue, c'est son territoire d'action et c'est ce pour quoi il est financé. Mais souvent, on se rend compte que sur ce territoire administratif, on va avoir un territoire organisationnel qui se greffe, qui est un territoire où les acteurs interagissent ensemble, construisent par leurs interactions les réseaux dans lesquels ils sont investis, un autre territoire. Et donc, on a ces quatre grandes dimensions. Ça fait MOSA, si on reprend chacune des…

Qui peuvent, en fait, dans le discours des associations, avoir un poids qui est assez variable. Il y a des associations qui vont donner un poids très fort à la dimension symbolique et politique, quand elles veulent retravailler sur l'image, par exemple, d'un quartier, etc. Et en fait, un des constats que j'ai fait, c'est qu'en fonction du type de rapport qu'on a au territoire, de compréhension qu'on a de son territoire – est-ce qu'on met, par exemple, une dimension très forte sur la dimension organisationnelle, un poids très fort, pardon –, ça va donner des évaluations qui seront un peu différentes en termes de questions qu'on va se poser, de méthodes qui sont utilisées.

Donc typiquement, sur une vision très organisationnelle du territoire, on va aller beaucoup discuter avec les autres acteurs qui sont autour quand on fait l'évaluation, pour essayer de comprendre le rôle qu'on joue dans un écosystème. Là où, quand on a finalement une vision très administrative de son territoire, on va aller répondre à des tableaux de bord, par exemple, de la politique de la ville, en regardant, comme on disait tout à l'heure, le nombre de jeunes de moins de 25 ans qui sont dans les quartiers prioritaires de la politique de la ville. Et donc, en fait, c'est une façon de donner du sens un peu à toutes ces évaluations qui existent et qui ont un volet territorial, et d'amener aussi à avoir des évaluations qui sont plus multidimensionnelles, et de ne pas s'arrêter nécessairement à une vision très administrative, et d'aller faire discuter le rapport plus symbolique qu'on peut avoir avec son territoire.

Yaël Oui, ce qui est hyper intéressant, en fait, c'est qu'on voit qu'au-delà de la dimension de la métrique, c'est-à-dire de voir ce qu'on évalue, il y a aussi la question de où est-ce qu'on l'évalue, sur quel périmètre on l'évalue, qui est une deuxième dimension qu'on a, je pense, souvent tendance à oublier, et que tu réintroduis à travers cette notion de territoire. Parce que finalement, j'ai aussi l'impression que ce territoire, souvent, il est imposé à l'association, qu'elle ne le choisit pas ; elle ne choisit pas dans quel cadre elle va mesurer ce qu'elle mesure. Et donc, finalement, ça biaise aussi l'évaluation de cette activité associative.

Pierre-Yves Oui, moi, c'était effectivement un des gros impensés que je constatais. On parlait de périmètre quand on commence une évaluation – sur quel périmètre on le fait –, mais en fait, souvent, la question du territoire, elle était assez vite réglée. Alors qu'on allait très longuement discuter de quel type de bénéficiaire, par exemple, on allait interroger, etc. Mais on ne prenait pas nécessairement plus en compte l'environnement global dans l'évaluation. Donc c'était une façon aussi de se dire : mais en fait, est-ce que ça a du sens de regarder des évaluations uniquement dans les quartiers prioritaires de la politique de la ville, ou dans des zones rurales à revitaliser, en fonction un peu des priorités qui sont données par le gouvernement sur certains programmes, etc. ?

Karl Ce que je trouve aussi hyper intéressant, c'est que même en amont de la notion de territoire, il y avait toute cette question de redéfinition et de se poser collectivement sur qu'est-ce qu'on veut chercher, avec toutes les représentations qu'on a de ce que serait une bonne action de son association, qui après te permet de poser la question de sur quel territoire, et de quelle représentation tu as de ce territoire, et qui tire le fil ; et ça, je trouve ça assez intéressant. Et du coup, peut-être pour finir, est-ce que tu aurais des conseils vraiment très pratiques, et même peut-être assez simples, pour aider les assos qui aimeraient peut-être déjà changer leur manière de mesurer leur action, pour aller plus sur de l'évaluation, peut-être un peu plus consciente de ce qu'elles font ?

Pierre-Yves Alors, c'est essentiellement, peut-être, de bien cerner justement, au départ, les questions qu'on se pose. Parce qu'effectivement, des questions, on peut en poser des milliers, ou alors on peut se laisser en imposer certaines. Donc cette phase de préparation de l'évaluation, elle est vraiment essentielle : de bien qualifier, en fait, ce qu'on va chercher, derrière, à approfondir.

Et ensuite, effectivement, d'être réaliste dans ses ambitions, parce que conduire une étude, remplir des indicateurs, ça demande du temps. Ça peut avoir des effets aussi très négatifs sur la qualité de vie au travail, de passer beaucoup de temps à renseigner des indicateurs. D'être conscient que chaque indicateur, derrière, il faut que ce soit une information dont on va pouvoir se servir : on n'est pas là pour collecter de l'information dont on ne se servira pas après. Donc, cette phase de préparation, elle est vraiment essentielle : faire quelque chose qui soit en phase avec le temps qu'on peut y consacrer, l'argent dont on dispose, les compétences dont on dispose, etc. Et après, il y a aussi plein de moyens de se faire un peu accompagner par les terrains des associations : c'est aussi de bons terrains de recherche pour des étudiants, des chercheurs, etc.

Eléonore Ça peut être aussi une bonne façon de se faire accompagner pour monter en compétence sur ces questions.

Karl Allez recruter des chercheurs dans les associations, c'est le message qu'on retiendra.

Yaël Non, mais c'est quand même hyper intéressant, parce que j'ai l'impression qu'on est plutôt, en ce moment, dans une sorte d'inflation de la donnée, dans tous les sens. On collecte la donnée, on ne sait pas à quoi ça va servir, mais au moins on l'a et on voit ce qu'on fait. Alors que là, ça permet de revenir, à défaut, sur une question de sobriété, en fait – juste de se réinterroger sur ce qu'on va chercher. Et ça, parfois, ça fait du bien juste de le dire. Du coup, ça fait la bonne transition avec la dernière partie de cette émission. Karl, je te laisse la parole pour voir comment est-ce qu'on peut aller au-delà de l'évaluation.

Karl Exactement, merci Yaël, parce qu'effectivement, ce qui était hyper intéressant dans l'intervention d'Eléonore, c'est le fait qu'il y a plusieurs dimensions à cette question de l'évaluation. Et puis, finalement, qu'il ne faut peut-être pas non plus se laisser imposer les critères d'évaluation qui ne nous semblent pas pertinents dans notre association. Et donc là, avec toi, Pierre-Yves, c'est hyper intéressant au niveau de Framasoft, puisque, finalement, ce que tu nous disais depuis le début, c'est qu'il y a beaucoup de critères qui ne vous paraissent pas forcément pertinents dans cette évaluation. Et que ce qui vous intéresse, vous – alors là, tu ne nous le disais pas depuis le début, mais en tout cas, nous, on le sait, parce qu'on a déjà discuté avec toi –, c'est cette notion de compostabilité. Donc la fameuse notion de compostabilité de l'association.

Yaël Et on l'attend depuis le début !

Karl Et donc, peut-être, pour commencer, une question très, très simple : qu'est-ce que c'est que la compostabilité ?

Pierre-Yves Alors, la compostabilité, c'est un terme qui m'a été soufflé par Laurent Marceau. Laurent Marceau, c'est une personne qui est animateur et formateur dans une structure qui s'appelle Animacoop, une coopérative qui forme énormément d'associations, qui est grande supportrice d'un logiciel libre qui s'appelle YesWiki. Et voilà, on se connaît depuis quelques années avec Laurent. Et du coup, souvent, ses pensées me nourrissent, j'allais dire, autour de la question de « où est-ce qu'on va, finalement, en termes de projet ? », « comment est-ce qu'on fait des alliances avec d'autres associations ? », etc. Et il y a quelques années, il m'a soufflé ce terme-là, auquel lui-même réfléchissait déjà depuis quelque temps, de compostabilité.

Et donc, la compostabilité, c'est finalement : qu'est-ce qui reste de nous, de nos actions, une fois qu'on n'est plus là ? Parce que, bonne ou mauvaise nouvelle, on va tous mourir. Plus tard sera peut-être le mieux, mais du coup, se pose forcément la question, pour une association : elle a forcément un début, un milieu, une fin de vie, et se pose la question de qu'est-ce qu'on laisse comme trace derrière. Et donc, pour nous, la question s'est posée plutôt il y a quelques années, puisqu'on a failli – Framasoft a failli mettre la clé sous la porte en 2014. Juste avant qu'on lance Dégooglisons Internet, il restait 2 000 euros sur le compte en banque. Il n'y avait pas vraiment de quoi payer mon salaire. Il se trouve que les dates ont bien collé. On a lancé la campagne, qui a très, très bien marché à ce moment-là. Mais du coup, moi, ça m'a beaucoup interrogé sur les questions de transmission, les questions de documentation, les questions de partage d'expérience, etc.

Et donc, cette compostabilité, à Framasoft, on essaye de la mettre en place de la façon suivante. C'est-à-dire qu'à chaque fois qu'on lance un projet un peu conséquent, on réfléchit à qu'est-ce qu'il coûte à la planète, qu'est-ce qu'il en reste. Donc, c'est vraiment l'idée du compost. Voilà : tes tomates et tes carottes, qu'est-ce que tu fais quand tu as épluché tes tomates et tes carottes ? Qu'est-ce qu'il en reste ? Qu'est-ce que tu en fais ? À quoi ça peut donner vie, aussi, derrière ? Et donc, quand on lance un projet, on se pose cette question-là, qui n'est pas non plus hyper complexe. Des fois, y répondre, ça peut être compliqué, mais ce n'est pas non plus une question hyper complexe.

Et du coup, ça nous a amenés, dans les actes, à faire un certain nombre de choses. Typiquement, je parlais tout à l'heure de « déframasoftiser Internet », c'est-à-dire : comment est-ce que nous, en fermant quelques projets, on peut donner de la visibilité à d'autres acteurs et d'autres actrices, notamment parmi les CHATONS – les membres de ce collectif des hébergeurs alternatifs, transparents, ouverts, neutres et solidaires, qu'on a impulsé fin 2016 ? Donc il y a une première question qui est, en fait : comment est-ce qu'on fait pour ne pas être l'arbre qui cache la lumière, finalement, à d'autres pousses associatives qui pourraient voir le jour si nous, on n'était pas là ? Donc, première question, c'était : comment est-ce que non seulement on essaime, mais comment est-ce qu'on peut aider d'autres à pousser avec leurs propres caractéristiques, etc. ?

Donc, comme dans un compost… souvent, dans ton compost, tu mets ton compost dans ton potager et tu le mets sur des courges. Et en fait, c'est des tomates qui poussent, parce que c'est les graines des tomates qui étaient dans le compost. Et tu ne le sais pas forcément, et c'est très bien que ça se passe comme ça. Donc, il y a un petit côté bouddhiste, d'impermanence des choses, à se dire : ok, en fait, notre structure, elle est là, on fait des trucs ensemble. Donc, pour Framasoft, on est avant tout une bande de copains, et non pas une hyper grosse association – même si on fait beaucoup de choses, mais on est avant tout une bande de copains. Donc, qu'est-ce qui reste après nous ? Il y a le côté essaimage, et il y a aussi un petit peu le côté « qu'est-ce qu'on est capable de transmettre », y compris comme valeurs ou comme mode de fonctionnement.

Et là, on a vu apparaître, ces deux dernières années, quelque chose qui arrivait de façon très ponctuelle avant : c'est que Framasoft commence à donner des conseils à d'autres associations. Et ça, moi, je ne m'y attendais pas du tout. Typiquement, mon collègue Pouhiou suit une association qui s'appelle Exodus Privacy, qu'il a conseillée – donc elle s'occupe essentiellement de travailler sur les questions de collecte de données personnelles sur les smartphones. Et je sais qu'il a passé du temps avec elles et eux sur la question des crowdfunding. Parce que nous, on en a fait plusieurs. On sait à peu près comment ça marche, on voit les écueils, etc. Donc, on partage de l'information là-dessus.

Moi, j'ai été contacté par différentes associations aussi. Il y en a deux auxquelles je pense. Une qui s'appelle L'Atelier Paysan, qui se posait des questions sur ses outils de gestion. C'est une structure qui existe aussi depuis un paquet d'années et qui fait un travail que nous, on trouve formidable, mais qui est assez éloigné du numérique : c'est comment est-ce qu'on peut se réapproprier les outils de l'agriculture et de la paysannerie. Et donc, on a été contactés sur des questions plutôt d'outils de gestion, parce qu'ils vont avoir besoin d'outils numériques pour partager les infos, etc.

Et du coup, ce phénomène que nous, on nomme « archipélisation », finalement, c'est : comment est-ce qu'on travaille avec d'autres structures ? Comment est-ce qu'on crée des liens entre nous et entre différentes associations pour se partager de l'info ? Ça crée, quelque part, une forme de compost de comment fonctionne Framasoft. Et donc, derrière, voilà, que ce soit L'Atelier Paysan ou une autre association qu'on aime beaucoup et qui, là aussi, n'a pas le numérique pour sujet à la base, qui s'appelle Infoclimat, qui, elle, travaille sur la question de la collecte de données et la traduction de ces données climatiques… Moi, je trouve qu'ils font un boulot de dingue. Sur, si tu veux savoir le temps qu'il faisait à Trifouillis-les-Oies le 9 novembre 1984, tu peux le savoir. Et ce n'est pas des infos que tu vas trouver facilement. Et du coup, avoir accès à toutes ces données-là, pour moi, on est sur un service qui, à la limite, est plus important qu'un service public. C'est vraiment un service d'intérêt général pour essayer de prévoir un petit peu et d'anticiper la merde qui va nous tomber sur la tête, qui commence à nous arriver maintenant chaque année avec les canicules et autres.

Et donc, ces gens-là m'ont contacté pour me dire : voilà, on voudrait embaucher notre premier salarié et on ne sait pas trop comment faire. Bon, ils auraient pu se renseigner auprès de n'importe quelle asso. Et du coup, nous, on leur transmet un certain nombre d'informations. Enfin, moi, j'ai échangé avec eux un certain nombre de fois. J'ai été invité dans un de leurs CA. Et ce que je trouve intéressant, c'est que, finalement, on n'est pas uniquement sur du partage d'infos. On est sur quelque chose – c'est pour ça que je parle de compost – où on mixe des choses que nous, on a faites, qu'eux vont intégrer à leur propre terreau pour essayer de faire émerger des solutions. Et je trouve que ça, c'est quelque chose… Je ne vais pas dire qu'il n'y a que les associations qui peuvent le faire, mais l'idée même de se dire « qu'est-ce que je peux composter de moi-même » est tellement anticapitalistique que c'est une valeur qui me semble importante. En tout cas, un sujet, un domaine, un périmètre qu'on peut explorer sans trop craindre de se voir bouffer par le capitalisme à impact social dont parlait Eléonore tout à l'heure.

Karl Mais est-ce que, finalement, cette compostabilité, ce n'est pas votre vraie métrique ? C'est-à-dire que, de ce que tu en dis là, ce que vous cherchez, c'est in fine à avoir une influence libriste sur le monde des associations, et puis sur les usagers, les personnes qui viennent fréquenter vos sites web, en fait.

Pierre-Yves Forcément, je ne vais pas renier mon côté… je ne vais pas renier mon côté libriste. Depuis 20 ans, on fait du logiciel libre. Framasoft, au départ, a publié des tutoriels et des fiches logicielles sur ce que fait tel ou tel logiciel, et tout ça a toujours été sous licence libre. Nos livres – on a quand même une cinquantaine d'ouvrages dans la collection Framabook – sont tous sous licence libre. Ça veut dire que tu peux les reprendre, les copier, les imprimer, les revendre si tu veux, etc. Donc on a déjà cette notion-là en nous, finalement : que la propriété intellectuelle est un leurre. Et cette propriété intellectuelle… moi je dis que c'est un leurre, mais il se trouve qu'il y a un code de la propriété intellectuelle, donc je vis dans un monde réel et je dois faire avec ce code-là.

Mais on peut essayer d'inventer un monde et de montrer – encore une fois, je parlais de préfiguration – on peut préfigurer des espaces où cette propriété intellectuelle n'a pas lieu d'être. Et ça permet d'essayer d'inventer des imaginaires alternatifs qui sont, pour nous, vachement plus intéressants que de se dire : « Est-ce qu'on va passer de 1 million de visiteurs à 2 millions de visiteurs ? » En fait, la façon dont on fonctionne, puisqu'on a un certain succès – je touche du bois pour l'instant – si demain ça ne fonctionne plus, ce n'est pas très très grave, on pourra faire autre chose. Chaque salarié de Framasoft retrouvera sa place dans la société, je pense, sans trop trop de difficultés. Et derrière, nous, on sera en capacité de se dire : en fait, on a apporté quelque chose au monde, et même si on n'existe plus en tant que tel, tout ce qu'on a produit aura été sous licence libre, aura pu être repris et pourra potentiellement en avoir inspiré d'autres.

Yaël Super. Merci beaucoup Pierre-Yves, je propose qu'on s'arrête sur cette superbe conclusion. Merci beaucoup encore à tous les deux, Pierre-Yves et Eléonore, de nous avoir accompagnés, d'avoir répondu à toutes nos questions pour ce nouvel épisode de Questions d'Asso, le podcast par et pour les assos. Et merci surtout à vous de nous avoir écoutés. On espère que cet épisode vous aura été utile et que vous aurez pris plaisir à l'écouter. Et si notre discussion a pu faire écho à des situations que vous avez vécues, nous vous invitons chaleureusement à nous le dire en nous envoyant vos témoignages par mail, à l'adresse hello@questions-asso.com, que vous retrouverez de toute façon dans la description de cet épisode.

Pour rappel, vous pouvez nous suivre sur votre plateforme de podcast préférée : SoundCloud, Spotify, Deezer, Apple Podcasts, Google Podcasts… (rires) je suis un peu fatiguée, ça doit être la fin de l'émission. Vous pouvez également vous abonner à notre newsletter pour ne manquer aucun épisode, et vous retrouverez toutes les informations, les liens et les ressources que nous avons évoqués durant notre discussion sur notre site web. Cet épisode a été réalisé avec le soutien de la MAIF. Aujourd'hui, c'est Reha Simon de Synchrone.TV qui est à la réalisation, et la jolie musique que vous allez maintenant entendre est l'œuvre de Sons of Nowhere. Merci de nous avoir écoutés et rendez-vous le mois prochain – ou peut-être dans deux mois, bon, un gros mois, le gros mois prochain – pour un nouvel épisode de Questions d'Asso.