Entretien avec Gabrielle Du Boucher, sur le rapport « Algorithmes, systèmes d’IA et services publics : quels droits pour les usagers ? » du Défenseur des droits

Gabrielle Du Boucher : Le rapport "Algorithmes, systèmes d’IA et services publics : quels droits pour les usagers" s’inscrit dans les missions du Défenseur des droits, définies par la Constitution française et la loi organique de 2011. Ces textes confèrent à l’institution la responsabilité de veiller au respect des droits et libertés dans plusieurs domaines, notamment ceux des usagers des services publics. Ces services incluent non seulement les administrations de l’État, les collectivités territoriales et les établissements publics, mais également les organismes privés investis d’une mission de service public.

Outre la défense des droits des usagers de services publics, le Défenseur des a d’autres compétences dans le domaine des droits et libertés : 
* La défense et la promotion de l’intérêt supérieur des droits de l’enfant.
* La lutte contre les discriminations, domaine dans lequel l’institution avait collaboré dès 2020 avec la CNIL dans un rapport en 2020 sur les risques d’automatisation de la discrimination pour analyser les risques d’automatisation de la discrimination liés à l’usage d’algorithmes.
* Le contrôle de la déontologie des forces de sécurité.
* La protection des lanceurs d’alerte.

Le sujet des algorithmes est lié aux champs de compétences du Défenseur des droits. À titre d’exemple, en lien avec la protection des enfants, des enjeux comme les bulles de filtre et les algorithmes de recommandation soulèvent des préoccupations relatives au respect de leurs droits.
Le déploiement des algorithmes, qu’ils soient simples ou basés sur l’apprentissage automatique, soulève des soulève de nouveaux enjeux pour les droits des usagers des services publics sur les droits des usagers des services publics. Ce rapport s’inscrit ainsi dans la continuité des travaux menés par le Défenseur des droits sur la numérisation des services publics.

* La numérisation et ses conséquences : En 2019, un rapport intitulé Dématérialisation et égalité d’accès aux services publics alertait sur les difficultés rencontrées par certaines populations face à la numérisation des services publics. Parmi ses recommandations figuraient la nécessité de maintenir plusieurs voies d’accès aux services publics et de prendre en compte les besoins spécifiques des usagers, notamment ceux en situation de handicap ou les personnes détenues. Un rapport de suivi publié trois ans plus tard (en 2022) notait que, malgré des progrès, des inégalités persistaient, mettant en lumière entre autres recommandations l’importance de proposer aux usagers un choix de modes de relation avec l’administration, sans les contraindre à une interaction exclusivement numérique.
* Ruptures de droits et plaintes récurrentes pour les demandes et renouvellement de titres de séjour : La problématique de la dématérialisation demeure une part importante des réclamations adressées au Défenseur des droits chaque année et concerne les difficultés liées à cette transition numérique, le nombre de saisines ciblant le droit des étrangers explose quant à lui avec la dématérialisation totale engagée. Un récent rapport sur la numérisation des demandes de titres de séjour (ANEF) a mis en évidence des ruptures de droits significatives.

Dans ce contexte, le rapport sur les algorithmes s’intéresse spécifiquement aux enjeux  liés à l’utilisation de ces outils dans les services publics. Il met en évidence le fait que les usagers des services publics disposent de droits, lesquels peuvent être compromis par l’utilisation d’algorithmes, particulièrement lorsqu’ils sont utilisés pour prendre des décisions administratives individuelles. Ce rapport s’inscrit donc pleinement dans la mission du Défenseur des droits de garantir la défense des droits des usagers des services publics, tout en tenant compte des problématiques plus larges et persistantes de numérisation et de dématérialisation.

Gabrielle Du Boucher : L’objectif principal du rapport est de répondre à une question centrale : l’utilisation d’algorithmes par les services publics pour prendre des décisions individuelles, entièrement ou partiellement automatisées, respecte-t-elle les droits des usagers ? Le rapport identifie des constats, des points de vigilance et propose des recommandations pour garantir le respect de ces droits et, le cas échéant, les faire évoluer.

Le Défenseur des droits a dégagé deux enjeux principaux :
Tout d’abord, l’intervention humaine dans le processus décisionnel 
* Au niveau du système : Lorsqu’un service public utilise un algorithme, il doit veiller à ce que le système respecte la loi et le cadre juridique, à en conserver la maîtrise et à garantir son bon fonctionnement, le cas échéant en conformité avec des arrêtés spécifiques.
* Au niveau individuel : Lorsque des décisions individuelles ne sont pas entièrement automatisées, une intervention humaine est prévue pour garantir le contrôle et la légitimité du processus. Le rapport souligne cependant que cette intervention est parfois inexistante ou insuffisante, se limitant parfois à une validation purement formelle.

Ainsi, au niveau de la prise de décision individuelle, le Défenseur des Droits insiste sur la nécessité de préciser cette intervention humaine, notamment en établissant des critères et des modes opératoires clairs :
* Déterminer les moments d’intervention de l’agent dans le processus.
* Identifier les données supplémentaires (au-delà de celles utilisées par l’algorithme) prises en compte, le cas échéant, par l’agent.
* Clarifier l’objectif premier de cette intervention, pour qu’elle soit substantielle et crédible.

Ces considérations sont particulièrement critiques lorsque des données sensibles sont impliquées. Le Défenseur des Droits appelle à une clarification de cette notion, car des divergences subsistent entre les interprétations du droit européen, notamment la CJUE, et celles de la jurisprudence nationale.
Par ailleurs, la transparence, qui constitue le second enjeu, inclut la compréhension et la contestation des décisions, toutefois elle se concrétise parfois de façon insatisfaisante. À titre d’exemple, à l’occasion de l’instruction d’une réclamation concernant Affelnet, le Défenseur des Droits a considéré que l’académie ne respectait pas la transparence requise par les dispositions du code des relations entre le public et l’administration (CRPA).

Gabrielle Du Boucher : La transparence est au cœur des recommandations du rapport, car elle constitue un principe fondamental, notamment en matière d’action administrative. Le rapport identifie trois séries d’enjeux principaux, ainsi que des obstacles spécifiques à leur mise en œuvre :
* Enjeux individuels pour les usagers : Pour chaque usager concerné par une décision, qu’elle soit entièrement ou partiellement automatisée, la transparence est une exigence légale découlant de principes constitutionnels, tels que l’article 15 de la Déclaration des Droits de l’Homme et du Citoyen (DDHC). Cette obligation est renforcée par les dispositions du Code des relations entre le public et l’administration (CRPA) et, dans certains cas, par le RGPD. L’objectif est de permettre aux usagers de comprendre les décisions prises, notamment en rendant accessibles les informations sur la logique sous-jacente de l’algorithme. Cela leur donne la possibilité de contester ces décisions si nécessaire. Toutefois, un obstacle majeur réside dans la clarté et l’utilité des informations fournies. Ces informations, bien qu’exigées par le CRPA ou le RGPD, ne sont pas toujours présentées de manière compréhensible pour les usagers. À titre d’illustration, dans le cas AFELNET, la complexité et la densité des informations communiquées ne répondent pas aux standards de transparence attendus pour garantir une réelle compréhension.
* Enjeux collectifs : Le CRPA impose aux administrations d’une certaine taille (50 agents ou plus) de publier en ligne les règles définissant les principaux traitements algorithmiques utilisés pour des décisions individuelles. Toutefois, cette obligation est encore très peu respectée, ce qui nuit à la transparence collective. L’Observatoire des algorithmes publics, lancé récemment, vise à centraliser et rendre visibles ces informations, mais son impact reste à développer pour surmonter les lacunes actuelles. Le défi collectif est également lié à la technicité des algorithmes, rendant leur compréhension et leur évaluation difficiles pour les citoyens et les organisations qui souhaitent les examiner.
* Enjeux internes pour l’administration : La transparence interne, indispensable à la maîtrise des outils algorithmiques, est souvent insuffisante. Les administrations, qui peuvent largement recourir à des prestataires privés pour des pans de leurs systèmes informatiques, peuvent rencontrer des difficultés à comprendre les résultats générés par ces systèmes. Cela soulève une question cruciale : l’administration est-elle capable de comprendre et de justifier ses propres décisions ? À titre d’exemple, Certains agents ont pu rapporter ne pas savoir expliquer comment certains montants d’allocations sont calculés, ce qui met en doute la capacité pour l’administration responsable à maîtriser les systèmes utilisés. 

Gabrielle Du Boucher : Le rapport formule plusieurs recommandations se situant à des niveaux d’opérationnalité distincts. Notamment, il appelle l’attention sur les nécessités suivantes :
* Renforcer le respect des obligations de publication en ligne des règles définissant les principaux traitements algorithmiques utilisés par les administrations et prévoir des sanctions en cas de non-respect par les administrations de cette obligation prévue par le CRPA.
* Enrichir et valoriser le guide des algorithmes publics créé par la DINUM avec des exemples adaptés pour les collectivités territoriales et de façon plus générale, que le Gouvernement assure un soutien effectif aux administrations et organismes publics concernés pour leur permettre de saisir concrètement la portée des obligations existantes.
* Consacrer un véritable « droit à l’explication » pour toutes les décisions administratives individuelles partiellement ou entièrement automatisées, en s’inspirant de ce que le règlement IA prévoit : un « droit à l’explication des décisions individuelles » pour toute personne faisant l’objet d’une décision prise par un organisme sur la base des sorties (ou résultats) d’un système d’IA dit « à haut risque » au titre de l’annexe III du règlement. Cela implique notamment de créer des outils pédagogiques qui permettent d’analyser précisément les explications pour les rendre compréhensibles.
* Associer les usagers à la conception des mentions explicatives afin de mieux répondre à leurs besoins.

Gabrielle Du Boucher : Tout d’abord cette intervention humaine dépend du contexte dans lequel les systèmes d'IA sont mis en œuvre, ainsi que du cadre juridique et opérationnel qui les régit. Pour les IA à haut risque, l’annexe 3 du règlement de l’UE sur l’IA adopté en 2024 fournit un aperçu des systèmes autorisés pour les autorités publiques ou utilisés en leur nom, notamment pour évaluer l’éligibilité aux prestations et services sociaux essentiels, ainsi qu’aux services de santé. Cette mention met en lumière l’importance de l’intervention humaine pour les personnes concernées par ces décisions.

En complément des propositions du rapport, l’article 14 du RIA évoque un mécanisme de vérification applicable à certains systèmes d’IA à haut risque : « aucune mesure ou décision n’est prise (…) sur la base de l’identification résultant du système sans vérification et confirmation distinctes de cette identification par au moins deux personnes physiques disposant des compétences, de la formation et de l’autorité nécessaires ».

De façon générale, l’intervention humaine la plus effective doit être évaluée de manière concrète, au cas par cas, en fonction du type de système d’IA et de l’organisme où il est déployé. Il est crucial que les personnes les plus proches du système, ayant une connaissance approfondie des impacts sur les utilisateurs finaux, soient impliquées dans cette évaluation. Par ailleurs, certaines normes en cours d’élaboration fourniront des orientations essentielles à ce sujet. Étant donné leur importance pour la mise en œuvre du règlement, il conviendra de surveiller attentivement les indications qu’elles offriront.

Enfin, il est indispensable que ces normes intègrent une approche centrée sur les droits fondamentaux. Le Défenseur des droits tente, avec ses partenaires, d’orienter les travaux en ce sens, en veillant à ce que les droits des individus soient mieux pris en compte dans ces instances, là où cette problématique reste parfois insuffisamment représentée.

Gabrielle Du Boucher : Le règlement sur l’intelligence artificielle (RIA) insiste à plusieurs reprises sur la nécessité de doter les personnes travaillant au sein des organismes déployant ces systèmes des compétences et formations adéquates pour assurer un contrôle humain efficace. À titre d’illustration, l’article 3.26 fournit une définition de la maîtrise de l’IA, tandis que les articles 4, 14, 26 et 62 abordent les obligations de formation et de supervision.

Cette dimension est essentielle. Même si le Défenseur des droits n’intervient pas directement dans l’organisation interne des administrations, il souligne l’importance d’un temps dédié à la formation des agents publics, non seulement avant la mise en œuvre des systèmes d’IA, mais aussi sur une base régulière pour maintenir leurs compétences à jour face à l’évolution rapide des technologies.

Le contexte politique actuel met en avant l’accélération des processus administratifs grâce à l’IA. Toutefois, le Défenseur des Droits insiste sur une vision du service public qui place les droits fondamentaux des usagers au centre des préoccupations. Cette approche nécessite une formation approfondie des agents afin qu’ils puissent non seulement utiliser ces outils efficacement, mais aussi prendre le recul nécessaire pour évaluer leur impact au-delà des seuls avantages opérationnels, tels que la rapidité de traitement.
Des problèmes d’explicabilité des décisions prises par des systèmes d’IA ont été signalés. Ces décisions ne sont pas toujours suffisamment claires ou compréhensibles pour les agents eux-mêmes, rendant difficile leur transmission ou leur justification aux usagers. Cela démontre la nécessité de formations spécifiques, ciblées sur l’interprétation et la gestion des systèmes d’IA, de manière à garantir une compréhension approfondie, ainsi qu’une capacité d’intervention rapide et adaptée.

Assurer une formation interne adaptée est donc importante selon le Défenseur des droits, pour que les agents publics puissent superviser efficacement les systèmes d’IA, garantir leur conformité aux droits fondamentaux et répondre aux besoins des usagers.

Gabrielle Du Boucher : Tout d’abord, la transparence, qui est souvent invoquée comme un mode de légitimation de l’action publique (Jean-François Kerléo) ne doit pas se limiter à une simple obligation formelle, elle doit aussi permettre de remettre en question les objectifs poursuivis par les systèmes algorithmiques, voire de réorienter ces systèmes si nécessaire. Seules des analyses approfondies et collectives de l’aspect structurel de ces systèmes pourront alimenter un débat public informé.

Ces analyses permettent de détecter et d’éviter les atteintes aux droits fondamentaux des usagers. Si la non-discrimination figure souvent au premier plan, d’autres droits fondamentaux, comme la protection de la santé et la sûreté, sont également concernés dans les multiples domaines où ces systèmes sont déployés. En réalité, tous les droits fondamentaux peuvent potentiellement être impactés par l’utilisation des systèmes d’IA.

Le règlement IA prévoit à ce titre des garanties. Entre autres, l’article 77 relatif aux « autorités de protection des droits fondamentaux » au niveau national, confère désormais notamment au Défenseur des droits la possibilité de demander toute documentation pertinente, dans un format et une langue accessible, lorsque cela est nécessaire pour évaluer d’éventuelles violations des droits fondamentaux. Le Défenseur des droits peut également, en cas de doute sur le respect des droits fondamentaux, solliciter l’autorité dite de surveillance du marché concerné pour réaliser des tests sur les systèmes d’IA à haut risque.

En outre, les articles 79 et 82 du Règlement IA imposent une coopération entre les autorités nationales de supervision et l’autorité de protection des droits fondamentaux. Ces autorités doivent partager les informations pertinentes et signaler tout risque identifié pour les droits fondamentaux.

Cependant, une question cruciale reste en suspens : les moyens techniques, humains et matériels dont disposeront les autorités de protection des droits fondamentaux désignées au titre de l’article 77. Pour mener à bien leurs missions, ces autorités doivent être dotées de ressources suffisantes et adaptées aux tâches prévues par le règlement.

L’article 6.3 du Règlement IA, qui prévoit un système de filtres pour évaluer les catégories de risque, suscite une inquiétude pour le Défenseur des droits. Ce mécanisme permettrait, via une auto-évaluation, de sortir certains systèmes d’IA de la catégorie des systèmes à haut risque. Une telle disposition est jugée insuffisante pour garantir une supervision efficace et soulève des doutes quant à la fiabilité de l’évaluation des risques potentiels.

En ce qui concerne les catégories de risques définies par le Règlement IA, le Défenseur des droits s’interroge sur leur pertinence pour les services publics. Avant même l’adoption du Règlement, le Défenseur des droits avait exprimé ses préoccupations, notamment dans son dernier plaidoyer public, en demandant explicitement d’ajouter les systèmes biométriques utilisés en temps réel dans l’espace public à la liste des technologies interdites. Cette demande reste toujours d’actualité compte tenu des risques que posent ces technologies pour les droits fondamentaux.

Enfin et surtout, le Règlement IA devra être accompagné de garanties, notamment en matière de surveillance par les autorités compétentes, afin d’assurer une mise en œuvre qui protège effectivement les usagers et respecte les droits fondamentaux.