Entretien avec Sarah Benichou, Directrice de la promotion de l’égalité et de l’accès aux droits, Défenseur des droits

Parlez-nous du Défenseur des droits (DDD) et de ses missions ?

Sarah Benichou : Le Défenseur des droits est une institution indépendante de l’Etat, créée en 2011 et inscrite dans la Constitution. Elle s’est vue confier deux missions : défendre les personnes dont les droits ne sont pas respectés d’une part, et permettre l’égalité de tous et toutes dans l’accès aux droits d’autre part.

Toute personne physique (un individu) ou toute personne morale (une société, une association…) peut le saisir directement et gratuitement lorsqu'elle :

• Pense qu'elle est discriminée ;
• Constate qu'un représentant de l'ordre public (police, gendarmerie, douane...) ou privé (un agent de sécurité…) n'a pas respecté les règles de bonne conduite ;
• A des difficultés dans ses relations avec un service public (Caisse d'Allocations Familiales, Pôle Emploi, retraite…) ;
• Estime que les droits d'un enfant ne sont pas respectés ;
• A besoin de protection et/ou d’orientation en tant que lanceur d’alerte.

Ces missions du Défenseur des droits ont été définies par la loi organique n° 2011-333 du 29 mars 2011 relative au Défenseur des droits.

Pour veiller au respect des droits et des libertés de chacun, le Défenseur des droits dispose de deux moyens d'action : d'une part, il traite en droit les demandes individuelles qu'il reçoit directement au siège ou par l’intermédiaire de son réseau territorial composé de 550 délégués et de l'autre, il mène des actions de promotion des droits et de l'égalité.

Quelle est la doctrine développée par le Défenseur des droits sur le numérique et sur l'intelligence artificielle ?

Sarah Benichou : Le Défenseur des droits (DDD) a investi le champ des droits dans le monde numérique qui recouvre de multiples problématiques. Au-delà de la dématérialisation des services publics (leur numérisation) et de leur nécessaire accessibilité, il s’intéresse particulièrement à la question des mineurs, comme en témoigne par exemple le programme Educadroit  qui porte notamment sur les questions liées aux droits de l’enfant dans un monde numérique. Ce programme vise à sensibiliser les jeunes à leur droit : les sensibiliser comme sujets de droit et non seulement comme objets de droit. Par ailleurs, le rapport annuel consacré aux droits de l’enfant de 2022 intitulé « La vie privée : un droit pour l’enfant » s’ouvre sur le droit des enfants à la protection de leur vie privée dans les sphères numérique et médiatique.

La question des algorithmes traversant l’ensemble de ses champs de compétence, le DDD a approfondi ses travaux sous l’angle des discriminations, aussi bien sur les algorithmes publics que privés, sous forme d’avis, de décisions ou encore de rapports et ceci dans des domaines variés.

Pour ce qui concerne le secteur privé, dès 2015, le Défenseur des droits a publié un guide pour “Recruter avec des outils numériques sans discriminer”.

En ce qui concerne les algorithmes publics, le rapport « Lutte contre la fraude aux prestations sociales : à quel prix pour les usagers? », paru en septembre 2017, constitue le premier document dans lequel le Défenseur des droits aborde spécifiquement les questions d’algorithmes et le recours aux processus de data mining. Le rapport pointe que les atteintes aux droits des usagers et aux principes susceptibles de les garantir, tels que l’égalité devant les services publics, la dignité de la personne ou encore les droits de la défense, affectent chacune des étapes de la mise en œuvre de la politique de lutte contre la fraude aux prestations sociales (de la détection de la fraude à sa sanction, en passant par le recouvrement des sommes indûment versées). Le Défenseur des droits, conscient des développements récents dans ce domaine, envisage une nouvelle actualisation de ces travaux.

Dans son Avis 18-26 du 31 octobre 2018 relatif au projet de loi de programmation 2018-2022 et de réforme pour la justice, le Défenseur des droits a attiré l’attention du législateur sur la nécessité d’aborder avec précaution le recours aux algorithmes. Il relève que les expérimentations qui ont pu être d’ores et déjà menées en France, notamment par des magistrats des cours d’appel de Douai et de Rennes, ont mis en évidence les limites du système qui relève davantage d’une approche statistique et quantitative que qualitative, et ne permet pas toujours d’appréhender les subtilités de la motivation des décisions de justice.

Par ailleurs, dans le cadre du projet de loi bioéthique, le DDD avait rendu un Avis 19-11 du 5 septembre 2019. Il rappelle le caractère nécessaire de l’instauration d’un principe d’intervention humaine lors de traitements algorithmiques de données massives de santé qui posent des questions éthiques et juridiques majeures et soutient la bonne information du patient.

Puis, avec la Décision n°2018-323 du 21 décembre 2018, le Défenseur des droits s’est autosaisi de la question de l’accompagnement des candidats en situation de handicap dans le cadre de la nouvelle procédure Parcoursup. Il a été pointé le défaut d’accessibilité du logiciel pour les personnes en situation de handicap. Par exemple, un lycéen bachelier handicapé ne pouvait pas préciser pourquoi il y avait eu des ruptures dans son parcours scolaire, des absences importantes liées à son état de santé et non à son envie d’aller à l’école. Cela évidemment pouvait nuire à l’appréciation qui pouvait être faite sur son dossier et à la prise en compte de ses vœux. Il fallait prévoir la possibilité pour ces bacheliers en situation de handicap d’expliquer ces points-là afin d’être sûr qu’ils ne fassent pas l’objet de discrimination. Ainsi, le Défenseur des droits a recommandé à la ministre de l’enseignement supérieur, de la recherche et de l’innovation de prendre les mesures appropriées afin de garantir aux personnes handicapées un accès sans discrimination et sur la base de l’égalité avec les autres, à l’enseignement supérieur, conformément à l’article 24.5 de la Convention internationale des droits des personnes handicapées (CIDPH).

Ensuite, la décision n°2019-099 du 8 avril 2019 a pointé les risques de discriminations liées au lieu de résidence sur la plateforme Parcoursup. Il a été relevé le risque de discrimination géographique par la prise en compte du critère du lieu de résidence à travers la sectorisation et la modulation des moyennes selon les lycées. Il a été signalé ce risque de discrimination indirecte en raison de l’origine au regard des effets de relations scolaires et spatiales qui existent aujourd’hui. L’illégalité de certaines dispositions légales relatives aux traitements algorithmiques locaux c’est-à-dire mis en œuvre par les établissements d’enseignement supérieur a été dénoncée devant les tribunaux et le Conseil Constitutionnel via une question prioritaire de constitutionnalité portée devant le Conseil constitutionnel. Les élèves ne peuvent connaître le détail du processus décisionnel qu’une fois qu’une décision de refus a été prise à leur égard et les informations communiquées à ce stade portent sur « les critères et modalités d’examen de leurs candidatures » ainsi que sur les motifs pédagogiques qui justifient la décision prise. Ce qui entraîne généralement des incompréhensions de la part aussi bien des élèves que de leurs parents.

A partir de ces travaux et décisions, l’institution a mené une réflexion importante sur les biais algorithmiques, ce qui a demandé de mieux comprendre les algorithmes apprenants, et les machines de deep learning, des systèmes très complexes d’un point de vue technologique.

Cela s’est notamment traduit par l’organisation en mai 2020 avec la CNIL d’un séminaire sur la discrimination algorithmique afin d’améliorer la compréhension du sujet et d’examiner plusieurs approches pour relever les défis que pose ce phénomène. Puis, le DDD a publié avec le soutien de la CNIL une déclaration de mai 2020 présentant ses grandes recommandations « Algorithmes : prévenir l’automatisation des discriminations » et rencontré de multiples acteurs pour les sensibiliser à ces enjeux peu présents dans les débats publics français.

Si les algorithmes peuvent fonctionner avec tous types de données (données à caractère personnel ou non, données sensibles ou non), les algorithmes traitant des données biométriques (qui font partie des données sensibles) présentent des risques particuliers. Avec les technologies biométriques, il y a aussi des risques de discrimination et d’atteinte aux droits spécifiques qui ont fait l’objet d’un nouveau rapport : « Technologies biométriques : l’impératif respect des droits fondamentaux » (2021).  Le Défenseur des droits alertait sur les risques significatifs que comportent les technologies d’identification, en particulier lorsqu’elles sont déployées sur la voie publique. Il existe en effet un risque non négligeable pour le respect de la vie privée, mais aussi un risque discriminatoire (tant dû aux biais des algorithmes de reconnaissance faciale que de la manière dont ces algorithmes peuvent être mobilisés en pratique), mais aussi un risque d’effet dissuasif, c’est-à-dire un risque que les individus, du fait qu’ils se savent surveillés, altèrent leur comportement et renoncent à exercer leurs droits fondamentaux, au premier rang desquels figurent la liberté d’expression et la liberté de manifestation.

Dans la continuité de ce rapport, une enquête a été menée en octobre 2022 sur la perception du développement des technologies biométriques en France. Il ressort de cette enquête l’existence d’un important déficit d’information du public en la matière, d’un degré de confiance variable en fonction des entités responsables des déploiements de ces systèmes, d’une prise de conscience croissante des risques d’atteinte aux droits et d’une forte volonté de voir l’encadrement juridique existant renforcé.

Face au déficit d’information et de formation relevé chez les acteurs, le Défenseur des droits développe aussi des outils de sensibilisation. En premier lieu, il y a la formation « Intelligence Artificielle et discriminations » (éditions 2021 et 2022) réalisée en partenariat avec le Conseil de l’Europe. Cette formation pluridisciplinaire vise à mieux étudier les différentes problématiques liées aux risques de discrimination.

Ensuite, des séminaires avec Equinet, le réseau européen des organismes de promotion de l’égalité, ont été organisés en 2021 et en 2022 dans le cadre d’une autre formation des membres de ce réseau sur IA et égalité.

L’expression « intelligence artificielle » vous paraît-elle suffisamment claire ?

Sarah Benichou : Le défenseur des droits n’utilisait pas cette expression au début de ses travaux, privilégiant les termes d’algorithmes (« fermés » ou « apprenants »). Les termes « Intelligence Artificielle », peu compréhensibles ni pédagogiques, ont un effet à la fois de sidération et de déresponsabilisation des humains. Or, il y a toujours une décision humaine à la base, même si celle-ci est plus ou moins importante selon le système dont il s’agit.

Les enjeux liés à la définition de l’intelligence artificielle et surtout de qui la définit sont, de toute évidence, déterminants aujourd’hui pour la définition de leur réglementation et des modalités de leur contrôle. Une définition trop large de l’IA pose un vrai problème aux acteurs économiques. Mais avec une définition trop étroite, on court le risque de ne pas suffisamment contrôler des technologies importantes. De plus, la définition, quelle qu’elle soit, doit être suffisamment souple, car l’utilisation de l’IA et les capacités de cette technologie évoluent rapidement.

Il n’existe pas de définition unique de l’IA. L’une des conceptions est tirée du rapport Discrimination, intelligence artificielle et décisions algorithmiques de Frederik Zuiderveen Borgesius qui dit : l’intelligence artificielle (IA) peut être décrite de façon simplifiée comme « la science visant à rendre les machines intelligentes ». Plus formellement, c’est « l’étude de la conception d’agents intelligents ». Dans ce contexte, un agent est « une chose qui agit », tel un ordinateur par exemple.

Selon la CNIL, l’intelligence artificielle n’est pas une technologie à proprement parler mais plutôt un domaine scientifique dans lequel des outils peuvent être classés lorsqu’ils respectent certains critères. L’IA repose donc sur des algorithmes qui se nourrissent de données.

Comment prévenir l’automatisation des discriminations ?

Sarah Benichou : Les outils numériques, dont l’usage s’est accru avec la crise sanitaire de la COVID-19, reposent souvent sur des algorithmes sans que le grand public en soit toujours conscient ou informé. Désormais utilisés dans des domaines tels que l’accès aux prestations sociales, la police, la justice ou encore le recrutement, ils constituent des sources de progrès, mais sont également porteurs de risques pour les droits fondamentaux, comme l’ont déjà souligné le Défenseur des droits et la CNIL.

Derrière l’apparente neutralité des algorithmes, des recherches ont mis à jour l’ampleur des biais qui peuvent intervenir lors de leur conception et leur déploiement. Tout comme les bases de données qui les alimentent, ils sont conçus et générés par des humains dont les stéréotypes, en se répétant automatiquement, peuvent engendrer des discriminations.

Considérant que cet enjeu ne doit pas être un angle mort du débat public, le séminaire international organisé en 2020 par le DDD et la CNIL et déjà mentionné avait réuni plusieurs parties prenantes autour des enjeux de transparence des algorithmes et des biais discriminatoires. Tous les experts ont pointé les risques considérables de discrimination que leur usage exponentiel peut faire peser sur chacun et chacune d’entre nous, dans toutes les sphères de notre vie.

Pour prévenir ces risques, les corriger et responsabiliser les acteurs, le Défenseur des droits appelle à une prise de conscience collective et engage les pouvoirs publics et les acteurs concernés à prendre des mesures pour éviter que les discriminations soient reproduites et amplifiées par ces technologies.

Le Défenseur des droits, en partenariat avec la CNIL, a proposé les orientations suivantes : 

• Former et sensibiliser les professionnels des métiers techniques et d’ingénierie informatique aux risques que les algorithmes font peser sur les droits fondamentaux ;
• Soutenir la recherche pour développer les études de mesure et de prévention des biais, et approfondir la notion de « fair learning » – c’est-à-dire la conception d’algorithmes répondant à des objectifs d’égalité et de compréhension, et non seulement de performance ;
• Renforcer les obligations légales en matière d’information, de transparence et d’explicabilité des algorithmes à l’égard des usagers et personnes concernées, mais également des tiers et des professionnels utilisateurs de ces systèmes, au nom de l’intérêt général, comme en témoignent par exemple les questions suscitées par Parcoursup ;
• Réaliser des études d’impact pour anticiper les effets discriminatoires des algorithmes et contrôler leurs effets après leur déploiement.

Le développement phénoménal des technologies algorithmiques et des systèmes apprenants impose, pour les institutions, de maintenir une grande vigilance quant aux conséquences de ces évolutions technologiques, mais aussi de les anticiper, pour permettre au débat démocratique de se tenir de manière éclairée tout en pensant un cadre juridique et une régulation protecteurs des droits et libertés.

Le Défenseur des droits et la CNIL continuent leurs réflexions sur ce sujet et contribueront à celles des décideurs publics. Dans cette perspective, leur boussole ne saurait être que la volonté de garantir à toutes et à tous le respect de leurs droits fondamentaux, et en particulier celui de ne pas être discriminé et celui de la protection de leurs données personnelles.

Quelles sont les grandes lignes de l’avis du réseau Equinet portant sur le projet de règlement de la Commission européenne, auquel le Défenseur des droits a participé ?

Sarah Benichou : Le projet de règlement sur l’intelligence artificielle de la Commission européenne dévoilé en avril 2021 vise à introduire pour la première fois des règles contraignantes pour les systèmes d’intelligence artificielle. A l’heure où nous parlons, cette réglementation fait l’objet d’intenses débats. Conjointement avec le réseau Equinet (réseau européen des organismes de promotion de l'égalité), le Défenseur des droits a publié un avis intitulé  « Pour une IA européenne protectrice et garante du principe de non-discrimination » le 22 juin 2022.

Nous avons souhaité rappeler une exigence fondamentale : le droit de la non-discrimination doit être respecté en toutes circonstances et l’accès aux droits resté garanti pour toutes et tous.

Les recommandations émises dans cet avis s’inscrivent dans la continuité des travaux antérieurs du Défenseur des droits.

Les recommandations soulignent la priorité de lutter contre les discriminations algorithmiques et insistent sur le rôle que pourraient jouer les organismes de promotion de l’égalité européens dans ce cadre. Plusieurs études d’impact sur ce projet de règlement existent mais elles ne portent pas sur cette exigence de non-discrimination.

 Parmi les garanties qui doivent être apportées par le règlement, l’avis recommande de :

1. Faire du principe de non-discrimination une préoccupation centrale dans toute réglementation européenne dédiée à l'IA ;
2. Établir dans tous les pays européens des mécanismes de plainte et de recours accessibles et efficaces pour les personnes concernées en cas de violation des principes d'égalité et de non-discrimination ou d’autres droits fondamentaux lorsqu’une telle violation résulte de l’utilisation de systèmes d'IA ;
3. Appliquer une approche fondée sur les droits fondamentaux pour définir les notions de « préjudice » et de « risque », et non une approche tirée des régimes de sécurité des produits ; 
4. Exiger des analyses d'impact sur l'égalité ex ante et ex post à intervalles réguliers durant l'ensemble du cycle de vie des systèmes d'IA ;
5. Assigner des « obligations d'égalité » contraignantes et opposables à tous les concepteurs et utilisateurs d'IA ;
6. Rendre la différenciation des risques possible uniquement après une analyse obligatoire de l'impact sur le principe de non-discrimination et les autres droits humains ;
7. Rendre effective l’exécution des dispositions du futur règlement sur l’IA en obligeant les nouvelles autorités de surveillance nationales à consulter les organismes de promotion de l’égalité ainsi que les autres institutions compétentes en matière de droits fondamentaux ;
8. Rendre obligatoire la mise en place et le financement adéquat de mécanismes de coopération qui permette aux différents organismes impliqués dans l’application du règlement sur l’IA de se coordonner au niveau européen comme national.

→ Lire aussi : Le Défenseur des droits et le réseau Equinet appellent à mettre au coeur de la proposition de règlement sur l’IA le principe de non-discrimination.

A votre avis, quels sont les défis à venir en matière d’intelligence artificielle et de droits et libertés fondamentaux ?

Sarah Benichou : En premier lieu, un enjeu se trouve dans la lutte contre l’amplification des discriminations qui pourrait être liée à l’usage croissant des systèmes d’IA. En effet, les biais discriminatoires peuvent s’inscrire dès la première phase, celle du codage de l’algorithme, et découler des données qui sont utilisées par l’algorithme déterministe et nourrissent l’algorithme apprenant dans sa phase d’apprentissage ou ultérieurement. Néanmoins, les effets discriminatoires des algorithmes reposent le plus souvent sur des mécanismes moins visibles que l’intégration d’un critère prohibé bien identifiable dans l’algorithme, avec un code reflétant des préjugés, des données non questionnées qui reflètent les inégalités sociales, les phénomènes de corrélations discriminatoires ou des modèles de systèmes ciblant certains groupes déjà vulnérables.

En second lieu, il apparait urgent de lutter contre le phénomène de non-recours, favorisé notamment par le manque de transparence des algorithmes qui demeure un obstacle dans l’accès à la preuve pour les personnes victimes de discriminations (qui ignorent bien souvent qu’elles le sont). Il doit exister un droit d’accès à la documentation des SIA (systèmes d'intelligence artificielle), une exigence de loyauté consistant à informer les personnes de l’utilisation d’un SIA à leur égard et d’auditabilité du système par les autorités compétentes ainsi qu’une garantie d’explicabilité. A cet égard, l’article 13.2-f) du règlement général sur la protection des données (RGPD) prévoit que « le responsable du traitement fournit à la personne concernée, au moment où les données à caractère personnel sont obtenues, les informations complémentaires suivantes qui sont nécessaires pour garantir un traitement équitable et transparent (…) : l'existence d'une prise de décision automatisée, y compris un profilage, visée à l'article 22, paragraphes 1 et 4, et, au moins en pareils cas, des informations utiles concernant la logique sous-jacente, ainsi que l'importance et les conséquences prévues de ce traitement pour la personne concernée ». En outre, les risques discriminatoires doivent être anticipés et prévenus. Parmi les obligations du RGPD est prévue une analyse d’impact relative à la protection des données (AIPD) que le responsable de traitement est tenu d’effectuer dans certains cas, avant la mise en œuvre du traitement (art. 35 RGPD). A cet égard, les lignes directrices concernant l’AIPD adoptées par le G29 (CNIL européennes) en 2017 font état de ce que le « risque élevé pour les droits et libertés des personnes physiques » occasionné par le traitement et qui constitue un critère de réalisation obligatoire de l’AIPD vise notamment « l’interdiction de toute discrimination ». Mais actuellement les AIPD réalisés par les opérateurs n’intègrent pas cette question.

Enfin, les enjeux d’interdisciplinarité et de sensibilisation de tous les publics sur ces sujets sont essentiels.