Le rapport de l'Agence des droits fondamentaux de l'UE sur les biais algorithmiques

Les droits fondamentaux affectés par l’utilisation de systèmes d’intelligence artificielle

Dans son rapport, l’Agence des droits fondamentaux de l’UE (FRA) rappelle que si l’utilisation de systèmes algorithmiques peuvent avoir des conséquences positives, ils peuvent aussi violer certains droits fondamentaux ou conduire à des prises de décision discriminatoires. Un exemple assez emblématique d’algorithmes biaisés aux Pays-Bas en témoigne. En 2020, il est apparu que les autorités fiscales néerlandaises avaient utilisé des algorithmes qui avaient par erreur étiqueté quelque 26 000 parents comme ayant commis une fraude dans leurs demandes d'allocations familiales. Or la majorité de ces parents étaient issus de l'immigration. Ils ont dû rembourser des sommes importantes, ce qui a entraîné de grandes difficultés financières et psychologiques pour les familles concernées. L'autorité de protection des données néerlandaise a finalement conclu que le traitement des données par le système d'IA utilisé était discriminatoire.

Malgré l'attention accrue portée récemment au problème de la partialité des algorithmes, ce domaine ne dispose toujours pas d'une base de preuves tangibles faisant appel à des évaluations techniques des algorithmes en pratique et de leurs résultats. Autrement dit, selon la FRA, il est difficile de déterminer exactement comment l'IA peut entraîner des violations des droits fondamentaux. La FRA estime qu’il conviendrait de procéder à des évaluations plus factuelles pour combler cette lacune. Le rapport cherche à y contribuer en se concentrant sur deux "cas d'utilisation" de la modélisation algorithmique : la police prédictive et la détection de contenus haineux. Il montre comment des préjugés peuvent apparaître dans les algorithmes et comment ces préjugés sont liés à une discrimination potentielle. Il met en évidence la complexité de la détection des préjugés et de l'évaluation de la discrimination potentielle, en montrant que les préjugés se produisent à plusieurs stades, et de différentes manières.

Comme le démontre ce rapport, il n'existe pas de "solution miracle" pour lutter contre les discriminations dans les algorithmes. Pour autant, les auteurs du rapport insistent sur la nécessité qu'un système soit mis en place pour évaluer et atténuer les discriminations avant et pendant l'utilisation des algorithmes dans la pratique. Par ailleurs, l’arsenal juridique existant et en construction permet de lutter contre les discriminations algorithmiques. 

Les législations européennes à mobiliser pour lutter contre les discriminations algorithmiques

Plusieurs législations existantes ou à venir peuvent être mobilisées pour lutter contre les discriminations algorithmiques. Ainsi, le rapport de la FRA s’inscrit dans le cadre de la proposition de règlement de la Commission européenne sur la législation sur l'IA (AI Act) dans la mesure où ce texte contient des dispositions relatives à la protection des droits fondamentaux. L’article 9 peut être appliqué en matière de gestion des risques notamment en ce qui concerne les droits fondamentaux. Est également prévue une évaluation de la conformité des systèmes d'IA à haut risque aux termes de l’article 43. L’article 10, 5 de l’AI Act comprend également une base juridique pour le traitement des données sensibles afin de détecter, surveiller et corriger les préjugés qui pourraient conduire à la discrimination. La FRA recommande que les exigences relatives aux cas d'utilisation de l'IA à haut risque - telles qu'incluses dans la proposition d'AI Act - accroissent la transparence et permettent l'évaluation de potentielles discriminations induites par les algorithmes.

>> Lire également : Le point sur la régulation de l’IA en Europe https://observatoire-ia.pantheonsorbonne.fr/actualite/point-regulation-lia-en-europe

L'obligation de respecter le principe de non-discrimination est également présente dans d’autres textes. Elle est notamment inscrite : 

• à l'article 2 du traité sur l'Union européenne (TUE) ;
• à l'article 10 du traité sur le fonctionnement de l'Union européenne (TFUE) (qui impose à l'Union européenne de lutter contre la discrimination fondée sur un certain nombre de motifs) et ;
• aux articles 20 et 21 de la Charte des droits fondamentaux de l'UE (égalité devant la loi et non-discrimination fondée sur une liste non exhaustive de motifs). Tous les motifs de discrimination interdits énumérés dans la Charte sont pertinents lorsqu'il s'agit de l'utilisation d'algorithmes.

En outre, des dispositions plus spécifiques et détaillées dans plusieurs directives européennes consacrent également ce principe, avec des champs d'application variables. À cet égard, la FRA considère que la proposition de directive sur l'égalité de traitement offrirait une protection encore plus grande pour plusieurs motifs de discrimination, car elle comble des lacunes spécifiques.

D’après la FRA, les législations anti-discriminatoire de l'UE s’avèrent cruciales pour préserver un niveau élevé d'égalité dans l'UE. Dès lors, le législateur européen et les États membres devraient s'efforcer de garantir des niveaux cohérents et élevés de protection contre la discrimination pour tous les motifs, y compris et au minimum le sexe, l'origine raciale ou ethnique, la religion ou les convictions, le handicap, l'âge, l'orientation sexuelle, l'identité et l'expression de genre dans les différents domaines de la vie. Cette discrimination doit être combattue à l'aide de diverses lois existantes qui sauvegardent les droits fondamentaux. Outre la législation sur la non-discrimination, les lois existantes sur la protection des données doivent également être utilisées pour traiter la non-discrimination concernant l'utilisation d'algorithmes pour la prise de décision. Enfin, la FRA suggère aux organismes de promotion de l'égalité d’intensifier leurs efforts pour traiter les plaintes et les cas de discrimination liés à l'utilisation d'algorithmes. Afin de le faire efficacement, ils devraient employer du personnel spécialisé et coopérer avec les autorités de protection des données et d'autres organismes de surveillance pertinents.

Deux "cas d'utilisation" particuliers sont examinés dans le rapport : la police prédictive et la détection de discours haineux.

L’exemple de la police prédictive

Le premier cas d’utilisation du rapport concerne la police prédictive via un test d'une version simplifiée d'un algorithme de police prédictive entièrement automatisé en relation avec le taux de criminalité dans certains quartiers. Ce premier cas d'utilisation stimule une boucle de rétroaction qui se produit lorsque les prédictions faites par un système influencent les données qui sont utilisées pour mettre à jour ce même système. Cela signifie que la prédiction opérée par ces algorithmes influence la réalité sur le terrain. Dès lors, tout biais dans les algorithmes peut donc potentiellement être renforcé au fil du temps et exacerbé. Les boucles de rétroaction peuvent conduire à des résultats qui surestiment les réalités - ce que l'on appelle des boucles de rétroaction à emballement - ce qui est particulièrement problématique lorsqu'il s'agit d'applications d'IA "à haut risque" dans le domaine de l'application de la loi, par exemple dans le domaine de la police prédictive. Plusieurs facteurs peuvent contribuer à la formation de boucles de rétroaction, notamment des taux de signalement des crimes faibles et variables, des taux de détection des crimes différents et une mauvaise utilisation de l'apprentissage automatique. Deux recommandations principales sont mises en avant.

Tester les algorithmes pour détecter les biais avant et après les avoir déployés, en considérant leur impact dans le temps, et en fournissant des conseils sur la manière de collecter des données sur les attributs sensibles

Les utilisateurs d'algorithmes prédictifs doivent évaluer la qualité des données d'entraînement et des autres sources qui influencent les biais et peuvent conduire à la discrimination. Ces biais et cette discrimination potentielle peuvent se développer ou s'amplifier avec le temps, lorsque les données basées sur les sorties des systèmes algorithmiques deviennent la base des algorithmes mis à jour. Par conséquent, les algorithmes qui sont utilisés pour prendre ou soutenir des décisions concernant les personnes, comme la police prédictive, doivent être évalués avant et régulièrement après leur déploiement. Une attention particulière doit être accordée à l'utilisation des algorithmes d'apprentissage automatique et à la prise de décision automatisée. Le législateur européen doit s'assurer que les évaluations régulières par les fournisseurs et les utilisateurs sont obligatoires et font partie des exigences d'évaluation et de gestion des risques pour les algorithmes à haut risque.

Considérer le développement des préjugés dans les algorithmes induits par les "boucles de rétroaction"

Le développement de biais dans les algorithmes au fil du temps par le biais de telles boucles de rétroaction risque de renforcer ou de créer des pratiques discriminatoires qui affectent de manière disproportionnée les groupes ayant des caractéristiques protégées (comme l'origine ethnique). Pour évaluer le "surpolicing" potentiellement disproportionné de certains groupes, des évaluations des résultats (prédictions algorithmiques) sont nécessaires en ce qui concerne la composition des groupes cibles.

Pour mieux comprendre comment les préjugés peuvent conduire à la discrimination, il peut être nécessaire que les données sur les caractéristiques protégées soient collectées par les utilisateurs de systèmes d'IA pour permettre l'évaluation de la discrimination potentielle. Cette collecte de données doit être justifiée, basée sur la stricte nécessité et doit inclure des garanties relatives à la protection et à l'utilisation de ces données. L'article 10, 5 de la proposition d'AI Act peut apporter des éclaircissements sur le traitement légal des données sensibles qui sont strictement nécessaires pour détecter, surveiller et, potentiellement, atténuer ou prévenir les préjugés et la discrimination. Une telle base juridique peut contribuer à une meilleure détection, surveillance, prévention et atténuation des discriminations lors de l'utilisation d'algorithmes. Cependant, elle doit être accompagnée de garanties appropriées, y compris des aspects tels que l'anonymisation, la pseudonymisation et des limitations appropriées en ce qui concerne la collecte, le stockage, l'accessibilité et la conservation. Des orientations d'application supplémentaires sur la collecte de données sensibles en vertu de l'article 10, 5 doivent être envisagées, notamment en ce qui concerne l'utilisation de mandataires et la description des motifs protégés (tels que l'origine ethnique ou l'orientation sexuelle) qui doivent être couverts.

La détection des discours haineux

Le deuxième cas d'utilisation abordé dans le rapport est une simulation de systèmes de détection de discours haineux en ligne. Les algorithmes de détection des discours haineux, qui sont considérablement utilisés dans la pratique, sont basés sur des méthodologies avancées d'apprentissage automatique et de traitement du langage naturel (Natural Language Processing - NLP). Compte tenu de l'ampleur des contenus en ligne, les principales plateformes en ligne ont considérablement augmenté leurs efforts pour détecter ou "prédire" automatiquement la haine potentielle en ligne, et ont développé des outils à cet effet. Cependant, ces outils peuvent produire des résultats biaisés pour plusieurs raisons.

• Tout d'abord, le niveau de haine associé à différents termes identitaires (c'est-à-dire des mots indiquant des identités de groupe) varie considérablement selon les données et les modèles qui constituent la base des outils. Par exemple, les phrases utilisant le terme "juif" dans les modèles anglophones entraînent une augmentation beaucoup plus importante du niveau prédit d'offense que le terme "chrétien". Cela entraîne des différences dans les prédictions de discours offensants pour différents groupes. Ces différences peuvent également conduire à des prédictions et des classifications erronées. Plusieurs algorithmes de détection des propos offensants ont été développés spécifiquement pour ce rapport, sur la base de différentes méthodologies et pour différentes langues - anglais, allemand et italien - et ont ensuite été testés pour vérifier leur partialité. Les résultats montrent que certains termes conduisent beaucoup plus souvent à la prédiction d'un texte comme étant offensant. Par exemple, en anglais, l'utilisation de termes faisant allusion à "musulman", "gay" ou "juif" conduit souvent à prédire que des phrases de texte généralement non offensantes sont offensantes. Dans les algorithmes germanophones développés pour le rapport, les termes "musulman", "étranger" et "Rom" conduisent le plus souvent à des prédictions de textes haineux alors qu’ils ne le sont pas tous. Dans les algorithmes italiens, les termes "musulmans", "africains", "juifs", "étrangers", "roms" et "nigérians" déclenchent des prédictions trop fortes en matière de caractère offensant. Ce biais indique clairement des différences linguistiques dans les prédictions de "caractère offensant" pour différents groupes selon l'origine ethnique, ce qui signifie que les personnes qui utilisent ces expressions sont traitées différemment. Ces pratiques de marquage et de blocage biaisées peuvent, par exemple, entraîner des différences d'accès aux services de communication en fonction de l'origine ethnique. Par exemple, une personne juive peut utiliser plus souvent le terme "juif" dans le contenu en ligne qu'elle publie, ce qui peut être plus facilement signalé comme offensant et être supprimé. Ces résultats s'expliquent notamment par le fait que ces termes sont fortement liés à la haine en ligne saisie dans les "données d'entraînement" (ensembles de données textuelles comprenant des exemples de haine) utilisées pour créer les algorithmes. Les prédictions réagissent souvent de manière excessive à ces termes.
• Les algorithmes peuvent également être biaisés par rapport aux catégories de genre de certains termes. Les catégories de genre des termes ont été étudiées pour les données en allemand et en italien, car ces langues utilisent des substantifs sexués. L'analyse montre que les modèles linguistiques disponibles (algorithmes d'IA pré-entraînés basés sur une grande quantité de textes) peuvent entraîner un biais lié au genre. Ce biais peut conduire à des prédictions divergentes entre les genres, par exemple en considérant la version féminine d'un terme comme plus offensante que son homologue masculin, ou vice versa. Par exemple, la version féminine de "musulman" en italien ("Musulmana") est évaluée par les modèles de manière plus négative que son homologue masculin ("Musulmano"). Cela met en évidence le défi que représente l'utilisation du traitement du langage naturel avec des langues sexuées. Ces résultats montrent la facilité avec laquelle les préjugés liés aux caractéristiques protégées peuvent se glisser dans les algorithmes et conduire à la discrimination. De tels préjugés peuvent déjà exister dans les modèles d'IA polyvalents prêts à l'emploi, qui peuvent être adaptés à un objectif spécifique et sont utilisés dans des domaines tels que la classification de textes ou la traduction automatique. Ces modèles sont basés sur des modèles qui ont appris des représentations linguistiques universelles à partir de grandes quantités de textes, et peuvent être adaptés à des fins spécifiques, comme cela a été fait pour le rapport. Selon la FRA, ces algorithmes ne peuvent pas être facilement utilisés pour la modération automatisée du contenu des discours haineux car ils prennent les mots liés à des caractéristiques protégées - isolément et hors contexte - comme des indications de la présence d'un discours offensant.

Rendre obligatoires les évaluations relatives à la discrimination lors du déploiement de systèmes basés sur le traitement du langage naturel, tels que les systèmes de détection des discours haineux

Une évaluation fondée sur des preuves est nécessaire lors des tests de biais dans les algorithmes. La mise en œuvre du droit de l'Union européenne, comme le Règlement sur la législation sur les services numériques (DSA) et la proposition de Règlement dit AI Act, devrait protéger contre la discrimination, par exemple par des dispositions exigeant des fournisseurs et des utilisateurs d'algorithmes qu'ils fournissent de la documentation et effectuent des évaluations en matière de discrimination. L'exigence d'une transparence et d'évaluations accrues des algorithmes étant la première étape vers la protection contre la discrimination, les entreprises et les organismes publics utilisant des systèmes de détection de contenus devraient être tenus de partager les informations nécessaires à l'évaluation des biais avec les organes de surveillance concernés et - dans la mesure du possible - publiquement.

Les organes de surveillance pertinents pour la protection des droits fondamentaux, tels que les organismes de promotion de l'égalité et les autorités de protection des données, devraient accorder une attention particulière à la discrimination potentielle dans les modèles de prédiction basés sur la langue notamment lorsqu’ils sont considérés comme offensant alors qu’ils ne le sont pas nécessairement. Cela résulte du fait que ces termes sont souvent considérés comme offensants dans les données d'entraînement (c'est-à-dire les données utilisées pour construire les algorithmes) - autrement dit, ce phénomène reflète la forte présence de la haine contre ces groupes dans les données d'entraînement.

Promouvoir la diversité linguistique pour les technologies de traitement du langage naturel

Il est nécessaire de promouvoir la diversité linguistique dans les outils disponibles pour le traitement du langage naturel. Alors que les technologies de traitement du langage naturel et la disponibilité des outils connexes pour l'anglais se sont considérablement améliorées ces dernières années, les outils de traitement du langage naturel pour les autres langues sont très en retard. Ce rapport a mis en évidence un net déséquilibre entre les outils et les connaissances disponibles pour les technologies du traitement du langage naturel pour l'anglais et ceux disponibles pour les autres langues. Pour les langues de l'UE, telles que l'allemand et l'italien, les résultats ont révélé que la quantité et la qualité des données et des outils de traitement du langage naturel disponibles étaient insuffisantes, ce qui a entraîné une baisse des performances des algorithmes de détection des propos haineux, tout en présentant des niveaux élevés de partialité.

Dès lors, selon la FRA, l'Union européenne et ses États membres devraient envisager des mesures pour favoriser une plus grande diversité linguistique dans les outils de traitement du langage naturel comme moyen d'atténuer les biais dans les algorithmes et d'améliorer la précision des données. Dans un premier temps, cela devrait inclure la promotion et le financement de la recherche concernant le traitement du langage naturel sur une série de langues de l'UE autres que l'anglais afin de promouvoir l'utilisation d'outils linguistiques correctement testés, documentés et maintenus pour toutes les langues officielles de l'UE.

L'UE et ses États membres devraient également envisager la création d'un référentiel de données pour les tests de biais dans le domaine du traitement du langage naturel. Un tel référentiel devrait se conformer aux normes de l'UE en matière de protection des données, contenir des données de haute qualité dans toutes les langues de l'UE pour permettre les tests de biais et être continuellement mis à jour et entretenu.

De manière générale, il est nécessaire d'accroître les connaissances, la sensibilisation et les ressources pour les tests de biais des algorithmes. Les différences de biais dans les algorithmes constatés dans ce projet diffèrent non seulement selon les langues, mais aussi selon les outils et les méthodologies utilisés. Certains modèles d'IA sont basés sur des algorithmes qui ont été développés pour des tâches générales de détection et de prédiction de la langue à partir de grands corpus de textes. Dans de nombreux cas, ces modèles "pré-développés" sont nécessaires pour les algorithmes de détection de la parole. La recherche a révélé que les préjugés différaient selon les outils utilisés. Cela signifie que le biais est déjà intégré dans les modèles vocaux généraux pré-développés, qui sont souvent développés par de grandes entreprises ayant accès à de grandes quantités de données et de puissance de calcul. Néanmoins, l'évaluation et la documentation sur les biais dans ces modèles pré-développés sont difficiles à obtenir en l'absence de documentation complète et de tests disponibles pour identifier le biais dans ces outils.