Entretien avec Winston Maxwell : la régulation et le contrôle humain de l'IA

Pourriez-vous nous présenter votre parcours et votre intérêt pour le droit du numérique ? Et comment avez-vous découvert l’intelligence artificielle ? 

J’ai commencé comme corporate lawyer dans un cabinet américain à Paris à la fin des années 1980. Notre cabinet conseillait France Télécom sur les contrats de satellites, ce qui s’est révélé passionnant puisqu’en même temps s’opérait la libéralisation du secteur des télécommunications en Europe. Je me suis investi dans le domaine des télécoms parce que dans un cabinet d’avocats il est important de développer une zone d’expertise qui vous différencie des autres et qui augmente vos chances de devenir associé. Puis, j’ai travaillé sur le droit de l’internet et des données personnelles dans les années 2000, le droit des hébergeurs, et naturellement cela a conduit au droit de l’IA. En 2018, j’étais toujours avocat et l’on n’avait pas encore de demandes précises de clients, mais je m’intéressais à l’IA. C’était une démarche prospective pour anticiper les problèmes des clients. Il fallait comprendre ce qu’étaient les réseaux de neurones pour que l’on puisse en parler avec les clients. On commençait à réfléchir à ces questions avec plusieurs clients, dont le département IT/IP de BNP Paribas, Google et Renault.

Vous travaillez au sein d’une grande école d’ingénieur, Télécom Paris, comment enseigner le droit à des étudiants ingénieurs et comment mener des travaux de recherche interdisciplinaire ?

Alors que j’étais avocat, j’ai décidé de commencer une thèse sur l’économie de la régulation à Télécom Paris avec le Pr Marc Bourreau. Je travaillais déjà sur les questions de modération de contenus et sur la tension entre différents droits fondamentaux, le droit à l’oubli et la liberté d’expression, par exemple. La thèse, intitulée « A Method to Assess Regulatory Measures Designed to Limit Access to Harmful Content on the Internet », traitait ces questions du point de vue de l’analyse économique du droit.

En 2019, un poste en droit a été ouvert par Télécom Paris, j’ai envoyé ma candidature et j’ai décidé de faire le grand saut vers le monde de la recherche et de l’enseignement, en abandonnant le métier d’avocat. Le défi était de m’intégrer dans un monde d’ingénieurs, de professeurs de mathématiques et de data sciences et d’enseigner aux élèves ingénieurs quelques notions de régulation et d’éthique. Le droit était assez peu présent dans cet environnement. C’est une expérience très enrichissante, car cela oblige à apprendre ce que font ces spécialistes des sciences informatiques pour pouvoir parler (un peu) leur langage. Les ingénieurs peuvent comprendre le droit comme un système de contraintes, comme les lois de la nature. Mon but est de discuter des principes juridiques avec les étudiants et les professeurs en sciences informatiques pour qu’ils puissent visualiser les contraintes réglementaires et les aborder comme un problème d’optimisation à résoudre. On est au cœur du « privacy by design » et du « trustworthy AI by design ». C’est passionnant.

Pour mener des travaux interdisciplinaires, il faut trouver des professeurs et étudiants intéressés par la régulation (pas ceux qui sont à fond dans les mathématiques et qui souhaitent y rester). À Télécom Paris, nous avons un groupe de professeurs et d’étudiants très intéressés par les objectifs sociaux, par exemple comment l’IA peut contribuer à la lutte contre les inégalités ou à la protection de l’environnement. Ils viennent des sciences de la donnée, mais n’ont pas peur d’explorer le domaine de la régulation. Je supervise une demi-douzaine de doctorant(e)s — certains ont une formation d’ingénieur, d’autres ont une formation de droit. Nos travaux s’insèrent dans une zone de chevauchement entre la technique et la régulation, et l’on espère que nos étudiants évolueront dans cette zone dans le cadre de leur travail, pour une autorité de régulation ou une administration publique par exemple. L’une de nos doctorantes vient d’accepter un poste à la Commission européenne pour participer à la régulation des grandes plateformes au titre du DSA. C’est une fierté. Cette double compétence — ingénieur plus régulation — sera de plus en plus recherchée à l’avenir.

Comment le sujet de la régulation de l’intelligence artificielle a-t-il évolué ces dernières années ?

Il faut toujours se méfier du réflexe de réguler parce qu’il a été démontré que la régulation, comme un médicament, a souvent des effets secondaires inattendus. Devant une nouvelle technologie telle que l’IA, le réflexe politique immédiat est de réguler. L’approche économique dite de « bonne régulation » exige d’y aller lentement et de bien identifier les problèmes — les défaillances du marché. Il faut se poser la question de savoir si la législation existante est suffisante, et ensuite identifier l’approche de régulation la plus légère possible qui permettrait d’apporter des remèdes efficaces aux défaillances du marché identifiées. Une sorte d’analyse d’impact.

L’IA est maintenant mûre pour une régulation. L’approche la plus prudente, celle privilégiée par les législateurs européens, est une approche fondée sur les risques. On ne va pas tout réguler, on va seulement réguler le haut risque, parce que plus on régule, plus la régulation peut créer des dommages économiques inattendus, notamment pour l’innovation. Selon cette approche, on va déléguer aux entreprises une bonne partie des tâches de régulation en les obligeant à faire leur propre analyse de risques et proposer des mesures de protection adaptées à leur système. Le but est de réduire les risques à un niveau acceptable. C’est une technique utilisée pour les systèmes complexes, comme les plateformes de forage en mer, ou les systèmes bancaires. Cette technique part du principe que pour un système complexe, le régulateur ne peut jamais disposer de toutes les informations nécessaires pour prescrire des mesures précises de régulation. Il faut donc imposer à l’entité qui maîtrise le système l’obligation de faire sa propre analyse des risques et proposer ses propres mesures de protection, sous l’œil vigilant d’un régulateur extérieur. L’entreprise devient co-constructeur de la régulation. Cette approche d’accountability est privilégiée par le RGPD, le Digital Services Act, le Digital Markets Act, et bien sûr par le futur AI Act.

Que pensez-vous de la tension entre l’approche « par les risques », proposée par la Commission européenne dans l’AI Act et l’approche axée sur le respect des droits fondamentaux, privilégiée par les tribunaux et par les travaux du Conseil de l’Europe ? 

Il existe des frictions entre une approche par les risques et une approche « rights based » fondée sur le respect des droits. L’idée de la régulation par les risques implique qu’une entreprise va mettre en œuvre des mesures raisonnables de protection pour réduire les risques à un niveau acceptable, mais pas nécessairement à zéro. Dans l’analyse économique du droit, l’idée de mesures raisonnables de prévention a été formulée par le juge Learned Hand en 1947. On attend d’un acteur économique qu’il met en œuvre des moyens raisonnables de prévention, compte tenu des risques, les coûts des mesures de prévention, l’état de l’art, et les coûts des mesures de prévention que peuvent mettre en œuvre les éventuelles victimes. Les éventuelles victimes ont également une obligation de prudence pour éviter les accidents. On ne s’attend pas nécessairement à ce que l’acteur économique réduit le risque à zéro, car cela reviendrait souvent à arrêter l’activité. La question est le niveau « acceptable » de risque. En matière d’IA, on sait qu’il est difficile, voire impossible, d’éliminer tous les biais sans dégrader la performance prédictive du système. Cela signifie qu’il faut pondérer performance et respect des droits, et qu’il restera un faible niveau de biais dans le système. Peut-on accepter qu’un algorithme soit « un peu » discriminatoire ? Du point de vue du respect des droits, « un peu » de discrimination n’est pas acceptable. Soit un droit est violé, soit il ne l’est pas.

Vous voyez immédiatement la tension entre l’approche par les risques et l’approche fondée sur le respect des droits. L’approche « risk based » consiste à mettre en place des mesures efficaces jusqu’à un certain point pour éviter les risques. Dans cette approche, la perfection n’existe souvent pas. Dans l’approche « rights based », chaque individu dispose de droits qui doivent être respectés à 100 %. Parler de risques « acceptables » pour le respect des droits n’est pas recevable !

Ces deux approches coexistent au sein du RGPD et elles ne sont pas forcément en contradiction. Mais elles obéissent à des logiques différentes. Dans les décisions de sanction au titre du RGPD, je regrette que cette distinction ne soit pas explicitée. L’entreprise est-elle sanctionnée parce qu’elle n’a pas mis en œuvre des mesures de prévention appropriées pour réduire les risques selon une logique « risk based » (art. 24 RGPD), ou est-elle sanctionnée parce que les droits d’une ou plusieurs personnes ont été violés malgré la mise en place de mesures de prévention appropriées ? La logique est différente, même si l’entreprise aura une responsabilité dans les deux cas. On a parfois l’impression que la violation de droits de personnes conduit automatiquement à la conclusion que les mesures de prévention n’étaient pas « appropriées », ce qui n’est pas cohérent avec l’approche économique et la formule « Learned Hand ». 

L’AI Act va mettre à l’épreuve les tensions entre l’approche « risk based » et l’approche « rights based », surtout maintenant que j’ai compris que l’élimination de tous les biais dans un système d’IA est une impossibilité mathématique !

Justement, parlons de votre HDR ("Le contrôle humain des systèmes algorithmiques — Un regard critique sur l’exigence d’”un humain dans la boucle”") Quelles sont les exigences légales d’un contrôle humain du système (contrôle ex ante) et d’un contrôle humain après la prise d’effet de la décision (contrôle ex post) ? Comment améliorer l’AI Act concernant les dispositions relatives au contrôle humain ? 

Dans l’affaire la Quadrature du Net d’octobre 2020, la CJUE a analysé le système utilisé par les autorités de renseignement en France pour détecter des risques terroristes à partir de données de connexion. La Cour a posé notamment comme exigence que lorsque le système génère une alerte, il faut qu’il y ait un humain qui réalise un contrôle pour valider la pertinence de l’alerte avant que ne soient entreprises d’autres mesures d’enquête. L’objectif est de réduire les faux positifs générés par le système. Je me suis posé la question de savoir comment réaliser ce contrôle. Comment un humain peut-il contrôler une alerte qui a été générée à partir de milliers de données de connexion ? Dans sa décision, la CJUE exclut l’usage de la machine learning — les règles de détection d’alertes doivent être fixées à l’avance par des humains. Mais même avec un algorithme de règles préétablies, comment est-ce que l’humain va évaluer la pertinence d’une alerte ? À partir de quelles informations ? Comment sait-on si ce contrôle humain est efficace ? J’ai essayé de décortiquer les différents cas dans lesquels le contrôle humain est utilisé. Sert-il seulement à détecter des erreurs, ou sert-il également à rendre le processus de décision plus “humain”, et que signifie un processus “humain” ? J’ai étudié les failles et les dangers du contrôle humain compte tenu des biais cognitifs humains, et suggéré des pistes pour que ce contrôle soit efficace.

Il ressort de l’étude au moins une dizaine de types de contrôle humain :  

• Des contrôles humains du système dans son ensemble, au stade de sa conception, au stade des tests, au stade des audits…
• Des contrôles humains d’un résultat individuel généré par le système, un score de risques, un score de crédit, une recommandation, une classification d’image…
• Des contrôles humains au stade des contestations des décisions.

Chaque type de contrôle obéit à une logique différente et son efficacité sera mesurée selon des critères différents. C’est regrettable que l’AI Act ne spécifie pas assez les différentes formes de contrôle humain, pour aider les fournisseurs et les utilisateurs à choisir les contrôles les plus adaptés aux risques de leurs systèmes. Pour un seul système, il faudrait organiser plusieurs formes de contrôles humains. Mon mémoire HDR tente de proposer une boîte à outils, pour identifier le “bon” contrôle pour chaque finalité.

Cela fait une très bonne transition sur la notion d’explicabilité qui est aussi un des sujets sur lequel vous avez beaucoup travaillé. Pouvez-vous nous en dire plus ? 

Pour les data scientists, l’explicabilité est un champ de recherche important qui les aide notamment à comprendre et à améliorer les modèles. Les juristes ont un autre point de vue. Ils se concentrent sur l’explicabilité pour aider les personnes affectées à comprendre une décision algorithmique et à la contester, ou pour aider la personne en charge de la validation d’un résultat algorithmique à évaluer sa pertinence et justifier une décision. Une explication sera également nécessaire en cas d’audit pour comprendre les causes d’un accident, par exemple. Il existe de nombreux cas d’explicabilité dont certains recoupent les mesures de transparence prévues par le RGPD. 

J’ai découvert à Télécom Paris la discipline de l’human computer interaction (HCI), une branche des sciences informatiques qui prend compte le comportement des utilisateurs. Les chercheurs HCI étudient l’efficacité des interfaces, et notamment des explications, à l’égard d’utilisateurs humains. Certains résultats sont édifiants : fournir une explication à un utilisateur peut baisser sa vigilance, réduisant sa capacité à détecter des erreurs, par exemple. L’explicabilité peut avoir des effets inattendus. Il sera important à l’avenir que les travaux de recherche en droit prennent en considération les “recherches HCI”, notamment lorsqu’il s’agit de déterminer quel type d’information sur l’IA il convient de transmettre aux utilisateurs, et selon quelles modalités.  

Comment les États-Unis entendent-ils réguler les systèmes d’intelligence artificielle ? Est-ce que la Federal Trade Commission (FTC) s’est transformée en « super CNIL » ? A-t-elle les moyens de réguler ces systèmes ? 

Les États-Unis privilégient deux axes de régulation. D’abord, utiliser la force de persuasion du gouvernement via les commandes publiques et des règlements sur l’utilisation de l’IA dans les administrations publiques. Deuxièmement, appliquer avec vigueur les lois fédérales existantes à l’IA.

Les États-Unis disposent de plusieurs textes fédéraux de portée générale sur la protection des consommateurs, sur la concurrence, et sur la lutte contre les discriminations. Chacun de ses textes peut être utilisé pour encadrer l’IA. Certains Etats des États-Unis disposent en plus de textes ciblés, sur la biométrie par exemple. Responsable de l’application des textes fédéraux à portée générale, la FTC a un rôle clé. Tout comme la FTC a pu devenir un régulateur puissant des données à caractère personnel, elle pourra devenir un régulateur puissant des systèmes algorithmiques en s’appuyant sur ces textes. Il est peu probable à mon avis que les États-Unis adoptent un nouveau texte ambitieux sur l’IA comme l’AI Act européen. Néanmoins, la politique clairement affichée de l’administration Biden est de réguler l’IA générative en utilisant toutes les armes à la disposition du gouvernement. Il ne faut pas négliger non plus les rapports de force et négociations dans l’industrie. La grève des scénaristes à Hollywood a conduit à une forme de régulation négociée de l’usage de l’IA générative dans le cinéma.