Entretien avec le Général Perrot, coordonnateur pour l’intelligence artificielle à la Gendarmerie nationale

Dépasser les idées reçues sur l’intelligence artificielle (IA)

Général Perrot : L'intelligence artificielle (IA) est une discipline sur laquelle beaucoup de personnes s'expriment sans avoir conscience de ce qu'elle est. Dès lors, bien souvent, la perception de l'IA relève du fantasme de la science-fiction. Craindre les systèmes d'IA, c'est d'abord ne pas comprendre que c'est l'homme qui est à la manœuvre. L'IA n'a aucune volonté de remplacer l'être humain et elle n'a d'ailleurs aucune volonté.

Toute décision prise par une machine résulte d'abord d'un abandon du pouvoir de décision par l'être humain. Alors, plutôt que de craindre l'IA pour ce qu'elle n'est pas, je préférerais que l'on élève le niveau de connaissance et de conscience de l'être humain.

Nous entendons régulièrement que l'IA produit des biais dans les données. Cela part à mon sens d'une réelle incompréhension de l'IA. L'intelligence artificielle exploite les biais humains et ces derniers, nous ne devons pas l'oublier, sont une richesse pour l'homme parce qu'ils génèrent la diversité d'opinions et traduisent une grande part de l'identité d'un individu. C'est peut-être, d'ailleurs, ce qui nous rend humains et nous distingue des machines. Comprendre mathématiquement l'IA, c'est comprendre qu'elle a pour objet de trouver le meilleur point d'équilibre entre le biais et la variance des données. Un point d'équilibre optimal que l'être humain ne peut trouver par lui-même dès lors que les données sont en grande dimension. Il faut bien comprendre que sans biais, il n'y a plus d'IA. Et, en réalité, plutôt que de supprimer les biais dans les systèmes d'IA, comme nous l'entendons trop régulièrement, nous en générons d'autres qui correspondent aux valeurs de notre époque, à nos critères sociétaux du moment. Il faut abandonner l'idée que nous supprimons les biais, c'est totalement faux et c'est une illusion qui porte atteinte à la transparence. En effet, dès lors qu'un jeu de données est modifié pour atténuer un biais par un autre biais, il faut l'indiquer, car bien entendu cela influe sur le résultat du système.

L'IA est, par essence, une discipline discriminante. Son objet est de maximiser l'intervariabilité des données (c.-à-d. les données appartenant à des catégories différentes) et de minimiser l'intravariabilité (c.-à-d. les données appartenant à une même catégorie). C'est la raison d'être des méthodes de classification en IA qu'elles soit fondées sur les séparateurs à vastes marges ou les réseaux de neurones par exemple. L'objectif pour séparer des données est de les projeter dans un espace de dimension supérieure à celui dans lequel elles sont, afin de pouvoir les séparer linéairement tout d'abord, et ensuite de déterminer la frontière optimale. L'homme pourra le faire dans un espace à deux dimensions, peut-être à trois, mais au-delà ce ne sera plus possible pour lui. Le jeu de Go par exemple, c'est 10 600 combinaisons possibles. L'IA est donc, par sa capacité à séparer les données et à les classer, bien plus révélatrice des biais que génératrice. Il est vrai de dire que l'IA accentue les biais, car elle tend à accroître les marges. L'intérêt est qu'elle nous aide ainsi à diagnostiquer, dans nos données et nos décisions, les biais humains que nous ne verrions pas sans elle et surtout ceux discriminatoires, car l'enjeu est là.

Nous devrions percevoir l'IA comme un outil de protection contre les biais cachés qui, dans les corpus, portent préjudice. En effet, il faut également être vigilant, car la discrimination entre les données peut entraîner un caractère discriminatoire, mais il convient de ne pas associer les deux termes. Est discriminatoire ce qui porte préjudice à une catégorie que ce soient des personnes ou autres. L'effort est à porter sur cet aspect, qui n'est pas une question mathématique, mais plus une question sociétale. Nous avons plus de 25 caractères discriminatoires actuellement recensés : l'origine, le genre, l'âge, le handicap, les opinions... C'est sur ces derniers que nous devons mesurer le niveau de performance des systèmes d'IA que nous mettons en place et nous assurer que les résultats de sortie des systèmes ne portent pas atteinte à une classe en particulier.

Vous le voyez, l'IA n'est pas raciste ou sexiste comme nous pouvons l'entendre régulièrement, elle est performante ou pas. Gardons les termes humains pour les humains et ne faisons pas d'anthropomorphisme par excès. Prenons l'exemple de la reconnaissance faciale qui suscite tant de polémique. Vous avez un exemple très médiatique qui relève que des personnes « de couleur noire » ont été confondues avec des gorilles et donc l'IA serait raciste comme le relaient les communicants sur Internet. Mais, vous savez, pour l'IA, le gorille, l'homme, la femme ou la voiture sont des entités d'égale valeur, elle ne porte aucun jugement de valeur. Il n'y a chez l'IA aucune intention de porter atteinte, il n'existe pas d'élément moral de qualification de l'infraction de racisme chez une IA. En revanche, elle peut exister chez l'humain. Ce qui m'interroge sur cet exemple, c'est pourquoi comparer des images d'humain à des gorilles ? Combien de classes d'animaux existaient dans la base de données et quelle en était la distribution ? N'y avait-il pas un biais dans le test ? Dans nos bases de données de reconnaissance faciale, lorsque nous faisons des tests dans un cadre judiciaire, nous ne cherchons pas à identifier des hommes parmi des gorilles ou des chimpanzés. Il n'y a pas d'animaux dans les bases. Et si vous souhaitez prolonger pour l'exemple, je suis sûr que si vous faites l'exercice avec des ours polaires, il est fort à parier qu'il y aura des confusions entre un homme de « couleur blanche » et un ours polaire.

L'IA ne doit donc pas être considérée pour ce qu'elle n'est pas et ne doit pas non plus être simplifiée sans connaissance. Albert Einstein aimait à dire qu'il fallait simplifier jusqu'au possible, mais pas au-delà. Derrière ces propos, ce qu'il faut comprendre, c'est que certaines notions exigent l'effort de la connaissance, l'IA en fait partie. 

L'IA est avant tout mathématique et surtout pas informatique, c'est peut-être là l'erreur fondamentale. Ce qu'est l'IA aujourd'hui, c'est une capacité à modéliser un monde non linéaire dans un espace à grande dimension. Alors, cette définition ne convient peut-être pas parce qu'elle nécessite de faire l'effort de la connaissance pour comprendre ce qu'elle signifie à la fois autour de la notion de non-linéarité et de grande dimension. Et pourtant, c'est la capacité atteinte aujourd'hui par l’IA et c'est le défi qui a occupé les chercheurs durant plus d'un demi-siècle.

Parce que nous évoquons l'effort de la connaissance, évoquons le sujet si délicat de l'explicabilité. Nous entendons régulièrement que l'IA est inexplicable et que dès lors elle ne doit pas être utilisée. Mais inexplicable à quel niveau ? Faut-il comprendre pourquoi telle fonction d'activation a été utilisée dans un réseau de neurones, faut-il comprendre quelle architecture de réseau a été utilisée, faut-il comprendre le principe du gradient, faut-il comprendre pourquoi nous avons utilisé tant de couches dans un réseau ? Et à qui est-ce de comprendre cela : au citoyen, au juriste, au scientifique, ou au politique ?  Qu'est-ce qu'en réalité signifie le terme explicabilité ? Nous demandons à l'IA, une transparence que nous ne demandons pas à d'autres disciplines ni même à l'homme d'ailleurs, qui est la boîte noire la plus complexe actuellement à décoder. Par ailleurs, il ne me paraît pas inutile d'ajouter que les progrès en intelligence artificielle tant sur les méthodes employées que sur les résultats font l'objet de publications scientifiques soumises à la relecture de pairs.

Par une incompréhension et une forme d'idéologie, nous risquons de pénaliser l'utilisation d'une IA responsable pour des usages maîtrisés au bénéfice d'une IA exploitée à des fins malveillantes ou portant atteinte aux libertés individuelles. C'est aujourd'hui une véritable source d'inquiétude, car ceux qui disposent aujourd'hui d'une grande capacité à développer des systèmes d'IA, ce sont les géants du numérique et la délinquance. Je n'assimile bien entendu pas les deux. Néanmoins, les services publics ne peuvent rester en dehors des développements en IA au risque de se voir asservir par les grandes entreprises du numérique ou dépassé, en ce qui concerne les forces de l'ordre, par une criminalité fortement technologique.  

Les opportunités et les risques de l’utilisation des systèmes de décisions algorithmiques

Général Perrot : Tout d'abord, je précise qu'une décision algorithmique est une décision humaine déléguée à une machine et que cette délégation doit être réalisée en connaissance et en responsabilité. La machine, lorsqu'elle apporte une décision ou propose un résultat, n'a aucune idée ou conscience de ce qu'est un résultat ou une décision et donc encore moins de l'impact possible.

Pourquoi, utilisons-nous l'IA comme une aide à la décision et j'insiste sur ce terme d'aide ?

Les raisons sont multiples : parce que l'IA est capable d'appréhender une masse de données beaucoup plus importante que l'être humain, parce que l'IA est capable d'apporter une analyse beaucoup plus rapide que l'être humain, parce que, ce que fait l'IA est beaucoup plus traçable que ce que fait l'humain, parce que l'IA est plus forte que l'humain sur des tâches très spécialisées. Il s'agit en effet, bien entendu, d'utiliser l'IA dans le périmètre qui est le sien à savoir des fonctions très spécialisées.

Je reviens sur le terme d'aide à la décision. À partir des analyses et hypothèses transmises par un système d'IA, l'homme doit enrichir le résultat machine par ce qui le distingue justement de la machine : son sens de l'évidence, son sens commun, sa capacité à intégrer de l'émotion dans sa décision, sa capacité à tenir compte d'éléments de contexte ponctuels. Bref, une multitude d'aspects qui nous distingue de la machine. Non, l'homme n'est pas une machine et une décision proposée par une IA n'est pas une décision humaine. Encore faut-il que l'homme ait le courage et fasse l'effort de s'élever au niveau qui doit être le sien. La machine place l'être humain en situation de s'élever notamment lorsque les décisions à prendre sont importantes.

En effet, il y a déjà aujourd'hui de nombreuses situations où l'IA n'est pas utilisée comme une assistante, mais bien réellement comme un outil de décision. Lorsque vous utilisez un moteur de recherche, c'est une IA qui décide de la réponse à vous transmettre, c'est une IA qui décide de l'ordre dans lequel les propositions vous seront faites. Imaginez une requête sur un moteur de recherche et demandez à l'être humain d'être aussi performant que la machine. La réponse de la machine sera arrivée avant que l'homme n'ait commencé à compulser le sommaire d'une seule encyclopédie.

Lorsque vous utilisez votre outil de traduction automatique, c'est une IA qui va décider de la traduction, à vous de la valider ou pas, c'est à vous de choisir. Il en est de même pour le GPS. L’IA décide pour vous d’un itinéraire, voire de plusieurs, et vous faites le choix de l'adopter ou pas. Nous percevons à travers ces exemples deux niveaux de décisions, l'un pour la machine, l'autre pour l'humain et ce dernier dispose du choix de la validation.

Il est des situations où l'IA devra décider toute seule sans validation humaine et ce n'est pas une ligne rouge comme nous l'entendons trop souvent. Je prendrai l'exemple de l'espace cybernétique. Nous allons dans les années à venir être de plus en plus victimes de la cybercriminalité. Si c'est à l'humain de prendre la décision de réaction pour protéger les systèmes contre les attaques, c'est à mon sens une bataille perdue d'avance. L'humain n'a ni la capacité à appréhender toutes les formes d'attaques, ni la capacité à analyser le risque dans le temps nécessaire, ni la célérité pour protéger le système contre l'attaque.

Les opportunités de l'IA apparaissent donc à travers ce que j'ai pu mentionner autour des notions de célérité, d'efficacité, d'objectivité et de proportionnalité. Mais quels sont alors les risques ? L'IA présente certes des atouts considérables, mais elle est aussi potentiellement porteuse de risques notoires.

Je citerai :

• une mauvaise programmation par l'homme de la machine et donc des erreurs de décisions prises parce que la machine aura été mal configurée et sera peu performante. Il faut s'en prémunir par des tests d'évaluation en soumettant les systèmes à des sollicitations diverses et régulières.
• la fragilité des systèmes et le manque de robustesse à certaines attaques comme les attaques adverses par exemple. Avec un simple bruit indétectable pour l'humain, il est possible de faire passer à un système automatique, un panneau STOP pour un panneau de limitation à 130km/h. Aujourd'hui, il existe des développements ayant pour objet de rajouter un peu plus d'aléatoire dans les bases d'apprentissage afin d'être plus robustes aux attaques adverses. L'homme doit percevoir la fragilité des systèmes et ne pas faire passer la sécurité après l'utilité. C'est malheureusement bien souvent, le profit économique qui prime sur la mise en œuvre de barrières de protection et de tests nécessaires à l'évaluation de la robustesse.
• le manque de responsabilité humaine qui consisterait à abandonner le pouvoir de décision à la machine. L'homme doit toujours être en responsabilité même lorsque, comme dans le cas cybernétique, c'est la machine qui répond de manière autonome (mais pas indépendante) à une requête.
• l'accoutumance de l'être humain à se laisser guider par une IA. L'IA est une discipline de l'observation fondée sur l'empirisme. L'être humain doit absolument poursuivre ses travaux en mathématiques pour être capable de travailler aux principes théoriques qui précèdent et expliquent l'observation. Aujourd'hui, la facilité en matière de développement consiste à récupérer du code informatique sur des « GitHub », nombreux sur Internet, et de les exécuter sans comprendre les fondements théoriques sous-jacents. Encore une fois, je reviens à l'effort de la connaissance. Même s'il peut être tentant d'aller au plus vite par l'exécution d'un code adapté, revenons aux méthodes mathématiques qui expliquent les résultats obtenus. L'être humain ne doit pas céder à la facilité et à l'utilitarisme. 

La stratégie nationale de l'intelligence artificielle au sein de la Gendarmerie nationale

Général Perrot : La Gendarmerie nationale travaille sur l'intelligence artificielle depuis le début des années 2000. Je me souviens, qu'à l'époque déjà, nous étudions les systèmes automatiques de reconnaissance de locuteur, de reconnaissance faciale, ou encore les techniques d'impostures biométriques.

Nous avons choisi de mettre en place une stratégie nationale en matière d'intelligence artificielle il y a environ deux ans pour répondre à ce qu'est l'IA et à ce que cela nous impose comme à ce que nous devons lui imposer :

• l'IA est une discipline du quotidien : l'IA a aujourd'hui envahi le quotidien du citoyen et la Gendarmerie ne peut être à l'extérieur de cette révolution, du fait même de sa mission de protection des populations.
• L’IA est un vecteur de transformation : comme nous l'avons mentionné, l'IA n'est pas une discipline informatique. Dès lors, pour une meilleure appréhension par le personnel, nous avons choisi de la définir comme le vecteur de transformation de nos processus métiers pour mieux protéger collectivement la population, individuellement le citoyen.  
• L’IA est une discipline complexe : nous ne pouvons subir cette discipline comme une boîte noire, il nous faut alors l'appréhender au plus tôt pour en comprendre les principes, les atouts comme les limites, et permettre de conserver ainsi un regard critique sur son utilisation. 
• L’IA est à la portée des criminels : elle est largement accessible aux criminels organisés comme au délinquant de droit commun pour commettre des infractions en minimisant le risque et en maximisant les chances de profit. Nous pouvons citer l'exploitation des deepfakes pour commettre de faux ordres de virement ou encore pour compromettre la réputation d'un individu. Par définition, le criminel ne respecte pas la nécessité du cadre de la loi, il n'a pas non plus besoin de comprendre comment fonctionne un système d'IA pour l'utiliser. Il nous faut donc poursuivre nos travaux pour être capable de faire face aux menaces à venir et dans la mesure du possible les anticiper. Aujourd'hui, dans la course entre le gendarme et le voleur, nous ne pouvons plus être que sur des méthodes réactives, il nous faut agir en pro action dans le respect de la loi bien évidemment.
• L'IA est un enjeu de souveraineté : si les services de l’État ne se mettent pas au plus tôt en ordre de marche sur le sujet, nous risquons à très court terme d'être asservis à des géants du numérique sur des sujets régaliens. L'essor des territoires connectés soulève dès aujourd'hui l'enjeu de la gouvernance. À titre d'illustration, Sidewalk Labs, une société filiale d’Alphabet, la maison mère de Google a travaillé durant plus de deux ans sur le projet de « villes intelligentes » à Toronto.  Aujourd'hui, le projet a été abandonné pour des raisons économiques, mais nul doute que de tels projets verront le jour. La question sera de savoir si, comme nous le faisons aujourd'hui dans notre pratique quotidienne, nous transmettrons volontairement nos données personnelles à des géants du numérique, gouverneur de ces mégalopoles, en échange de services.

Les actions mises en œuvre par la gendarmerie nationale en IA 

Général Perrot : Les actions entreprises suivent la stratégie Cap IA que nous avons mis en œuvre depuis un peu plus de deux ans. Cette stratégie repose sur la polysémie de l'IA et sur la nécessaire pluridisciplinarité que nous devons construire pour l'embrasser. Nous avons choisi d'aborder l'IA, non pas par les projets (car ce serait oublier ce qui est nécessaire à l'acceptation, à la compréhension et à la bonne exploitation de l'IA), mais bien à partir d'une vision globale. Les actions mises en œuvre sont très concrètes et reposent sur une feuille de route conforme à la stratégie Cap IA à travers la formation, l'éthique et le droit, les partenariats et la valorisation et bien entendu la recherche et le développement.

En ce qui concerne la formation, nous travaillons à une politique qui va de l'acculturation au doctorat. Au niveau de l'acculturation, 93% des gendarmes ont satisfait à un MOOC généraliste à l'IA de façon à ce qu'ils aient, pour la grande majorité d'entre-eux, une connaissance et une conscience des limites et opportunités de cette discipline. Parce ce que le MOOC est généraliste, nous publions bimestriellement à l'adresse de l'ensemble du personnel, une revue, Cultur'IA, qui aborde l'IA par la théorie, les enjeux juridiques, les applications civiles comme les applications liées aux enjeux de la sécurité. À l'autre extrémité de la chaîne, nous avons créé une chaire « IA et Sécurité », la première dans le pays avec l'Institut Supérieur d'Électronique de Paris afin de pouvoir construire des parcours doctoraux en IA pour nos officiers, mais aussi pour des étudiants civils qui souhaiteraient travailler sur des sujets de thèse en IA liés à la sécurité intérieure. Cette chaire est aussi un espace d'échanges sur l'ensemble des applications de l'IA dans le domaine de la sécurité. Nous avons par exemple récemment proposé un webinaire sur la reconnaissance faciale, un autre sur le metavers et un autre à venir sur l'analyse prédictive. Et, entre les deux, nous travaillons à des modules courts pour la formation initiale des officiers comme pour nos cadres dirigeants à certaines étapes clefs de leur carrière.

En matière de travaux autour du cadre Éthique et juridique, nous avons créé et publié une charte éthique dédiée à nos activités qui place la confiance comme valeur émergente des actions que nous menons. La confiance ne doit pas être travaillée, elle doit résulter du travail entrepris sur d'autres valeurs comme la responsabilité, la loyauté ou encore le respect. Cette charte est aussi une première au sein des institutions publiques. Nous travaillons beaucoup au cadre juridique de nos applications. Nous participons bien entendu aux travaux sur le projet européen de réglementation de l'IA afin de placer la protection des citoyens comme un enjeu majeur. Nous travaillons aussi à la conformité de nos applications à notre charte éthique, au projet de réglementation en évolution et bien entendu à la conformité au RGPD même si cette notion est évidente et ne devrait même pas être citée. Concrètement, comment cela se traduit-il ? Pour chacune de nos applications, nous avons constitué une documentation qui repose sur un triptyque relatif à la compréhension scientifique, à la conformité et à la bonne utilisation. Nous conservons également le code et le rendons accessible sous réserve considérant la sensibilité de nos développements.

Pour ce qui est des partenariats et de la valorisation, nous avons engagé de nombreux partenariats avec des universités et des centres de recherche, avec des Think tank comme avec des industriels. Cette démarche est selon nous indispensable à la transparence de notre stratégie. Nous nous enrichissons des échanges et des expériences partagées et nous communiquons sur nos approches. La valorisation participe de la même ambition. Nous sommes présents dans des événements médiatiques, mais aussi des conférences scientifiques afin, là encore, d'expliquer ce que nous faisons à une population qui peut aller du citoyen au chercheur académique, voire à la représentation nationale.

Et enfin, il nous semble non seulement nécessaire, mais même indispensable de nous engager dans la voie de la recherche et du développement pour préparer l'avenir et être maître de nos outils. Il s'agit pour nous d'être actifs au sein de centres de recherches, de participer à des projets de recherche en répondant à des appels à projets nationaux ou européens et de publier le résultat de nos travaux dans des journaux ou actes de conférence. Aujourd'hui par exemple, nous travaillons autour de l'authentification de l'information que celle-ci soit illustrée par de l'image, de la vidéo, du texte ou de la voix, autour de l'apport de l'IA sémantique pour mieux appréhender la masse de données textuelles ou encore autour des méthodes de classification et de reconnaissance d'entités.