Entretien avec Véronique Béchu sur les deepfakes et la sextorsion

Pourriez-vous définir la sextorsion et quelles formes peut-elle prendre ?  

Véronique Béchu : La sextorsion est le fait d’opérer un chantage à partir de contenus sexualisés, souvent à caractère pédocriminel. Ces contenus peuvent avoir été envoyés volontairement par le mineur ou générés par l'intelligence artificielle (IA). Ce type de chantage se divise en deux catégories : la sextorsion à but sexuel, lorsque l’agresseur cherche à obtenir davantage de contenus pédocriminels, et la sextorsion à but financier, lorsque l’objectif est d’obtenir de l'argent. Par ailleurs, la sextorsion à but financier est une délinquance opérée très majoritairement par des réseaux de criminalité organisée souvent depuis l’étranger, et que même si l’acte à l’origine du chantage implique le contenu sexualisé d’un mineur, les criminels n’ont pas un profil de pédocriminel mais d’escroc.

Quel est l’impact des deepfakes pornographiques et comment affectent-ils les pratiques de sextorsion ? Auriez-vous des chiffres ?  

Véronique Béchu : Tout d’abord, le terme deepfakes pornographiques n’est pas utilisé quand il représente un mineur, puisqu’il est considéré que la pornographie a un côté ludique et sous-entend un consentement. Or, un mineur n’a pas la capacité de consentir. Ainsi, en matière de deepfakes concernant les mineurs, on parle de « contenus pédocriminels générés par l’intelligence artificielle ».

L’impact de ces contenus pédocriminels générés par l’IA sur les pratiques de sextorsion est difficile à chiffrer dans la mesure où, si leur existence est connue, leur ampleur globale n’est pas évaluée. Il n’est pas possible de déterminer si cela prend le pas sur la sextorsion dite « classique » ou non. Cela affecte les pratiques de sextorsion, puisque les enfants sont désormais victimes de contenus qu’ils n’ont pas autoproduits et qui ont été générés ab initio par l’IA en y plaçant le visage du mineur. Les individus vont ensuite effectuer un chantage de diffusion du contenu si une somme d’argent n'est pas payée ou un contenu n’est pas envoyé. Toutefois, bien que l'enfant soit conscient de ne pas avoir autoproduit ce contenu, il redoute l'impact qu'une éventuelle diffusion pourrait avoir, notamment au sein de son établissement scolaire et de son cercle de confiance familial et amical. Pour intensifier cette pression sur la victime, les auteurs ne se contentent pas d'un simple envoi. Ils y ajoutent un grand nombre d'éléments, tels que des vidéos, des captures d'écran, des listes d'amis sur les réseaux sociaux, ainsi que la géolocalisation de l'enfant et de son école, afin de lui montrer qu'ils connaissent son identité, son environnement scolaire et social, et qu'ils sont en mesure de diffuser ces contenus à toutes les personnes de son entourage.

Ainsi, l’IA offre aux délinquants la possibilité d'adopter des comportements plus agressifs. L’OFMIN ne détient pas encore de chiffres de sextorsion générées par l’IA ou non, à défaut de recul suffisant. En effet, les ressources humaines ne sont pas suffisantes et les outils ainsi que les moyens technologiques ne sont pas encore en capacité de distinguer les images générées par l’IA et les images autoproduites par les enfants. Toutefois, certains pays en avance sur ces thématiques, notamment les services répressifs des États-Unis qui estiment qu’à l’heure actuelle il y a 20% des contenus pédocriminels qui sont générés par l’IA et utilisés comme base pour la sextorsion. Toutefois, le National Center for Missing and Exploited Children (NCMEC qui est la fondation recevant les signalements des plateformes du net) n’a identifié en amont formellement que 4700 cas sur les 35 millions de signalements en 2023 car il manque encore des outils de détection. Enfin, il ne serait pas judicieux de mettre en avant un chiffre puisque cela est très aléatoire et non sourcé officiellement et ela pourrait donner des idées aux sextorqueurs de passer par l’IA qui est moins bien décelable. 

Avez-vous constaté une augmentation des cas de deepfakes pornographiques ces dernières années ?  Dans quelles proportions les mineurs sont-ils victimes et acteurs ?

Véronique Béchu : Oui, il y a une augmentation notable de ces contenus qui auparavant n’étaient pas du tout décelés. Désormais, même si l’OFMIN identifie ces contenus de manière parcimonieuse, certains commencent à être détectés.

Par ailleurs, l'implication des mineurs dans la sextorsion est un phénomène récent et révélé par l'association e-Enfance/3018 auprès de laquelle des enfants ont rapporté que leur maître-chanteur était un camarade d'école. L'OFMIN ne peut pas encore quant à elle distinguer clairement en amont du déclenchement d’une enquête pénale entre les mineurs et les majeurs parmi les auteurs de sextorsion. Toutefois, il est certain qu’une fois les investigations menées, processus qui s’avère parfois long et complexe, des auteurs mineurs seront identifiés. 

Quels sont les principaux impacts et enjeux des deepfakes pornographiques sur les mineurs victimes de sextorsion ?

Véronique Béchu : Les contenus pédocriminels générés par l’IA représentent un gain de temps pour les délinquants qui peuvent désormais contourner les étapes habituelles de la sextorsion pour obtenir des contenus sexuels, en créant directement des contenus avec l’IA. Cette technique leur permet de cibler un plus grand nombre de victimes en très peu de temps, ce qui inquiète les services d’enquête. La distinction entre la sextorsion avec l’utilisation de contenus pédocriminels réels et de contenus générés par l’IA devient floue et l’ampleur de ce phénomène pourrait entraîner une augmentation exponentielle du nombre de victimes.

Quelles sont les stratégies et technologies que l'OFMIN utilise actuellement pour détecter et prévenir les deepfakes pornographiques et la sextorsion ?

Véronique Béchu : Actuellement, l’OFMIN collabore à un niveau international pour développer des outils capables de trier les contenus et d’améliorer la réactivité des services d’enquête, bien qu'ils manquent de ressources pour traiter l’ensemble des dossiers. La prévention des enjeux liés aux contenus pédocriminels générés par l’IA reste complexe et il est incertain de savoir si des outils pourraient être développés pour bloquer l’envoi de ces contenus aux enfants.

Comment traitez-vous les deepfake pornographiques dans le cadre de la sextorsion ? Existe-t-il des protocoles spécifiques en place ? Quels sont les principaux enjeux ?

Véronique Béchu : Les situations de sextorsion impliquant des contenus pédocriminels générés par l'intelligence artificielle sont traitées comme si ces contenus avaient été directement produits par le mineur lui-même. Pour l’OFMIN, le moyen utilisé pour exercer le chantage n'a pas d'impact sur la gravité de l'infraction. Au contraire, créer un contenu (via l’IA) pour l'envoyer à un enfant est perçu comme une forme de criminalité de masse et organisée. Ainsi, aucun protocole spécifique n'est encore en place au sein de l’OFMIN pour les cas impliquant des contenus générés par l’IA.

Des décisions de justices ont-elles été déjà rendues à ce sujet ?

Véronique Béchu : L’OFMIN n'a pas à ce jour de retour sur les dossiers envoyés en province ou à la gendarmerie nationale, ce qui reflète un manque de personnels dédiés spécifiquement à la lutte contre les violences faites aux enfants. À l’heure actuelle, il n'existe que des statistiques de signalements effectués par les sociétés du net. Toutefois, il est envisageable que, dans les prochains mois, davantage d’informations ainsi que des statistiques sur les décisions de justice soient connues et rendues.

Sur quel fondement peut être sanctionnée la création de deepfakes pornographiques de mineurs ? Si ces deepfakes sont utilisés dans le cadre de la sextorsion ? Pensez-vous que le cadre juridique existant et en construction est suffisant ? Quels sont vos attentes en matière d'évolution du droit ?

Véronique Béchu : Il existe un vide juridique concernant la création de contenus pédocriminels générés par l’IA. Bien que la détention, la mise à disposition et l'offre de ces contenus soient punissables, la création en tant que telle ne l’est pas. Si l’on se réfère à la loi SREN récemment adoptée, il est à noter que législateur n’a pas pris en compte les mineurs. En effet, la loi SREN consacre une nouvelle incrimination et modifie l’article 312-10 du Code pénal qui sanctionne désormais de 7 ans de prison et 100 000 euros d’amende tout chantage exercé par un service de communication en ligne « au moyen d’images ou de vidéos à caractère sexuel », « en vue d’obtenir des images ou des vidéos à caractère sexuel ». Toutefois, le fait que ce chantage soit exercé sur un mineur n’est pas mentionné et aurait pu être considéré comme une circonstance aggravante de l’infraction consacrée. Ainsi, la consécration d’une infraction autonome ou d’une aggravation de l’infraction actuelle pour les contenus impliquant des mineurs est nécessaire à l’avenir. Il est donc urgent de créer une infraction spécifique pour poursuivre la création de contenus pédocriminels générés par l’intelligence artificielle.

Quels sont les verrous et vos attentes en matière de recherches scientifiques que ce soit de la part des sciences exactes ou des sciences humaines et sociales ?

Véronique Béchu : En termes de recherches scientifiques, il est crucial de développer des outils technologiques adaptés. En sciences humaines et sociales, une étude relative à l'impact psychologique sur les mineurs victimes de cette forme de sextorsion ainsi que sur la transformation des contenus par l’IA, serait utile. De plus, il serait pertinent d'étudier l'impact de la virtualité des infractions, notamment dans le métavers au sein duquel la perception d'une agression sur un avatar pourrait avoir des répercussions psychologiques sur les enfants.

Comment la société civile peut-elle agir et contribuer à la lutte contre ces pratiques ? Quel est votre avis sur des actions telles que le concours de legal design organisé par l’association ADN sans Haine et l'Observatoire de l'IA de Paris 1 ?

Véronique Béchu : Les actions de sensibilisation et de prévention menées par des associations comme ADN sans Haine sont essentielles. La sensibilisation de la population est cruciale pour minimiser les impacts de ces infractions. Des campagnes de sensibilisation, comme celles menées en Norvège, ont également montré qu’elles pouvaient réduire de moitié les plaintes contre le grooming et le revenge porn, en seulement deux ans.

Quelles sont vos recommandations pour les victimes et proches de victimes ?

Véronique Béchu : Il est important de : 

• Ne pas payer la rançon.
• Ne pas envoyer d'autres contenus pédocriminels.
• Faire des captures écran des messages et les conserver
• Contacter l’association e-Enfance/3018 dès que l'on est menacé par un maître-chanteur.