La modération de la haine en ligne et l'intelligence artificielle

Comprendre la modération en ligne et ses liens avec l’intelligence artificielle

La première partie de cette table-ronde a été centrée sur le contexte et le fonctionnement de la modération. Benoît Loutrel a commencé son intervention en définissant le concept de modération des contenus en ligne sur les réseaux sociaux. On définit souvent la modération comme le fait de rendre inaccessible des contenus signalés comme illégaux ou contraires au règlement communautaire. Mais dans une acception large, il s’agit de l’ensemble des actions visant à rendre un contenu moins visible. Cela peut notamment consister à moins recommander algorithmiquement un contenu aux utilisateurs, à interdire de le re-partager, à le rendre accessible uniquement par une recherche spécifique ou encore à lui accoler un avertissement. Il s’agit donc de règles qui fixent des limites à ce qui peut être publié en ligne. La modération recouvre l’ensemble des règles applicables aux usagers (lois applicables et règlement communautaire édicté par la plateforme), mais également la mise en œuvre de ces règles. Les contenus modérés concernent les contenus manifestement illégaux (seul un juge est légitime à agir sur cette zone grise l’illégalité n’est pas manifeste, cf. décisions Décision du Conseil constitutionnel n° 2018-773 DC du 20 décembre 2018 et n° 2020-801 DC du 18 juin 2020), ou contraires aux conditions générales d’une plateforme. Ce sont généralement des contenus haineux, terroristes, toxiques, sur des sujets de manipulation, voire dangereux pour le public en général ou un public en particulier (dont les mineurs). Certains contenus font l’objet de modération non pas en raison de leur illicéité mais simplement parce qu’ils sont considérés comme toxiques ou non souhaitables comme la manipulation de l’information.   

Benoît Loutrel a par ailleurs expliqué comment les plateformes détectent, identifient et qualifient ces contenus afin d’être modérés. Il faut en effet indiquer que les plateformes utilisent parfois des algorithmes pour créer un environnement non-anxiogène. Il a indiqué qu’il importe de se demander à quel moment effectuer cette modération : ex ante ou ex post ? La modération ex ante est la censure préalable par la plateforme qui bloque la publication. Elle est l’exception, employée pour les contenus les plus graves et uniquement si le traitement algorithmique est suffisamment fiable (ex : contenus pédopornographiques, i.e. l’IA est entrainée à reconnaître et bloquer des photos ou vidéos d’enfants nus !). La modération ex post est celle majoritairement utilisée. Elle fonctionne sur le signalement d’un tiers, d’un usager, d’une autorité publique, d’une association de défense des victimes, ou encore de la plateforme à son initiative. Vu l’échelle d’informations, la masse de contenus trouvée fait l’objet d’un traitement algorithmique. Un programme algorithmique va procéder à une consultation de la masse de contenus pour reconnaître une certaine catégorie de contenus comme problématiques. La détection peut être totalement algorithmique ou simplement être une forme de pré-détection suivie d’une confirmation de la qualification par un humain. Ce sont donc des décisions hybrides au sens où le retrait de la vidéo est le résultat d’une double qualification algorithmique et humaine. En cas de contestation (de la décision de retrait ou de non retrait), une deuxième qualification est réalisée par un modérateur humain.

Serge Abiteboul a livré quelques explications techniques concernant le fonctionnement technique de la modération. Avec le machine learning, une classification est opérée entre ce qui est licite ou illicite, puis il est demandé à l’algorithme de reconnaître si le contenu ressemble plus à un message défini comme « bien » ou « mal ».  Dans un contenu, on essaie de détecter quel est le sujet, la personne qui provoque la haine, le verbe (tuer, insulter etc), l’objet (un homme ou une femme politique, une personne « normale », un enfant, une catégorie qu’il faut protéger, racisme etc). Ce qui est important est de savoir qui a catégorisé ces éléments subjectifs. Or il est difficile de déterminer ce qui est haineux de ce qui ne l’est pas, et pareillement concernant ce qui est toxique. Des données d’apprentissage permettent aux algorithmes d’apprendre à appliquer ces lois. Il y a deux niveaux d’informations qui sont traités : d’une part, la façon dont sont édictées les lois de modération et, d'autre part, toutes les données d'apprentissage automatique. Toutefois, pour ces deux niveaux, la société civile est absente.

Historiquement, la plupart des décisions de modération ont été prises par les modérateurs humains des plateformes. Cependant, le rôle des algorithmes dans la prise de décision s’accroît de plus en plus. Ainsi, Benoît Loutrel a rappelé qu’historiquement les plateformes fixaient elles-mêmes les règles et dans un régime d’autorégulation, qui se transforme graduellement en co-régulation c’est-à-dire que l’on encadre la manière dont les plateformes exercent cette fonction de modération par une succession de lois françaises puis européennes, qui encadrent les droits et obligations des plateformes et de  leurs utilisateurs, et impliquent des administrations (par exemple la plateforme Pharos) et des autorités administratives indépendantes (comme l’Arcom), ainsi que les juridictions judiciaires pour contester les décisions de modérations des plateformes et administratives pour contester les interventions des administrations (injonction de retrait) ou les décisions des régulateurs vis-à-vis des plateformes. La prise de décision de modération peut parfois être automatique puisque la plateforme considère que l’algorithme est suffisamment fiable pour détecter certains contenus. Par exemple, les algorithmes sont désormais très fiables pour identifier des contenus avec de la nudité infantile. Pour les contenus faisant l’apologie du terrorisme, il existe une base de données (gifct.org) avec des vidéos déjà identifiées comme illicites et dès lors que l’on tente de les remettre en ligne, elles sont automatiquement bloquées. Benoît Loutrel a également indiqué que les algorithmes sont plus fiables pour analyser des images plutôt qu’un texte dans la mesure où ce dernier induit un contexte culturel à prendre en compte. Ceci explique qu’il soit aujourd’hui plus facile pour une plateforme de modérer une image représentant de la nudité plutôt qu’un texte à connotation raciste. Serge Abiteboul a, quant à lui, précisé que les contenus textuels de haine en ligne sont « plus simples » à modérer que des fake news. Désormais, il semblerait que les algorithmes soient moins mauvais que les modérateurs humains. On observe tout de même majoritairement un format hybride de modération : la décision de retrait est automatique, mais on introduit l’humain s’il y a contestation.  

On parle de « sur-modération » dans le cas où trop de contenus sont supprimés, ce qui peut constituer une atteinte disproportionnée à la liberté d’expression. À l’inverse, la « sous-modération » peut causer des dommages pour les personnes ou bien constituer une atteinte aux droits de propriété intellectuelle. 

Il convient alors de se demander si les plateformes sont légitimes pour modérer les contenus elle-même ou bien si d’autres acteurs sont nécessaires. D’autres questions se posent : comment contester la règle de modération, quels sont les mécanismes pour contester une décision de retrait, doit-il y avoir un modèle unique de modération pour toutes les plateformes ? Faut-il envisager, sur la même plateforme, plusieurs niveaux de protection (car les atteintes ne sont pas forcément les mêmes et peuvent être de différents niveaux) etc. ? 

Les moyens existants pour la modération notamment concernant l’implication des humains et de l’IA 

Majdi Toumi a remarqué que les entreprises se lançant dans la modération sont de plus en plus nombreuses. Certaines se basent sur des solutions existantes autour de l’intelligence artificielle pour modérer les contenus. Par exemple, un programme de Google, utilisé par le New York Times, donne un certain niveau de toxicité et de contenu haineux sur lequel on se base pour savoir si un contenu est haineux ou pas. Selon lui, le problème fondamental réside dans la modération liée à la génération du contenu. On a un moyen relativement simple de modérer en masse ces contenus, sans pour autant contrôler la modération en elle-même. L’intelligence artificielle donne un moyen de modérer l'ensemble du contenu. Concrètement, est utilisé un programme basé sur des statistiques, des corpus de données, et des messages à partir desquels on obtient des probabilités pour prédire si les nouveaux messages sont haineux ou pas. Cependant, cette méthode conduit souvent à des faux-positifs. Un autre enjeu fondamental dans la modération réside dans le contexte. Dans les programmes par mot-clé, l’intelligence artificielle va avoir tendance à « sur-modérer ». En effet, elle va se baser sur l’information telle qu'on la lui donne, mais sortie de son contexte. Autrement dit, les programmes se basent sur des mots problématiques sans comprendre le mot dans le contexte. 

Cela rejoint l’analyse de Serena Villata selon laquelle l’intelligence artificielle s’attaque à une « tâche » qui est la détection automatique de la haine en ligne. Pour cela, il faut des données. Cela nécessite de l’apprentissage supervisé : on commence avec des données, on donne à l’algorithme des exemples. Puis, on lui apprend à faire la distinction entre deux types de phrases. Pour cette fonction, beaucoup de données sont requises. Cela reste une tâche considérée comme simple. Il est possible de recourir à des tâches plus fines comme la détection de messages homophobes, misogynes, etc. Il faut bien distinguer entre les messages haineux et non-haineux. Cette tâche requiert plus de détails, plus de données, et est généralement plus compliquée à instruire. Un taux de 80-85% de succès est atteint pour une tâche qu’il convient de distinguer du succès de la modération. Serena Villata a insisté sur le fait que l’efficacité de la modération en ligne et le manque de transparence sont des enjeux fondamentaux et qui doivent être traités comme des sujets à part entière. Actuellement, on ne sait pas comment est prise la décision, comment est codé l’algorithme par la plateforme. On a ainsi un manque d’accès à tout un ensemble de données qui permettraient d’améliorer les algorithmes notamment pour savoir comment sont développés les algorithmes pour la modération de la haine en ligne (règles et données utilisées). 

Serena Villata a insisté sur le fait que l’humain dispose d’une connaissance du sens commun plus avancée que les algorithmes. Ainsi, une validation humaine est requise à la fin de la chaîne pour éviter ces problèmes. Toutefois, il ne faut pas oublier de prendre en compte les conditions de travail des modérateurs qui sont très difficiles. Comme relevé par Serge Abiteboul, il est inhumain de demander à un individu de s'asseoir devant un ordinateur et de regarder des contenus pédopornographiques, terroristes et racistes toute la journée.

La justification du recours aux algorithmes plutôt qu’à une décision entièrement humaine 

Benoît Loutrel a rappelé que la principale raison de recourir à des algorithmes tient à l’ordre de grandeur du nombre de contenus, car il serait impossible de modérer humainement des contenus par centaine de millions. Il s’agit là d’une caractéristique essentielle du modèle économique et du régime juridique des plateformes. Parce que la publication d’un contenu a un coût négligeable et qu'elle n’exerce pas de filtre et de responsabilité éditoriale (cf. le régime de responsabilité limitée des hébergeurs instauré par l’article 6 de la LCEN), les plateformes permettent à tout un chacun de s’exprimer librement ; ce qui explique les volumes gigantesques de contenus publiés. La modération exclusivement humaine est donc impossible avec cette volumétrie de contenus à traiter. La LCEN dispose que les plateformes “ne sont pas soumises à une obligation générale de surveiller les informations qu'elles transmettent ou stockent, ni à une obligation générale de rechercher des faits ou des circonstances révélant des activités illicites”. Réciproquement, en cas de signalement par un tiers, elles doivent procéder à une qualification des contenus signalés et, le cas échéant, procéder à leur retrait.  

Une infime minorité de contenus signalés donne lieu à une action de modération. Ainsi, les plateformes déclarent que plus de 90% des signalements sont non pertinents. Par exemple, certains utilisateurs ont utilisé l’outil de signalement seulement parce qu’ils n’aimaient pas Justin Bieber. Les utilisateurs ne comprennent pas le principe même du signalement. Ainsi, sur 1 000 signalements, il y en aura seulement une dizaine de pertinents. Pour lutter contre ce phénomène, il convient de recourir à des « signaleurs de confiance » comme les associations, qui sont reconnus comme étant spécialement qualifiés pour notifier des contenus problématiques, et dont les signalements seront traités en priorité. Quoiqu’il en soit, l’espoir est de parvenir à faire monter en puissance les signaleurs de confiance, en les insérant dans un réseau associatif capillaire,  pour identifier et retirer plus vite les contenus les plus toxiques, sans réduire indûment, par des retraits massifs et mal ciblés, la liberté d’expression.

Serge Abiteboul, quant à lui, soutient qu’il est très discutable d’affirmer qu’il n'y a rien de mieux pour faire de la modération que l’humain. L’humain ne fait pas forcément mieux que l’intelligence artificielle. Il y a un besoin constant d’évaluer en permanence. Durant la période du Covid, il a été observé une modération massive. L'évaluation de la qualité de ces signalements s’avère très compliquée, mais on peut considérer que les signaleurs restent très décevants. En résumé, ce qui importe repose sur la masse et la rapidité des contenus modérés. 

La différence entre la modération sur un fondement légal ou contractuel 

Benoît Loutrel indique que la majorité des contenus retirés par les plateformes le sont au motif que ce dernier ne respecte pas les conditions générales d’utilisation de la plateforme et non sur une illégalité manifeste du contenu. Les plateformes sont effectivement libres d’établir un standard plus strict que celui de la loi. Serge Abiteboul confirme qu’au-delà de l’application de ces règles, il y a des éléments qui n’ont rien à voir avec la loi (au sens de légalité). Les plateformes américaines ont fait le choix d’interdire la nudité alors que rien n’est indiqué à ce propos ni dans la loi européenne ni dans la loi américaine. Cela est donc la preuve qu’elles sont en mesure d’imposer leurs règles, voire leurs « lois », à la manière d’un État. On peut même admettre que ces plateformes souhaiteraient se positionner comme des États, et donc édicter leurs propres lois. Dans la pratique, ce sont les règles de la plateforme qui sont appliquées, plus que les règlements européens.

Les avantages et les inconvénients de la modération  

Selon Benoît Loutrel, même si on peut discuter de l'adéquation de la  modération exercée, il n’est plus possible d’imaginer une plateforme qui ne soit pas modérée au risque qu’elle devienne une jungle. La fonction de modération s’inscrit historiquement dans une logique d’autorégulation. Elle est maintenant exigée par les lois françaises et européennes. Les plateformes ont mis massivement et rapidement en place la modération à leur initiative. Le débat d’aujourd’hui est de savoir si les modalités d’exercice de cette modération sont acceptables ou pas, s’il y a sous-modération ou sur-modération.

L’ARCOM a réalisé un bilan annuel sur les moyens et les mesures mis en œuvre par les opérateurs de plateformes en 2021 sur la lutte contre la manipulation de l’information. Ce bilan a par exemple mis en évidence qu’on ne sait que peu de chose des actions de modération mises en place par TikTok  pour lutter contre la désinformation. C’est une plateforme apparue dans un délai très court et qui n’a pas déployé une fonction de modération satisfaisante à son initiative. 

On se pose souvent la question de déterminer si la modération est arbitraire. Benoît Loutrel considère qu’il existait auparavant un flou, mais que le cadre européen exige désormais que la règle soit transparente et objective, et que les plateformes rendent compte publiquement de leur action. 

Serge Abiteboul explique qu’une sur-modération génère des atteintes à la liberté d’expression. Au contraire, une sous-modération engendre un mécontentement des utilisateurs et les atteintes sont différentes. Selon lui, il convient de relativiser cette impression selon laquelle la modération est une opposition à la liberté d’expression. En effet, sur les plateformes, les utilisateurs ne disposent pas d’une liberté d’expression totale. Il donne aussi l’exemple d’utilisateurs qui ont été harcelés en meute pour s’être exprimés librement. Dès lors, en pratique, certains utilisateurs n’osent plus s’exprimer. Les attentes sont en effet différentes comme l’explique Benoît Loutrel. Ainsi, certains utilisateurs trouvent insupportable de devoir être politiquement correct. Le sujet même de la modération est complexe : on aurait abouti à de la sur-modération si on avait retiré tous les contenus des “gilets jaunes” par exemple. Au contraire, la sous-modération, quand il y a un suicide à la suite à un harcèlement, n’est pas acceptable non plus. 

Majdi Toumi considère que l’absence de modération sur les réseaux sociaux équivaut à de la privation. On a souvent le cas de journalistes qui se « briment » de peur d’un échange massif de haine. Il donne aussi l’exemple de journaux qui ont fermé leur section « commentaires ». La modération aujourd’hui n’est clairement pas au niveau malgré la mise en place de nombreuses solutions. La transparence est primordiale pour aider les prochains algorithmes à être entraînés, pour savoir à partir de quelles sources, quelles données ils le sont. Les GAFAM mettent à disposition des programmes qui peuvent être utilisés, mais restent basiques. 

De l’importance de collaborer pour modérer 

Serge Abiteboul a insisté sur la nécessité de collaborer pour modérer. Le risque est en effet de se retrouver face à de grandes plateformes en capacité de modérer et d’autres, qui ne le seront pas puisque la modération coûte très chère. En effet, les plus petites entreprises n’ont pas forcément les données ou les technologies requises pour modérer. Il est important de rappeler qu’une entreprise ou une plateforme a un certain business model pour les contenus. La modération ne fait pas partie du business model, car elle ne fait pas gagner d’argent. 

Dès lors, il argue que des échanges devraient exister sur la modération notamment concernant le partage des modèles de modération ou encore des données d'entraînement qui vont permettre de concevoir des algorithmes performants. Il y a des échanges de données, mais pour certains contenus seulement notamment pour le terrorisme, la pédopornographie.  

Ce n’est pas parce que tout le monde peut utiliser les données, que tout le monde doit faire la même modération. On peut, à partir des données communes, décider des échelles de contenus. Certaines modérations seront plus rigoureuses que d’autres. On peut partager le contenu commun de modération (demander comment chaque plateforme veut faire de la modération). 

Majdi Toumi a aussi évoqué l’enjeu de la standardisation. Il estime que ce qui est dommage avec l'écosystème start up, c’est de créer une solution sans se poser les questions d’un standard qui va être ouvert. 

De manière générale, aujourd’hui, on ne peut avancer uniquement par l’échange sur la manière dont on va modérer. La compréhension de l’analyse des différentes classifications est un moyen clé pour avancer dans le secteur. Seule la transparence permet de comprendre exactement comment un commentaire a été modéré. 

Le cadre juridique existant et les innovations du règlement sur les services numériques (RSN)

Benoît Loutrel indique que la réglementation existante en droit français n’est qu’un début. Le Règlement européen sur les services numériques (Digital Services Act) est ainsi une réponse européenne ambitieuse à une prise de conscience globale. Ce processus politique est né au niveau des États membres. Initialement, l’Union européenne n’osait pas modifier la directive e-commerce du 8 juin 2000 pour renforcer les obligations des plateformes. Toute la jurisprudence et le monde numérique actuel (en France, Blablacar, Leboncoin, Bereal, Yubo,  pour n’en citer que quelques-uns, en plus des géants américains bien connus …) reposent sur cette directive. 

Toutefois, une dynamique politique, portée par la France et l’Allemagne en premier lieu, s’est développée à partir de 2017,  et par un processus de tâtonnement législatif dans ces deux pays, une approche globale européenne a pu se concrétiser avec l’adoption du règlement européen sur les services numériques. 

Les événements à l’origine du mouvement politique

Internet amplifie des faits lui préexistant (la haine, les fausses informations, la mise en danger des mineurs), mais à une nouvelle envergure. Les réseaux sociaux constituent le forum où se déroulent ces processus. Au Royaume-Uni, en 2017, des attentats à Londres ont été commis par un homme autoradicalisé sur Internet, ce qui a créé un doute sur la lutte des plateformes contre ce phénomène de radicalisation en ligne. À la même période, en Allemagne, à quelques mois d’une élection générale, on a assisté à un mouvement de haine en ligne ciblant la cheffe de file du parti vert. Les Allemands ont jugé que les plateformes se rendaient aux réunions de travail sur la question de la modération par politesse et ne démontraient pas un engagement suffisant. L'objectif de la loi dite NetzDG était de proposer une loi “agressive” destinée à sanctionner le non retrait rapide des contenus haineux sur les réseaux sociaux afin que les plateformes soient plus proactives. En France, une tentative de manipulation de l’information a failli compromettre la sincérité du processus électoral en 2017. La  loi relative à la lutte contre la manipulation de l'information adoptée en 2018 vise à mieux protéger nos processus électoraux contre ce type de risque. 

Les États membres n’acceptaient plus le statu quo et l’absence d’initiative de l’Union européenne et ont pris l’initiative en adoptant des lois. Ces lois ont permis de monter en compétences pour imaginer des cadres de régulations plus ambitieux. Elles ciblent des problèmes précis, un par un, mais les problèmes se mélangent les uns aux autres. On se rend compte qu’on ne peut pas résoudre ces problèmes, qu’on vit avec. 

Le RSN en a tiré les conséquences. Il renforce la responsabilisation des plateformes sans limiter pour autant leur évolution et leur capacité à innover. Il impose des obligations de moyens, sans les spécifier dans une approche de conformité. Ces plateformes mutent en permanence et peuvent contourner des lois trop rigides ou trop spécifiques  très vite. Ce règlement européen prévoit donc des “boîtes à outils” adaptables par les régulateurs pour permettre une agilité de l’action publique. Il inclut aussi une gouvernance de la fonction de régulation pour garantir la proportionnalité et la cohérence à travers l'Union Européenne des interventions des régulateurs : un niveau de règle posé par l’autorité publique, puis modifiable très vite. Une telle approche agile est nécessaire car chaque année, on découvre de nouvelles évolutions des plateformes qui induisent de nouvelles problématiques. Le règlement a été pensé de manière flexible pour faire face aux sujets connus à ce jour, mais aussi aux sujets de demain. C’est donc un texte ambitieux qui confirme le principe de responsabilité limitée des plateformes tout en renforçant leurs obligations. L’engagement européen de ne pas exiger des plateformes la mise en place d'une censure systématique ex ante est réitéré, tout en exigeant un renforcement des moyens de modération en vue de garantir le respect de la Charte européenne des droits fondamentaux. 

Le règlement a pour objet d’encadrer la fonction de toutes les plateformes à veiller à ce que leurs usagers ne soient pas en permanence en train de prendre un risque. Le DSA se compose d’une série de blocs et a été écrit en tirant des leçons du RGPD sur trois points :  

• Le RGPD pose une même règle pour tout le monde, sans différencier les petites entreprises des plus grandes. En réponse à cette limite, le DSA pose une série de gradations : les obligations seront proportionnées à la taille des plateformes. 
• Le RGPD entrait en vigueur le même jour pour tous les acteurs. Le DSA commencera par s’appliquer aux plus grandes d’entre elles, puis s’appliquera aux plus petites plateformes. 
• Le RGPD est structuré autour du régulateur du pays d’origine ou d’établissement de la plateforme qui a seul compétence pour exiger le respect du règlement. Le problème est que beaucoup de plateformes sont installées en Irlande, or il était difficile pour le régulateur irlandais de traiter l’ensemble de la matière. C’est un problème qu’on n’envisageait pas initialement et qu’on a découvert ex post avec l’essor de l’économie numérique. En réponse à cela, le DSA continue de désigner le régulateur du pays d’origine pour les petites et moyennes plateformes, mais innove en ce qu’il désigne la Commission européenne pour mettre en œuvre le régime d’obligation renforcée applicable aux plus grandes d’entre elles. À cet égard, Serge Abiteboul déplore le rôle trop centralisé de la Commission européenne et s’interroge sur les moyens et les compétences dont elle dispose. 

Ces plateformes créent des risques systémiques sur le fonctionnement de nos sociétés qu’il faut identifier. Pour les très grandes plateformes en ligne, il y a désormais une obligation d’identifier ces risques. Selon la première définition posée par le DSA, l’identification des risques systémiques est un outil fondamental pour le régulateur. La Commission s’appuie sur les régulateurs européens qui travaillent ensemble. Certains risques sont pré-identifiés, mais la liste est assez ouverte. Parmi les risques, on trouve notamment le risque d’éroder toute la confiance dans l’espace numérique, dans la manière dont se forme l’information, ou encore un risque de santé (exemple de la difficulté du rapport au corps avec Méta). Il y a une volonté du législateur européen de garder une capacité d’adaptation. La recherche académique peut accéder aux données de la plateforme pour évaluer les risques et vérifier les solutions. 

Le DSA crée un cadre juridique pour les signaleurs de confiance qui peuvent jouer un rôle très important. Pour certains contenus, les plateformes traitent à l’échelle algorithmique, mais pour les contenus plus graves, elles se demandent comment agir rapidement. Le harcèlement est l'exemple typique pour lequel interagir avec quelqu’un de confiance est utile. En effet, on sait que son signalement est légitime, ce qui permettra un traitement rapide. Le DSA établit aussi une vérification de la qualité des signalements des signaleurs de confiance, un mécanisme pour organiser leur montée en puissance et leur décentralisation, afin de créer un canal dans chaque territoire. 

En définitive, le DSA vise à remettre la société en capacité de participer à un dialogue avec les plateformes, tout en tentant de préserver leurs capacités d’innovation. L’objectif est de forcer ces plateformes à être responsables. Le DSA donne les nouvelles incitations pour que ces plateformes soient proactivement au centre de la situation. Celle-ci viendra des plateformes avec des designs plus innovants dans le futur. 

Les recherches de Serena Villata sur la modération de la haine en ligne et l’application Bodyguard 

Serena Villata crée des outils d’IA (intelligence artificielle) capables d’analyser la structure logique de n’importe quel texte, du discours politique au message Twitter. Une piste prometteuse pour combattre le harcèlement en ligne et les fake news. Pour ce faire, elle effectue un travail sur la détection du cyberharcèlement avec d’un côté la détection des messages haineux et de l’autre, la détection d’une cible qui reçoit beaucoup de messages et qui y répond rarement. Il s’agit du schéma classique du cyberharcèlement. Ce travail de recherche est réalisé dans le milieu scolaire (lycée et collège surtout) pour déclencher une alerte dans l’équipe enseignante. La détection de la haine en ligne va bien au-delà des insultes. Parfois, les adolescents s’insultent pour rire. Il est donc important de comprendre la sémantique des messages, ce qui est implicite et ce qui est subtil. Par exemple, le contenu des hashtags et les émojis sont souvent porteurs de sémantique. Un message associé à une certaine logique prend un sens différent. 

Bodyguard est une application qui vise à lutter contre le cyberharcèlement en filtrant en temps réel, grâce à un algorithme, les messages et autres mentions reçues sur les réseaux sociaux comme Twitter, Facebook, Instagram, YouTube, Twitch et TikTok. Elle gère 300 millions de messages par mois et mène une reproduction des étapes de la modération humaine avec des linguistes. Le travail est fait avec dix linguistes de nationalités différentes et de cultures différentes pour améliorer l’algorithme qui reproduit le résultat de l’intelligence artificielle, mais avec un output transparent. Cela permet d’observer le mécanisme sous-jacent pour éviter les faux positifs. On parle de granulation pour désigner la différence de la modération en fonction de l’environnement. Le machine learning est utilisé comme garde-fou pour réanalyser les messages et éviter les faux positifs. L’intelligence linguistique est créée sur le fondement de cette transparence pour pouvoir créer un standard avec la classification mise en place. Bodyguard détient à cet égard une information exacte sur la façon dont le contenu est modéré.

Au-delà de la modération des contenus 

Benoît Loutrel expose que l’autre partie de l’équation est la nécessité de responsabiliser les utilisateurs, ce qui implique selon lui de dépasser le faux sentiment d’anonymat, et de faire comprendre que l’on évolue dans un pseudonymat (i.e. un juge peut demander la levée de ce pseudonymat et engager la responsabilité des individus) et investir dans l’éducation aux médias et à l’information, et plus généralement, au développement d’une véritable citoyenneté numérique. 

Pour éviter de se voir imposer un modèle américain de grandes plateformes, Serge Abiteboul insiste sur l’importance de s’intéresser à d’autres modèles économiques de réseaux sociaux et de modération. Le modèle économique initial joue sur l’effet de réseau : un réseau avec beaucoup d’utilisateurs attirera de plus en plus d’utilisateurs. Il y a d’autres manières de faire de la modération. D’autres alternatives existent comme Twitch, WT.Social : des plateformes où la communauté est auto-responsabilisée, contrairement aux business models connus des grandes plateformes où le but est de faire beaucoup d’argent en déresponsabilisant l’utilisateur. Un exemple alternatif de la modération collective des contenus est Wikipédia. Il y a également Mastodon qui est une fédération de réseaux sociaux dans laquelle on peut choisir ses règles de modération et sortir de ces idées de gigantisme pour revenir à une taille plus raisonnable. Toutefois, cela ne règle pas forcément les problèmes de modération du contenu : au contraire, cela les rend encore plus compliqués. Il n’y a pas d'obligation à suivre le business model de Facebook, Instagram, TikTok etc. Dès lors, Serge Abiteboul soutient l’importance de pouvoir contester une décision de modération donnée par les plateformes. Il indique que la plupart du temps, les utilisateurs ignorent si un humain a été impliqué dans le processus de modération. Il y a donc une opacité totale de ces plateformes et du dialogue. Il est en faveur d’une réelle explication et de moyens pour contester une décision. Il faut essayer de sortir de ce mode de modération. Il faudrait se baser sur une modération où on peut avoir un réel dialogue avec les humains. Serge Abiteboul cite ainsi l’exemple d’associations aux États-Unis qui détectent les dérives numériquement, et passent la main à des militants qui vont engager un dialogue avec des personnes aux propos racistes. 

L’approche académique consistant à construire des contre-récits est une piste identifiée par Serena Villata. Il faut donc déployer des moyens humains afin qu’ils entraînent les algorithmes avec un objectif de développer l’esprit critique de l’utilisateur bien que cela s’avère compliqué.