L’avis de l'Académie des technologies sur les agents conversationnels intelligents dont ChatGPT

Présentation de l’Académie des technologies 

Placée sous la tutelle du ministre chargé de la recherche et sous la protection du président de la République, l’Académie des technologies est un établissement public administratif national qui compte 360 membres élus, issus d’horizons variés. L’Académie des technologies agit comme un tiers de confiance et un médiateur afin d’éclairer les débats auprès des décideurs et des citoyens. Elle apporte un éclairage sur les questions relatives aux technologies et à leur interaction avec la société pour qu’elles soient utiles, responsables et porteuses d’amélioration des conditions de vie. L’Académie des technologies est constituée de neuf pôles d’expertise dont le travail vise à anticiper les défis à venir et à identifier les transformations majeures qui impacteront les générations futures. L’Académie des technologies émet des communications, des avis, des rapports ou des expertises scientifiques et techniques en privilégiant la vision à long terme et l’adéquation avec les besoins de la société et le monde économique. Elle propose aux médias des contenus, savoirs et informations impartiaux, et récompense des acteurs de l’innovation en leur offrant de la visibilité et du soutien.

Les contributeurs de l’avis de l’Académie des technologies sur les agents conversationnels sont Gérard Roucairol, Président du pôle numérique ainsi que Jean-Claude André, Albert Benveniste, Yves Caseau, Thierry Chevalier, Nicolas Demassieux, Hervé Gallaire, Erol Gelenbe, Laurent Gouzenes, Stéphane Requena, Michèle Sebag et Jöelle Toledano.

Le fonctionnement des IA génératives

L’agent conversationnel ChatGPT3, mis à la disposition du public en novembre 2022 par la Société OpenAI, a été utilisé par des millions d’utilisateurs découvrant ses différents usages prévus ou imprévus. Les dialogues entre cet agent conversationnel et les utilisateurs sont d’ailleurs utilisés pour ré-entraîner et améliorer le système. L’Académie des technologies remarque que l’engouement a suscité autant d’intérêt pour la multiplicité des possibilités offertes et la performance technologique que d’inquiétudes au sujet des limites de ce logiciel d’une part, et de son impact sociétal d’autre part. ChatGPT3 fait partie des IA génératives constituant une rupture technologique majeure susceptible de transformer la manière d’exercer de très nombreux métiers. Ils peuvent être notamment utilisés pour les applications suivantes :

• la recherche d’information par requête en langage naturel, en complément ou remplacement d’outils comme Google search : pour le grand public ou encore dans un contexte professionnel spécifique (c’est-à-dire des agents conversationnels pour le service après-vente, la maintenance, les agences de voyage) pour les chercheurs et étudiants ; 
• la traduction automatique ; 
• l’aide à la génération de résumés ou mots-clefs pour des textes, ou de légendes pour des images ou vidéos ; 
• l’aide à la génération de contenus institutionnels, culturels, commerciaux... ou toxiques (spams, fake news) ; 
• l’aide à la production de code logiciel à partir de descriptions de haut niveau ; 
• le portage de logiciels existants vers de nouveaux langages (retargetting).

L’avis explique comment réaliser un agent conversationnel intelligent et le mettre à disposition du public. Les agents conversationnels s'appuient sur un modèle de langage visant à compléter une phrase incomplète, ce qui nécessite trois étapes impliquant des ressources considérables. 

La première étape est celle de l’apprentissage d’un modèle de langage qui est entraîné à partir d’un ensemble de textes (corpus). Les modèles de langue courants sont appelés Large Language Models (LLM) et comprennent des centaines de milliards de paramètres. Pour chaque phrase du corpus, des phrases incomplètes sont créées afin d'optimiser le modèle pour reconstituer la phrase initiale. S’il est difficile est de prendre en compte le contexte de la phrase, du paragraphe, du document, il faut noter que plus le contexte contient d’informations, meilleure est la décision du système en général et plus grande est la base de textes nécessaire pour l’apprentissage. L’Académie des technologies précise que la prise en compte d’un mot peut être modifiée par la présence d’autres mots selon un mécanisme dit d’attention permis grâce à des chercheurs de Google en 2017⁽¹⁾. Pour cette première étape, il faut disposer de données d’apprentissage en quantité et en diversité suffisantes comme tous les contenus de Wikipédia, soit plusieurs téraoctets. Le modèle cherché doit aussi être suffisamment complexe : expérimentalement, une bonne qualité de réponses demande un modèle d’au moins 60 milliards de paramètres. Par exemple, actuellement ChatGPT3 (OpenAI) comprend 175 milliards de paramètres et GPT4 (OpenAI) devrait inclure 1 000 milliards de paramètres. L’entraînement d’un modèle de langage requiert l’utilisation de supercalculateurs capables de fonctionner plusieurs semaines, voire plusieurs mois, sans interruption. Ces supercalculateurs fonctionnent grâce à des milliers d'accélérateurs de calcul (GPU – Graphic processor unit) répartis en nœuds de traitement interconnectés indépendants afin d’exploiter le parallélisme inhérent des tâches. L’entraînement du modèle (représentation et stockage des données, parallélisation des calculs et des architectures) suppose des compétences en programmation extrêmement pointues et de larges équipes de chercheurs et d’ingénieurs. 

La deuxième étape est celle de la consolidation afin d’éviter que le modèle reproduise les biais éventuellement présents dans les données (racisme, sexisme, etc.) ou permette des usages dangereux (fabrication d’armes). Cette étape requiert des travailleurs du Web qui étiquettent des énoncés comme admissibles ou litigieux. Cette méthode est l’apprentissage dit par renforcement avec feedback humain, reinforcement learning with human feedback (RLHF). 

Enfin, la dernière étape est celle de l’ouverture afin que le modèle de langage soit mis en ligne à disposition des utilisateurs sur une plateforme. L’Académie des technologies précise que la diffusion de ChatGPT3 a été rapide et a dépassé les attentes des concepteurs pour atteindre seulement après deux mois, 100 millions d’utilisateurs dans le monde. La réalisation d’un service en ligne pour le grand public demande des ressources considérables afin de pouvoir dialoguer quasiment en temps-réel avec des milliers d’utilisateurs simultanés et devient dès lors supérieure à celle de la phase d’entraînement. 

Un avis centré sur les usages et les limites de ChatGPT  

Les usages de ChatGPT soulèvent de nombreuses questions notamment sur la qualité et l’impartialité des réponses, le droit d’auteur par rapport aux sources utilisées, l’interdiction des textes générés par ChatGPT dans des contextes critiques ou encore la capacité de détection automatique des textes générés. L’Académie des technologies explique que l’analyse de ChatGPT3 est structurée selon le canevas classique « forces, faiblesses, opportunités, menaces » dont les éléments les plus saillants sont ici reproduits⁽²⁾. 

Forces 

• ChatGPT propose un texte de synthèse, répondant directement à la question posée par l’utilisateur en tenant compte des précédents échanges et des souhaits de l'utilisateur concernant la longueur et le niveau de langage. Il en découle, selon l’Académie des technologies, une nouvelle étape dans la démocratisation des savoirs liée au numérique. Ainsi, il est possible de demander à ChatGPT une synthèse des documents disponibles sur un sujet en affinant les questions posées, en changeant de point de vue ou de contexte.
• ChatGPT dispose d’un certain contrôle sur certaines de ses réponses, lui permettant de ne pas répondre à certaines requêtes illicites comme sur la fabrication d’armes. 

Faiblesses

• Les réponses émises par ChatGPT3 se fondent sur les statistiques et non sur la vérité, la logique ou le calcul. De fait, ChatGPT émet des réponses rapides mais non vérifiées, ce qui est caractéristique de ce que Daniel Kahneman, prix Nobel d’économie, appelle un « System 1» ⁽³⁾.
• Le système peut créer des réponses inventées de toute pièce, générer des incohérences et des indéterminismes, notamment entre les réponses fournies au cours d’un dialogue.
• La définition des interactions indésirées et le positionnement politique, économique ou encore philosophique des réponses dépendent actuellement de l’entreprise propriétaire de l’agent conversationnel. 
• De plus, le contrôle de biais, d’excès de langage ou d’interdictions peut être contourné en formulant subtilement ses demandes. 
• Le corpus d’entraînement de ChatGPT ne respecte pas le règlement général sur la protection des données (RGPD), conduisant l’autorité italienne de protection des données à limiter provisoirement son usage. Par ailleurs, la compatibilité des textes générés avec les législations en vigueur n’est pas établie, notamment en ce qui concerne le droit d’auteur et la propriété intellectuelle.

Opportunités 

• ChatGPT devrait être considérablement utilisé pour la production de textes dans des domaines comme le marketing, la vente ou la relation avec des clients et prospects. 
• ChatGPT3 permet aussi de générer des langages de programmation, des documents structurés (tableurs, présentations, tableaux de visualisation de données) ou des nomenclatures industrielles. ChatGPT3 peut également servir à faire communiquer des logiciels indépendants. 
• Toutefois, ChatGPT4 devrait être enrichi de capacités de raisonnement afin d'améliorer sa cohérence et sa crédibilité. Cela suppose néanmoins de lever le problème de l’hybridation des méthodes statistiques et des méthodes de preuve logique ou mathématique ⁽⁴⁾.

Menaces 

• ChatGPT pourrait devenir un oracle fournissant une réponse par défaut à toute requête et susceptible de créer des croyances arbitraires ou de pousser le demandeur à des actions inappropriées. 
• De plus, l’emploi des « travailleurs du savoir » (knowledge workers) est susceptible d'être transformé. 
• Une autre menace possible concerne les modes actuels d’évaluation des élèves et des étudiants qui devraient être réexaminés afin de pouvoir mesurer l’apport de l’élève par rapport à une réponse fournie par un agent conversationnel. L'Académie des technologies soutient à cet égard une formation des élèves aux LLM et à leur usage de manière raisonnée. Cela pourrait impliquer le développement de nouvelles méthodes d’enseignement dans un contexte où les pratiques d’une évaluation des élèves sont rendues très difficiles.
• Enfin, de tels systèmes sont excessivement énergivores concernant la fabrication des infrastructures requises et les usages.

La position française et européenne sur les LLM  

Au printemps 2023, l’entreprise la plus en pointe est OpenAI, créateur de ChatGPT. Cette entreprise fondée en 2015 est soutenue par Microsoft (à hauteur d’un milliard en 2019 et de plusieurs milliards à partir de 2023) notamment pour combler le retard de son moteur de recherche Bing sur celui de Google.

L’Académie des technologies considère que les compétences existent en Europe pour participer au meilleur niveau aux avancées scientifiques et technologiques liées aux agents conversationnels intelligents. On peut citer à cet égard la société franco-americaine HuggingFace, une entreprise de 150 personnes fondée par trois ingénieurs français. Elle a créé en 2022 le projet BigScience qui regroupe une centaine d’institutions publiques et privées. Ce projet a conduit à l’agent conversationnel nommé Bloom (176 milliards de paramètres, 46 langues) en s’appuyant sur un supercalculateur du GENCI (Grand équipement national de calcul intensif). Bloom est ouvert, c’est-à-dire qu’il est utilisable par tous et ses biais peuvent être inspectés. En outre, l’entreprise française LightOn déploie son agent conversationnel sur le marché des entreprises.

L’accès aux moyens de calcul est facilité par l’initiative européenne EuroHPC qui permet à la recherche européenne publique et privée d’accéder aux plus puissants des supercalculateurs. Cependant, les capitaux nécessaires aux étapes de consolidation pour la mise à disposition publique des LLM font défaut.

Les deux recommandations de l’Académie des technologies sur les LLM 

Deux recommandations majeures ont été identifiées par l’Académie des technologies afin d’anticiper les effets économiques et sociétaux des produits et services créés par les géants du numérique et de remédier après coup à leurs conséquences indésirables. 

La création au niveau européen de Large Language Models (LLM) libres et de confiance.

Dans un objectif de souveraineté, l’Académie appelle de ses vœux la réalisation de LLM conformes aux valeurs européennes et capables de répondre aux objectifs de performance et de confiance dans l’esprit des logiciels libres. Dès lors, l’action des acteurs privés et publics alliant industriels, chercheurs, citoyens et États s’avère nécessaire pour : 

• mettre à disposition du grand public et des acteurs industriels des LLM (étapes 2 et 3 de la construction des LLM) notamment via la mutualisation d’équipements et/ou financement d’infrastructures ; 
• évaluer la conformité d’un LLM de manière agile ;
• réaliser des avancées scientifiques touchant à l’hybridation d’un agent conversationnel statistique et des méthodes de preuve logique ou mathématique ; 
• soutenir des recherches permettant le développement d’outils de traçabilité permettant d’identifier un agent conversationnel comme étant le créateur d’un texte. 

La création d’un centre d’expertise sur la régulation des LLM.

L’Académie des technologies souhaite qu’un centre d’expertise national ou européen soit créé pour la régulation des LLM. Celui-ci pourrait notamment s’inspirer de l’Agence nationale de la sécurité des systèmes d'information dans le domaine de la cybersécurité. Ce centre d'expertises pourrait notamment être chargé de : 

• définir légalement les responsabilités des offreurs et des utilisateurs (en évitant les redondances avec les régulations déjà en place ou en cours de définition) ;
• mettre en place les moyens d’évaluer leur conformité aux contraintes et réglementations par exemple pour obliger les LLM à produire leurs indices de confiance pour accompagner chaque réponse. 

⁽¹⁾ Vaswani, Ashish ; Shazeer, Noam ; Parmar, Niki ; Uszkoreit, Jakob ; Jones, Llion ; Gomez, Aidan N ; Kaiser, Łukasz ; Polosukhin, Illia: ''Attention is all you need'' In: Advances in Neural Information Processing Systems, 2017, S. 5998--6008.

⁽²⁾ Il sont plus détaillés dans l’avis de l’Académie des technologies des pages 9 à 11.

⁽³⁾ Kahneman Daniel, Thinking, Fast and Slow, London: Penguin Books, 2011.

⁽⁴⁾ Une première proposition existe toutefois. V. : ChatGPT gets its “Wolfram superpower” par l’éditeur de logiciel scientifique Wolfram. Ce plugin permet de connecter chatGPT à Wolfram | Alpha, un outil de calcul formel mathématique doté d’un langage. Il reste à examiner de plus près les nouvelles possibilités offertes par cet assemblage. Voir aussi Chain-of-Thought Prompting Elicits Reasoning in Large Language Models, un travail de Google.