Peut-on utiliser ChatGPT
dans la recherche scientifique ?
Jérôme ODIER, Pierre-Antoine DELSART
Journée du laboratoire 2023
Qu’est-ce-que ChatGPT ?
●
ChatGPT est un chat bot (ou dialogueur ou agent conversationnel).
● C’est un programme informatique basé sur de l’intelligence artificielle (AI)
conçu pour simuler des conversations avec des utilisateurs humains
via une interface Web de messagerie.
● On peut :
– lui poser des questions,
– lui faire résoudre des tâches assez complexes,
– lui faire rédiger / traduire du texte ou du code informatique.
●
ChatGPT tient compte du contexte tout au long des conversations.
OpenAI
●
L’entreprise OpenAI (San Francisco) propose :
– GPT : le modèle de machine learning de ChatGPT,
– ChatGPT : l’agent conversationnel généraliste basé sur GPT,
– DALL-E : l’IA générative, capable de créer des images à partir de
descriptions textuelles.
●
Fondée le 8 décembre 2015 par Samuel Altman et un certain … Elon Musk
(qui a quitté OpenAI en 2018 à la suite d'un conflit de direction).
Samuel Altman Ilya Greg Andrej
Elon Musk
(founder) Sutskever Brockman Karpathy
Exemples de question
Exemples de question
Exemples de question
Le poème n’est pas en
rimes croisées (ou
alternées) mais ce n’est
pas si mal !
Est-on prêt pour ChatGPT ?
● Depuis sa sortie l’automne dernier, l’engouement
est énorme :
=> le million d’utilisateurs dépassé en 5 jours seulement !
● Le monde se questionne sur l’arrivée rapide d’une
telle IA :
– Ambiguïté des réponses et fausses informations (= hallucinations),
– Utilisation détournée de ChatGPT par certains étudiants,
– Problème de la citation des sources,
– Éthique, ...
● Pour ceux qui n’ont pas encore essayé :
https://chat.openai.com/
ChatGPT - Pot-pourri d’articles sur la toile
● « Le logiciel ChatGPT a presque réussi un examen de médecine
américain »
● « IBM envisage de remplacer certains emplois administratifs par de
l'intelligence artificielle »
● « ChatGPT et éducation : faut-il l'interdire à l'école ? »
● « Devenir ami avec ChatGPT »
ChatGPT
● Comment ça marche ?
● Quelles-sont les limitations ?
● Peut-on l’utiliser dans la recherche ?
ChatGPT
Comment ça marche ?
Les chat bots à mots-clefs
● Les chat bots « classiques » existent depuis longtemps
● Algorithmes basés sur la détection de mots-clefs
➔ Ça ne marche que si les bons mots-clefs sont employés
➔ Et seulement sur un corpus de questions prédéfini
Pratique pour refaire
son passeport avant
d’aller en mission ;)
Le chat bots basés sur réseaux de neurones
●
ChatGPT exploite un modèle d’intelligence artificielle basé sur des
réseaux de neurones.
– Un neurone reçois plusieurs messages nerveux en entrée et produit
un message en sortie.
– Dans nos cerveaux, les neurones s’assemblent en réseaux.
On peut faire
des calculs
complexes avec
des neurones
L’apprentissage supervisé
● Les premières tentatives de chat bots (avec des réseaux de neurones)
étaient basées sur de l’apprentissage supervisé.
● Un exemple simple : le classificateur chiens / chats / ratons laveurs
● Soit un réseau de neurones :
– qui consomme en entrée des images de chiens, de chat et de ratons laveurs
– qui possède en sortie 3 sorties :
● La sortie 1 devra êtres activée si l’image d’entrée est un chien
● La sortie 2 devra êtres activée si l’image d’entrée est un chat
● La sortie 3 devra êtres activée si l’image d’entrée est un raton laveur
L’apprentissage supervisé
● Un corpus d’images déjà classifiées est utiliser pour entrainer le
réseau de neurones.
● Après entrainement, celui-ci peut directement classifier une image
inconnue (une certaine probabilité).
L’apprentissage supervisé
● Peut-on réaliser un chat bot générique avec de l’apprentissage
supervisé ?
– Théoriquement oui
– En pratique non
● Il faudrait disposer d’un gigantesque corpus de questions et de
réponses sur tous les sujets imaginables.
L’apprentissage auto-supervisé
(les modèles de langages de grande taille ou encore LLM)
● L’entrainement d’un chat bot général doit nécessairement passer par
l’apprentissage non supervisé.
● L’idée est de pouvoir consommer du texte quelconque pour entrainer
un volumineux réseau de neurones.
570 Go de texte
Le modèle GPT
● Le modèle GPT (Generative Pre-trained Transformer)
ne cherche pas à répondre à des questions.
● Pour une séquence de mots donnée (= prompt), il cherche
quels sont les mots suivants les plus plausibles.
● À la séquence « la souris est mangée par le ... », GPT
proposera les solutions suivantes :
– Chat 99.43%
– Serpent 0.18%
– Python 0.06%
– …
● Le mot ainsi sélectionné sera tiré au sort en tenant compte
des probabilités de chaque réponse trouvée.
Le modèle GPT
● À la séquence « Mozart à découvert les Amériques en ... »,
GPT proposera les solutions suivantes :
– 1492 94.49%
– Octobre 0.18%
– ...
● C’est évidement dénué de sens !
● GPT ne cherche pas à donner la vérité (il ne possède pas
cette notion) mais juste à produire quelque chose de
plausible vis-à-vis du corpus d’entrainement.
● GPT-4 (resp. 3) tient compte des ~32 768 (resp. ~2048)
derniers mots pour prédire les suivants.
Des licornes argentées
Texte obtenu par David Louapre avec le playground du modèle GPT-3.
De GPT à ChatGPT
● A la question « Quel est la masse d’un électron », GPT peut répondre :
– Réponse 1 : “La masse d’un électron est de 9,1093837 × 10^-31 kilogramme.”
– Réponse 2 : “Quel est sa charge ?” (comme si l’on générait un exercice)
– ...
● Pour passer de GPT à ChatGPT, il est nécessaire de situer le cadre dans lequel
des réponses sont attendues (= pre-prompt).
● Avec le pre-prompt « Dans une salle de classe, un professeur très savant,
aimable et bienveillant répond aux questions de ses élèves », la réponse 1
sera favorisée et ChatGPT ne sera pas tenté de répondre par une autre
question.
●
Le pre-prompt de ChatGPT est tenu secret par OpenAI.
Extrait fuité du pre-prompt de « Bing Search »
Quelques chiffres
● Sorties : GPT-3 (mai 2020), GPT-4 (mars 2023)
● 570 Go de texte provenant de sources diverses jusqu'en septembre 2021
● Nombre de paramètres libres dans le modèle :
– GPT-3 : 175 milliards (source OpenAI)
– GPT-4 : 100-1000 milliards (source ChatGPT)
● Temps d’entrainement du modèle :
– GPT-3 : quelques semaines sur un cluster haute performance de GPU (source ChatGPT)
– GPT-4 : quelques semaines/mois sur un cluster haute performance de GPU (source ChatGPT)
● Consommation électrique pour l’entraînement :
– GPT-3 : 1 287 MWh (552 tonnes de CO2e ou ~205 vols Paris – New-York, source université de Californie)
ChatGPT
Quelles sont les limitations ?
Amélioration des réponses
● Deux méthodes sont employées pour
améliorer la pertinence des réponses :
I. Le fine-tuning (au niveau GPT)
Après la première phase d’entrainement, des êtres humains
fournissent, sur des domaines très spécifiques, des questions
accompagnées de leurs réponses
II. L’apprentissage par renforcement (au niveau ChatGPT)
Pour une question donnée, des humains classent par pertinence
les différentes réponses
Limitations de ChatGPT
● ChatGPT ne connaît pas la vérité, il génère des réponses compatibles
avec son corpus d’entrainement !
– Les contre-vérités ou les points de vue du moment se retrouvent dans les
réponses.
Un peu
simpliste...
● Le fine-tuning et l’apprentissage par renforcement « orientent » les
résultats :
– Les éventuels biais sociologiques, politiques, scientifiques, … d’OpenAI se
retrouvent également dans les réponses.
Limitations de ChatGPT
● Le corpus de GPT-4 ne va pas au-delà de septembre 2021.
● ChatGPT peut aisément « halluciner » des réponses.
● ChatGPT gère difficilement la chronologie d’événements.
– Écris-moi du code pour la version X donnée de la bibliothèque Y.
● ChatGPT ne sait pas citer de références. La plupart du temps, il les
invente (rien ne ressemble plus à une référence qu’à une autre...).
ChatGPT
Peut-on l’utiliser dans la recherche scientifique ?
Peut-on utiliser ChatGPT dans la recherche ?
● Il s’agit d’un outil comme un autre, il ne connaît rien de plus que ce
que l’on peut trouver sur internet, un livre, un papier, ...
● Il est indispensable de bien préciser le contexte lorsqu’on pose une
question.
● Il convient de rester critique, et ne ne pas prendre les réponses pour
des vérités vraies.
● C’est un outil qui peut grandement améliorer la productivité
(en particulier dans l’écriture de textes ou d’algorithmes).
● => Il ne faut jamais tomber dans la facilité !
● => Il ne faut jamais divulguer des informations confidentielles !
Quelques applications des IA génératives dans
HEP
● ATLAS-GPT (https://atlasgpt.docs.cern.ch/) a tool that could be a front-
door for:
– Debugging software
– Quickly parsing documentation and twiki
– Summarizing research
– Connecting the dots between different groups
– Searching and summarizing JIRA and Glance information
Quelques applications des IA génératives dans
HEP
●
SYMBA: Symbolic Computation of Squared Amplitudes in High Energy
Physics with Machine Learning
Discussions
