Les Large
language
models (LLM)
Edouard Willemsen
Formateur et Chef de projet IA
C1 - Public Natixis
Qu’est-ce qu’un LLM ?
Un LLM est un modèle d’intelligence
artificielle capable de comprendre
et générer du texte en langage
naturel
Edouard Willemsen
Formateur et Chef de projet IA
C1 - Public Natixis
Une banque de connaissances
Les LLM sont entraînés sur des
milliards de mots pour apprendre à
prédire et générer du texte cohérent
Revue de presse,
Données du Web
papiers scientifiques
Livres (Corpus Autres documentations
littéraires et (données multilingues,
éducatifs, etc.) structures, etc.)
LLM
Edouard Willemsen
Formateur et Chef de projet IA
C1 - Public Natixis
Comment ça fonctionne ?
Edouard Willemsen
Formateur et Chef de projet IA
C1 - Public Natixis
Tout commence avec
les tokens
Le LLM décompose une phrase en
tokens
Edouard Willemsen
Formateur et Chef de projet IA
C1 - Public Natixis
Les tokens deviennent
des vecteurs
Chaque token est traduit en un
vecteur numérique, une "empreinte"
que le modèle peut manipuler.
{
'text': 'Il a battu l\'électricien en le mettant à terre’,
'vector': [0.34, -1.02, 0.34, 1.2, ..., 1.14, -0.03]
}
Edouard Willemsen
Formateur et Chef de projet IA
C1 - Public Natixis
Le LLM calcule la probabilité
d’apparition du prochain mot
Le modèle analyse les vecteurs pour
estimer les mots les plus probables
à venir
Edouard Willemsen
Formateur et Chef de projet IA
C1 - Public Natixis
Du coup le modèle choisit
toujours le mot le plus
probable ?
Non ! Le choix est influencé par la
« Température »
Plus la température est basse, plus
le modèle choisira un mot probable.
Plus elle est élevée, plus le modèle
sera créatif et choisira des options
variées et moins évidentes
Edouard Willemsen
Formateur et Chef de projet IA
C1 - Public Natixis
Pour être à 100% sûr du mot à
venir :
Le modèle prend aussi en compte le
contexte grâce au mécanisme
d’attention.
Ce qui lui permet d’identifier les
mots importants dans une phrase
pour ajuster ses prédictions
Edouard Willemsen
Formateur et Chef de projet IA
C1 - Public Natixis
Prenons un exemple
concret
Edouard Willemsen
Formateur et Chef de projet IA
C1 - Public Natixis
1 Départ : "La pluie tombe..."
L’IA commence par analyser les
tokens :
Tokens Characters
5 14
La pluie tombe
Edouard Willemsen
Formateur et Chef de projet IA
C1 - Public Natixis
2 Calcul des probabilités
Elle prévoit :
1) "doucement" : 60%
2) "fortement" : 30%
3) "bruyamment" : 10%.
Edouard Willemsen
Formateur et Chef de projet IA
C1 - Public Natixis
3 Mécanisme d’attention
L’IA attribue un poids à chaque
mot précédent.
Ici, "tombe" influence fortement
le choix, car il est directement lié
au contexte.
Edouard Willemsen
Formateur et Chef de projet IA
C1 - Public Natixis
4 Choix du mot suivant
Avec une température basse, elle
choisira « doucement » (60%).
Avec une température haute, elle
pourrait choisir « fortement »
(30%) ou « bruyamment » (10%)
Edouard Willemsen
Formateur et Chef de projet IA
C1 - Public Natixis
5 Ajout d’un nouveau mot
La phrase devient "La pluie
tombe doucement..." et le
processus recommence pour
prédire la suite
Edouard Willemsen
Formateur et Chef de projet IA
C1 - Public Natixis
5 Résultat final
Après plusieurs itérations, l’IA
produit :
"La pluie tombe doucement sur
les toits en ardoise."
Edouard Willemsen
Formateur et Chef de projet IA
C1 - Public Natixis
Les limites des LLM
Les résultats ne sont pas toujours
bons, l’IA peut inventer des
informations.
➔ On appelle ça les hallucinations
Cela est dû à des biais dans les
données qui sont imparfaites
Edouard Willemsen
Formateur et Chef de projet IA
C1 - Public Natixis
Finalement, tout est une
question de données
Plus les données seront de qualité, plus le
LLM sera performant
Edouard Willemsen
Formateur et Chef de projet IA
C1 - Public Natixis
Pour aller plus loin
Je vous recommande cette vidéo où
l’ancienne CTO d’Open AI et le
fondateur de Runway explique
comment fonctionne un LLM
How Chatbots and Large Language Models work
Edouard Willemsen
Formateur et Chef de projet IA
C1 - Public Natixis
Vous avez
trouvé ça utile ?
Likez Commentez Partagez
Et suivez-moi pour ne
pas louper la suite
Edouard Willemsen
Formateur et Chef de projet IA
C1 - Public Natixis
