Rapport de projet fin d’année

3ème année
Ingénierie Informatique et Réseaux
Sous le thème

Étude comparative et evaluation a travers des

tests reels des performances des modeles de
langage LLMs open source sur diverses taches
de traitement automatique du langage NL

Réalisé par :
Othmane Al Amrani

Encadré par :
Mme. Tabouchy Meryem

0
Remerciements

Je tiens à exprimer mes sincères remerciements à toutes les

personnes qui ont contribué à la réalisation de ce projet de fin
d’année.
Tout d’abord, je souhaite adresser mes plus profonds
remerciements à Mme Tabouchy Meryem, mon encadrant. Sa
guidance précieuse, son expertise approfondie et ses conseils
avisés ont été essentiels pour le succès de ce projet de stage. Ses
encouragements constants et son soutien indéfectible tout au
long des séances d’encadrement m’ont permis de surmonter les
défis et de mener à bien ce travail. C’est grâce à son engagement
et à sa disponibilité que le projet a pu aboutir.
Je tiens également à exprimer ma gratitude envers l’École
Marocaine des Sciences de l’Ingénieur, qui a joué un rôle clé dans
le déroulement de ce stage. Les ressources, l’encadrement et le
soutien fournis par l’établissement ont été d’une aide précieuse et
m’ont permis de réaliser ce projet dans les meilleures conditions.
Enfin, je remercie toutes les personnes qui ont apporté leur aide,
leur soutien et leurs encouragements tout au long de ce parcours.
Leur contribution, qu’elle ait été directe ou indirecte, a été
grandement appréciée et a joué un rôle important dans la réussite
de ce projet.

1
Résumé

Ce rapport présente une étude comparative et une évaluation des

performances de trois modèles de langage open source : Mistral,
Bloom, et Llama 2. L'objectif principal est d'analyser et de
comparer ces modèles à travers divers tests réels dans le
domaine du traitement automatique du langage (NLP).
La première partie du rapport introduit les caractéristiques de
chaque modèle, en mettant en lumière leurs architectures, leurs
spécificités, et leurs capacités générales. Mistral, Bloom, et
Llama 2 sont chacun analysés en termes de taille, de
prétraitement des données, et d'approche de formation.
La seconde partie décrit la méthodologie employée pour évaluer
ces modèles. Des tests variés ont été conçus pour évaluer la
performance des modèles sur des tâches courantes du NLP,
telles que la classification de texte, l'extraction d'entités, et la
génération de texte. Les critères de performance incluent la
précision, la vitesse de traitement, et la qualité des réponses
générées.
Les résultats de ces tests sont ensuite présentés et discutés. Les
performances des modèles sont comparées sur la base des
critères définis, mettant en lumière leurs forces et leurs faiblesses
respectives. Les observations incluent des analyses détaillées
des scénarios où chaque modèle excelle ou rencontre des
difficultés.

2
Table des matières

Remerciements .........................................................................................................................................................1
Résumé .....................................................................................................................................................................2
Table des matiéres .....................................................................................................................................................3
Table des figures ........................................................................................................................................................4
Introduction générale ................................................................................................................................................5
Chapitre 1 – Présentation du cadre général du stage ...................................................................................................6
1. Introduction .................................................................................................................................................6
2. Présentation de l’organisme d’accueil ...........................................................................................................6
3. Contexte Théorique ......................................................................................................................................6
3.1. L’Intelligence Artificielle open source ...................................................................................................6
3.2. Les grands modèles de langage (LLMs) .................................................................................................6
3.3. Le traitement automatique du langage naturel (NLP) ............................................................................7
4. Présentation de la mission du stage ..............................................................................................................7
4.1. Problématique .....................................................................................................................................7
4.2. Objectifs..............................................................................................................................................7
5. Conclusion ...................................................................................................................................................7
Chapitre 2 – Méthodologie de l'étude comparative .....................................................................................................8
1. Introduction .................................................................................................................................................8
2. Modèles open source étudiés .......................................................................................................................8
2.1. LLaMA 2 7B ..........................................................................................................................................8
2.2. BLOOM ................................................................................................................................................9
2.3. Mistral 7B ..........................................................................................................................................10
3. Métriques d’évaluation des LLMs ................................................................................................................11
3.1. MMLU – Massive …. ............................................................................................................................ 11
3.2. BBH - Big-Bench Hard ........................................................................................................................ 11
3.3. HumanEval ........................................................................................................................................11
3.4. DROP F1 score...................................................................................................................................12
4. Procédures de test et outils utilisés ....................................................................................................12
Chapitre 3 – Résultats et analyse des performances .................................................................................................13
1. Introduction ...............................................................................................................................................13
2. Comparaison des LLMs selon les métriques de performance ......................................................................13
3. Résultats des tests effectués ......................................................................................................................14
4. Conclusion .................................................................................................................................................21
Conclusion .............................................................................................................................................................. 22
Bibliographie ........................................................................................................................................................... 23
Webographie ........................................................................................................................................................... 24

3
Table des figures

Figure 1: Llama 2 ------------------------------------------------------------------------ page (9)

Figure 2: BLOOM ----------------------------------------------------------------------- page (10)

Figure 3: Mistral ------------------------------------------------------------------------ page (11)

Figure 4: MMLU ------------------------------------------------------------------------ page (13)

Figure 5: BBH --------------------------------------------------------------------------- page (13)

Figure 6: HumanEval ------------------------------------------------------------------- page (14)

Figure 7: DROP F1 ---------------------------------------------------------------------- page (14)

Figure 8: Génération texte Mistral ----------------------------------------------------- page (15)

Figure 9: Génération texte Llama ------------------------------------------------------ page (15)

Figure 10: Génération texte BLOOM ------------------------------------------------- page (16)

Figure 11: Traduction Mistral ----------------------------------------------------------- page (17)

Figure 12: Traduction Llama------------------------------------------------------------- page (17)

Figure 13: Traduction BLOOM----------------------------------------------------------- page (18)

Figure 14: Génération de code Mistral -------------------------------------------------- page (18)

Figure 15: Génération de code Mistral -------------------------------------------------- page (19)

Figure 16: Génération de code Llama ---------------------------------------------------- page (20)

Figure 17: Génération de code BLOOM-------------------------------------------------- page (20)

4
Introduction générale

Le traitement automatique du langage naturel (NLP) a connu des avancées significatives

au cours des dernières années, principalement grâce aux progrès des modèles de
langage de grande taille (LLMs). Ces modèles, tels que ceux développés par OpenAI,
Google, et d'autres institutions de recherche, ont démontré une capacité remarquable à
comprendre et générer du texte de manière cohérente et contextuellement appropriée.
Leur importance croissante se manifeste dans divers domaines, allant de l'assistance
virtuelle à la génération de contenu, en passant par l'analyse de sentiment et la
traduction automatique.

Dans ce contexte, l'émergence des modèles de langage open source représente une
avancée notable. Ces modèles offrent une alternative accessible et modifiable aux
solutions propriétaires, permettant aux chercheurs et aux développeurs de
personnaliser et d'adapter les modèles à leurs besoins spécifiques. La popularité
croissante de ces LLMs open source, tels que Mistral, LLaMA 2, et BLOOM, témoigne de
leur capacité à rivaliser avec les solutions commerciales tout en favorisant la
transparence et la collaboration dans la communauté de l'IA.

Ce stage a pour objectif de comparer et d'évaluer les performances de plusieurs

modèles de langage LLM open source en les soumettant à une série de tests réels sur
des tâches variées de NLP. En mettant en œuvre une étude comparative rigoureuse, ce
rapport vise à fournir une analyse approfondie des capacités et des limitations de ces
modèles dans des scénarios pratiques. Les résultats obtenus permettront d'éclairer les
choix futurs pour l'implémentation des LLMs dans des applications concrètes.

Le rapport qui suit détaillera les méthodologies employées pour les évaluations, les
critères de performance utilisés, ainsi que les résultats et analyses des tests réalisés.
Cette étude fournira des recommandations précieuses pour l'utilisation optimale des
modèles LLM open source en fonction des besoins spécifiques des tâches de
traitement automatique du langage.

5
Chapitre 1 – Présentation du cadre général du stage

1. Introduction
Cette étude comparative évalue les performances réelles des modèles de langage LLMs
open source, tels que Mistral, LLaMA 2, et BLOOM, sur diverses tâches de traitement
automatique du langage (NLP). En testant ces modèles dans des scénarios concrets,
nous visons à identifier leurs forces et faiblesses pour optimiser leur utilisation pratique.

2. Présentation de l’organisme d’accueil

Le stage a été réalisé au sein de Bank Al Maghrib, la banque centrale du Maroc,

reconnue pour son engagement envers l'innovation technologique et la recherche en
intelligence artificielle. Avec ses ressources avancées et son expertise, Bank Al Maghrib
a fourni un environnement optimal pour évaluer les performances des modèles de
langage LLMs open source sur diverses tâches de traitement automatique du langage.

3. Contexte Théorique
3.1. L’Intelligence Artificielle open source
Qu’est ce qu’une IA open source ?

Une IA open source est une technologie d'intelligence artificielle dont le code source est
librement accessible au public. Cela permet à quiconque de consulter, modifier, et distribuer le
code, favorisant ainsi la collaboration, l'innovation et la transparence. Les projets d'IA open
source, comme TensorFlow, PyTorch et Hugging Face Transformers, permettent aux chercheurs
et développeurs de créer, entraîner et déployer des modèles d'IA tout en bénéficiant des
contributions et des améliorations continues de la communauté mondiale.

3.2. Les grands modèles de langage (LLMs)

Qu’est ce qu’un LLM ?

Un LLM (Large Language Model) est un type avancé de modèle de traitement du langage naturel
(NLP) basé sur des réseaux de neurones artificiels, particulièrement des architectures de type
transformer(Un transformeur est un modèle de réseau de neurones qui utilise l'attention pour
identifier et utiliser les relations importantes entre les mots dans une phrase). Ces modèles sont
entraînés sur de vastes quantités de texte pour comprendre et générer du langage humain de
manière cohérente et contextuelle. Ils peuvent accomplir diverses tâches telles que la
traduction automatique, la génération de texte, la réponse à des questions et la conversation, en
utilisant leur connaissance implicite du langage apprise durant l'entraînement. Le GPT-4
d'OpenAI est un exemple de LLM.

Exemple : chatgpt, llama, mistral ai, bloom…

6
 3.3. Le traitement automatique du langage naturel (NLP)
Qu’est ce qu’un NLP ?

Le NLP (Natural Language Processing) est un domaine de l'intelligence artificielle qui se

concentre sur l'interaction entre les ordinateurs et le langage humain. Il vise à permettre aux
machines de comprendre, interpréter et générer le langage naturel de manière utile et
significative. Le NLP comprend des tâches comme l'analyse syntaxique, la traduction
automatique, la reconnaissance vocale, l'analyse des sentiments et la réponse à des questions.

Exemple : traduction, chatbot, résumé automatique, classification de texte…

4. Présentation de la mission du stage

4.1. Problématique
Points à élaborer :

• Importance croissante des LLMs dans le NLP.

• Intérêt particulier pour les LLMs open source en raison de leur transparence,
accessibilité, et de la confidentialité qui offrent.
• Nécessité de comparer objectivement les modèles open source.

4.2. Objectifs
Évaluer les performances des familles des LLMs open source les plus utilisés sur une
série de tâches NLP, telles que la génération de texte, la traduction automatique, et la
réponse aux questions.

Identifier et utiliser des métriques standardisées pour mesurer les performances des
LLMs open source.

Réaliser des tests pour évaluer les LLMs étudiés sur des tâches concrètes, en simulant
des scénarios d’utilisation réels.

Analyser et interpréter les résultats pour déterminer les points forts et les faiblesses des
LLMs étudiés.

5. Conclusion

Ce chapitre a introduit les éléments clés qui sous-tendent l'étude comparative des modèles
de langage LLM open source dans le contexte du traitement automatique du langage (NLP).
Nous avons débuté par une présentation générale des concepts abordés, suivie d'une vue
d'ensemble de l'organisme d'accueil, fournissant ainsi le cadre nécessaire pour la
compréhension du travail réalisé.

Nous avons ensuite exploré le contexte théorique, en définissant l'intelligence artificielle

open source comme une technologie dont le code est librement accessible, ce qui favorise
l'innovation et la collaboration. Nous avons décrit les grands modèles de langage (LLMs)
comme des systèmes avancés capables de traiter et de générer du langage humain avec

7
 une précision remarquable, grâce à des architectures de type transformeur. Enfin, le
traitement automatique du langage naturel (NLP) a été présenté comme un domaine crucial
de l'IA, visant à faciliter l'interaction entre les humains et les machines à travers la
compréhension et la génération de langage naturel.

La mission du stage a été clarifiée à travers une problématique centrée sur l'importance
croissante des LLMs dans le domaine du NLP, avec un intérêt particulier pour les modèles
open source en raison de leur transparence et de leur accessibilité. Les objectifs du stage
incluent l'évaluation des performances de ces modèles sur diverses tâches NLP, l'utilisation
de métriques standardisées pour une comparaison objective, et la réalisation de tests
concrets pour simuler des scénarios d'utilisation réels.

En conclusion, ce chapitre a posé les bases nécessaires pour une étude approfondie, en
détaillant les concepts théoriques et les objectifs de la mission. Les prochaines sections du
rapport détailleront les méthodes d'évaluation employées, les résultats obtenus, et les
analyses des performances des modèles LLMs open source, fournissant ainsi une vision
complète des capacités et des limitations de ces technologies dans des contextes
pratiques de traitement du langage.

Chapitre 2 – Méthodologie de l'étude comparative

1. Introduction
2. Modèles open source étudiés
2.1. LLaMA 2 7B
LLaMA 2 7B est un modèle de langage développé par Meta AI, publié en juillet 2023. Ce modèle
fait partie de la série LLaMA, qui inclut plusieurs versions de tailles différentes, chacune visant à
offrir une performance de pointe en traitement du langage naturel tout en étant accessible pour
des applications de recherche et commerciales. Avec 7 milliards de paramètres, LLaMA 2 7B est
conçu pour des tâches telles que la génération de texte, la compréhension contextuelle, et la
réponse à des questions. Il bénéficie d'une architecture optimisée pour les performances et la
flexibilité dans diverses applications NLP. La série LLaMA 2 se distingue par ses améliorations en
termes de précision et de capacité de traitement, tout en étant une alternative puissante aux
modèles propriétaires.

8
figure 1

2.2. BLOOM
BLOOM, publié en juillet 2022, est un modèle de langage multilingue développé par le projet
BigScience, une initiative collaborative mondiale réunissant plus de 1000 chercheurs. Ce
modèle open-source dispose de 176 milliards de paramètres, ce qui en fait l'un des plus grands
modèles de langage disponibles publiquement. BLOOM est conçu pour comprendre et générer
du texte en 46 langues naturelles et 13 langages de programmation, ce qui en fait un outil
polyvalent pour diverses applications linguistiques. Le projet BigScience met un fort accent sur
l'éthique et la transparence, avec des efforts pour réduire les biais et garantir une utilisation
responsable. BLOOM est également disponible sous une licence open-source, permettant à la
communauté de rechercher, de tester et de développer des applications basées sur ce modèle.

9
Figure 2

2.3. Mistral 7B
Mistral 7B est un modèle de langage développé par Mistral AI, lancé en septembre 2023. Ce
modèle open-source avec 7 milliards de paramètres est conçu pour offrir des performances
élevées dans une variété de tâches NLP, telles que la génération de texte, la compréhension
contextuelle et la réponse à des questions. Mistral 7B se distingue par sa disponibilité sous une
licence open-source, ce qui permet une large accessibilité pour la recherche et l'innovation.
Mistral AI se concentre sur la création de modèles puissants tout en restant transparent et
accessible à la communauté, facilitant ainsi le développement et l'adaptation de technologies
avancées pour divers usages dans le traitement du langage naturel.

10
Figure 3

3. Métriques d’évaluation des LLMs

3.1. MMLU – Massive ….
Le MMLU (Massive Multitask Language Understanding) score mesure la performance des
modèles d'intelligence artificielle sur une large gamme de tâches académiques et
professionnelles. Il couvre 57 sujets variés, allant des mathématiques et des sciences aux
études sociales et à la médecine. Le score est calculé en évaluant la capacité du modèle à
répondre correctement à des questions à choix multiple dans ces domaines, testant ainsi sa
compréhension approfondie et sa capacité à généraliser ses connaissances sur des sujets
complexes et diversifiés.

3.2. BBH - Big-Bench Hard

Le BBH (Big-Bench Hard) score évalue la performance des modèles d'intelligence artificielle
sur des tâches très complexes. Ces tâches incluent des problèmes de raisonnement logique, de
compréhension contextuelle profonde, d'interprétation de métaphores, et de résolution de
problèmes abstraits. Le score est calculé en mesurant la précision du modèle sur ces tâches
difficiles, mettant en lumière ses capacités à gérer des situations non triviales et à généraliser
ses connaissances à des contextes nouveaux et complexes.

11
 3.3. HumanEval
Le HumanEval évalue la performance des modèles d'intelligence artificielle dans la génération
de code Python. Il consiste en une série de problèmes de programmation avec des
spécifications et des exemples d'entrées/sorties. Le score est calculé en mesurant le
pourcentage de problèmes pour lesquels le code généré passe tous les tests fournis, reflétant
ainsi la capacité du modèle à produire des solutions fonctionnelles et correctes pour des tâches
de codage.

3.4. DROP F1 score

Le DROP F1 score évalue la performance des modèles d'intelligence artificielle sur des
questions de compréhension de lecture nécessitant des raisonnements complexes. Les tâches
incluent des questions basées sur des passages de texte, où des calculs ou des inférences sont
nécessaires. Le score est calculé en mesurant la précision du modèle à fournir des réponses
correctes et bien raisonnées, mettant en lumière sa capacité à comprendre et à raisonner sur
des passages de texte pour répondre correctement aux questions posées.

4. Procédures de test et outils utilisés Commenté [TM1]: Dans cette section tu peux présenter
les outils utilisés comme LM studio, langchain, … et leur
Notions.IO utilité dans ton travail.
Tu peux présenter également les scénarios de tests: les
Context.ai questions posées et la tâche NLP visée / évaluée
(traduction, réponse aux questions Q&A, génération du
texte, …)
Medium.com

Datascientest.com

Huggingface.co

Open.ai

12
Chapitre 3 – Résultats et analyse des performances
1. Introduction
2. Comparaison des LLMs selon les métriques de performance Commenté [TM2]: Chaque tableau doit avoir un titre.
Il faut ajouter un paragraphe expliquant le contenu des
tableaux.

Figure 4

Mistral 7b se distingue avec un score MMLU de 57.2%, surpassant nettement les autres
modèles. BLOOM arrive en deuxième position avec 47.5%, tandis que Llama 2 7b se classe
dernier avec 40.0%. Cela montre une performance significativement meilleure de Mistral 7b
dans les tâches évaluées.

Figure 5

Le modèle Mistral 7b obtient le meilleur score BBH avec 57.2%, surpassant les autres. BLOOM
arrive en seconde place avec 47.0%, tandis que Llama 2 7b ferme la marche avec 40.0%. Ces
résultats soulignent l'avantage de Mistral 7b sur les tâches testées.

13
Figure 6

Mistral 7b prend la tête avec un score HumanEval de 39.4% pour la programmation Python, loin
devant ses concurrents. BLOOM obtient 24.0%, tandis que Llama 2 7b affiche le score le plus
faible avec 21.0%. Ces résultats soulignent la performance supérieure de Mistral 7b dans cet
exercice.

Figure 7

Mistral 7b se demarque avec un score DROP F1 de 63.7%, loin devant ses concurrents. Llama 2
7b le rattrappe et obtient 56.7%, tandis que BLOOM les suit et affiche un score proche de
48.2%.

3. Résultats des tests effectués Commenté [TM3]: Tu peux regrouper les résultats par
tâches NLP:
3.1. Résultats des tests de génération de texte
1. Génération de texte : 3.2. Résultats des tests de traduction
3.3. Résultats des tests de réponse aux questions
...
Question : Comment traduirais-tu "Je me sens bleu" en français en gardant le ton
émotionnel ?

MISTRAL :

14
Figure 8

LLAMA 2 :

Figure 9

BLOOM :

15
Figure 10

2. Traduction :
Question : Traduis ce texte en anglais « La théorie de l'évolution, formulée par Charles
Darwin au XIXe siècle, représente un pilier fondamental de la biologie moderne. Selon
cette théorie, les espèces évoluent au fil du temps par le biais de mécanismes tels que
la sélection naturelle, la mutation génétique, la dérive génétique et le flux génétique. Ces
processus sont responsables de la diversité biologique observée sur Terre. La sélection
naturelle, le mécanisme central de la théorie darwinienne, postule que les individus
possédant des traits avantageux pour leur environnement ont une probabilité plus
élevée de survivre et de se reproduire. Ces traits avantageux sont alors transmis aux
générations suivantes, entraînant une adaptation progressive des populations aux
conditions environnementales. Cependant, cette théorie a été enrichie par la génétique
moderne, qui explique les bases moléculaires des variations phénotypiques
observées. »

MISTRAL :

16
Figure 11

LLAMA 2 :

Figure 12

BLOOM :

17
Figure 13

3. Generation de code :
Question : Écris une requête SQL pour trouver le troisième plus haut salaire dans une
table d'employés.

MISTRAL :

Figure 14

18
Figure 15

LLAMA 2 :

19
Figure 16

BLOOM :

Figure17

20
4. Conclusion

Les résultats des tests effectués révèlent des performances distinctes et

remarquables parmi les trois modèles de langage évalués. Tout d'abord, Mistral se
distingue par sa domination en termes de volume de données générées, en
particulier dans le domaine de la génération de code. Il a fourni une quantité
substantielle d'informations, montrant une efficacité impressionnante dans la
création de solutions de codage détaillées et complexes. Cette capacité à produire
un grand volume de code suggère une aptitude particulière à traiter et à comprendre
des exigences techniques spécifiques.

En parallèle, BLOOM se démarque par son approche unique dans le décodage des
expressions et l'exploration de leur dimension émotionnelle. Contrairement à
Mistral, qui excelle dans les aspects techniques et quantitatifs, BLOOM brille dans
la génération de texte en mettant en lumière la nuance émotionnelle des contenus.
Cette capacité à saisir et à reproduire les subtilités émotionnelles des expressions
permet à BLOOM de créer des textes qui résonnent profondément avec les lecteurs,
offrant une dimension humaine et empathique à ses créations.

En ce qui concerne la traduction, les trois modèles de langage ont démontré une
compétence notable dans la retranscription de textes en anglais. Chacun des
modèles a abordé la tâche de manière distincte, apportant une approche
particulière à la traduction. Leur performance variée témoigne de la diversité des
stratégies employées pour maintenir la fidélité au message original tout en
s'adaptant aux nuances et aux contextes spécifiques de chaque langue source.
Cette diversité dans les approches de traduction enrichit le processus de traduction
en offrant plusieurs perspectives et options pour les utilisateurs.

En résumé, les tests ont révélé que Mistral excelle dans la fourniture de données
techniques et la génération de code, BLOOM se spécialise dans la création de textes
émotionnellement résonnants, et tous les modèles ont montré des compétences
solides en traduction, chacun avec sa propre méthode. Ces observations
permettent de mieux comprendre les forces spécifiques de chaque modèle et de les
choisir en fonction des besoins particuliers de chaque application.

21
Conclusion
Ce stage a permis de réaliser une étude comparative approfondie des performances des
modèles de langage LLM open source dans le domaine du traitement automatique du
langage (NLP), en se concentrant spécifiquement sur Mistral, LLaMA 2, et BLOOM. Les
tests réels effectués ont fourni des insights précieux sur l'efficacité de chaque modèle
dans diverses tâches NLP, telles que la génération de texte, la compréhension
contextuelle, et la classification.

Les résultats des évaluations montrent que chaque modèle présente des points forts
distincts. Mistral, avec sa capacité à générer des textes cohérents et pertinents, se
révèle particulièrement performant dans les tâches de génération de contenu. LLaMA 2
se distingue par sa robustesse dans l'analyse contextuelle et la compréhension des
nuances linguistiques, tandis que BLOOM affiche des performances remarquables en
termes de traitement de grandes quantités de données et d'adaptation à divers
contextes linguistiques.

En termes de scores de NLP, les différences observées entre les modèles soulignent
l'importance de choisir le modèle le mieux adapté aux besoins spécifiques des tâches.
Les performances en termes de précision, de pertinence, et de vitesse de traitement
varient, ce qui démontre que l'optimisation des modèles de langage doit être
contextuelle et alignée avec les objectifs des applications NLP.

En conclusion, ce stage a mis en lumière la diversité des capacités des modèles LLM
open source et a fourni des recommandations pour leur utilisation optimale dans
différents scénarios NLP. Les connaissances acquises pourront servir de base solide
pour de futures recherches et développements dans le domaine des technologies de
traitement du langage naturel.

22
Bibliographie Commenté [TM4]: Articles scientifiques / books …
Il faut mentionner le titre, les auteurs, l'année et l'url si
applicable

Arxiv.org

23
Webographie Commenté [TM5]: Il faut mettre l'URL complète avec un
titre et la date de visite de l'url

Cheatsheet.md

Mistralai

Huggingface

24
25
26
27