Introduction et Ethiques de l’Intelligence Artificielle

Automne 2024

Introduction au Deep
Learning
—Du Machine Learning aux Réseaux de Neurones Avancés

Dr. Ghezlane Halhoul Merabet

[email protected]
 Plan du chapitre
01. du machine Learning au deep 02. introduction au deep
learning learning
Unité 03 | Deep Learning | G. H. Merabet

● Les Limites du ML Traditionnel ● Qu’est-ce que le Deep Learning ?

● Analyse des Défis et Impact sur les ● Les Aspects Distinctifs du Deep Learning
Performances ● Le Deep Learning dans Notre Quotidien
● Vers une Nouvelle Approche

03. fonctionnement des RÉseaux 04. Applications et Cas d’usage

de Neurones
● Qu’est-ce qu’un Réseau de Neurones ? ● Vision par Ordinateur (CNN)
● Les Fonctions d’Activation et leur rôle ● Traitement du Langage Naturel
● Fonctionnement d’un réseau de neurones ● Transfer Learning
● Prédiction par Réseau de Neurones ● Modèles Pré-entraînés

13/12/2024 2
Unité 03 | Deep Learning | G. H. Merabet

du Machine Learning au deep learning

Une Évolution Nécessaire…

13/12/2024 3
 RÉFLEXION sur les DÉFIS Actuels…
Cas Simple
Unité 03 | Deep Learning | G. H. Merabet

Questions de Réflexion :

1. Si vous deviez programmer un algorithme pour

détecter ce chat, par où commenceriez-vous ?
2. Quelles caractéristiques visuelles vous
permettent de reconnaître que c’est un chat ?
3. Comment pourriez-vous traduire ces
caractéristiques en règles programmables ?

13/12/2024 4
 RÉFLEXION sur les DÉFIS Actuels…
La Complexité Réelle
Unité 03 | Deep Learning | G. H. Merabet

Questions de Réflexion :

1. Ces images posent-elles de

nouveaux défis? Lesquels ?
2. Un algorithme ML traditionnel peut-
il facilement détecter ces chats ?
3. Quelles features deviennent difficiles
à identifier ?

13/12/2024 5
 RÉFLEXION sur les DÉFIS Actuels…
Les Limites des Approches Traditionnelles
Unité 03 | Deep Learning | G. H. Merabet

RÉALITÉ
Machine Learning Traditionnel VS
DÉFIS :
Features Identifiables : ⚠ Ombre : Les ombres rendent les détails moins visibles
ü Oreilles bien définies : Oreilles visibles et pointues. ⚠ Occlusion : Certaines parties du chat sont cachées ou
obstruées.
ü Yeux clairement visibles : Yeux lumineux et distincts. ⚠ Fond complexe : Le bruit de fond rend difficile
ü Contours nets : Silhouette et contours du corps clairs. l’isolement du chat.
ü Position standard : Pose typique, facilement ⚠ Variations : Différents éclairages et poses créent des
reconnaissable. défis supplémentaires.

13/12/2024 6
 RÉFLEXION sur les DÉFIS Actuels…
Les Limites des Approches Traditionnelles
Et en pratique…
Unité 03 | Deep Learning | G. H. Merabet

Les Promesses des La Réalité de la

Modèles ML Traditionnel : Classification :

13/12/2024 7
 RÉFLEXION sur les DÉFIS Actuels…
Analyse Détaillée des Défis
Unité 03 | Deep Learning | G. H. Merabet

Problèmes de o Features Invisibles ou Déformées

o Perte d’Information Critique
Challenges du Features
o Difficulté d’Extraction
Machine Learning
o Changements d’Éclairage
Variabilité des
Conditions o Positions Multiples
o Environnements Divers

o Règles Rigides 📕
Complexité
Algorithmique o Manque d’Adaptabilité
o Besoin de Reprogrammation Constante 🔄

13/12/2024 8
 RÉFLEXION sur les DÉFIS Actuels…
Impact sur les Performances
Environnement Contrôlé Environnement Réel
Unité 03 | Deep Learning | G. H. Merabet

Précision de
97 Reconnaissance d'Image1 55

90 Temps de Traitement2 40

97 Taux de Faux Positifs3 75

Adaptation aux
90 30
Variations4 Besoins en Ressources:
- Score basé sur l’efficacité computationnelle
85 Besoins en Ressources5 40 - Score élevé = plus efficace (moins de
ressources nécessaires)
- Score faible = consommation intensive des
ressources
80 Besoins de Maintenance6 35 Besoins de Maintenance:
- Score basé sur l’efficacité de la maintenance
- Score élevé = maintenance minimale requise
Échelle/Unités: - Score faible = maintenance fréquente
1% 4 Score/100 nécessaire
2 Normalisé (50ms → 90, 300ms → 40) 5, 6 Score d’Efficacité
3 % Succès (3% → 97, 25% → 75)

13/12/2024 9
 Vers une Nouvelle Approche…
o Extraction automatique des o Apprentissage automatique
Unité 03 | Deep Learning | G. H. Merabet

caractéristiques pertinentes des caractéristiques

o Performance stable dans
différents contextes Avantages 01 o Capacité d’adaptation aux
changements
o Capacité à gérer la
complexité du monde réel Attendus o Robustesse face aux
variations
Besoins
04 Limitations
Émergents 02
IDENTIFIÉES

o Apprentissage hiérarchique des Solution:

o Manque d’adaptabilité aux
features (à travers les Réseaux de ‘Deep Learning’ variations
Neurones)
o Capacité de généralisation améliorée o Extraction manuelle des features
o Adaptation automatique aux o Performance instable en
conditions réelles
03
données

13/12/2024 10
Unité 03 | Deep Learning | G. H. Merabet

Introduction au DEEp Learning

Une Approche Progressive de
l’Intelligence Artificielle…

13/12/2024 11
 Le Deep Learning : Au CŒur de l’IA Moderne
Machine Learning Intelligence artificielle
(1980s –IBM & Carnegie Mellon) (1956 –Dartmouth)
Techniques statistiques permettant aux Ensemble des techniques permettant aux
Unité 03 | Deep Learning | G. H. Merabet

systèmes d’apprendre à partir des Intelligence systèmes de simuler l’intelligence humaine.

données. Artificielle Exemples Clés :
Exemples Clés : - Systèmes de diagnostic expert
- Systèmes de recommandation - Planification automatisée
- Détection de fraudes - Systèmes de prise de décision
Machine
- Prédiction de séries temporelles
Learning
Deep Learning
Deep (2012 –AlexNet (ImageNet)|Geoffrey Hinton & équipe)

Learning Réseaux de neurones multicouches pour

l’apprentissage de représentations complexes.
Exemples Clés :
- Vision par Ordinateur (reconnaissance d’images)
- Traitement du Langage Naturel (traduction,
génération de texte)
- Systèmes de Décision (jeux, robotique)

13/12/2024 12
 Qu’est-ce que le Deep Learning ?#1
DÉFINITION
Unité 03 | Deep Learning | G. H. Merabet

: Le Deep Learning est une branche du machine learning qui utilise des réseaux de neurones multicouches
pour apprendre progressivement à partir des données, en découvrant automatiquement des motifs de plus en
plus complexes.

Concepts Clés :
1. Branche du Machine Learning 4. Découverte Automatique
o Position dans la hiérarchie de l’IA o Autonomie dans l’identification des patterns
o Extension des techniques de ML classiques o Pas de règles préprogrammées
2. Réseaux de Neurones Multicouches 5. Motifs de Plus en Plus Complexes
o Architecture inspirée du cerveau humain o Hiérarchie dans l’apprentissage
o Organisation en couches successives o Progression du simple au complexe
3. Apprentissage Progressif
o Amélioration itérative des performances
o Raffinement continu des connaissances
13/12/2024 13
 Qu’est-ce que le Deep Learning ?#2
Vision de ‘Geoffrey Hinton’
Unité 03 | Deep Learning | G. H. Merabet

: Le Deep Learning est une méthode d’apprentissage qui utilise plusieurs niveaux de représentation et
d’abstraction pour donner du sens aux données comme les images, le son et le texte.

Concepts Clés :
1. Méthode d’Apprentissage 4. Donner du Sens
o Approche systématique o Compréhension profonde des données
o Processus structuré o Interprétation contextuelle
2. Niveaux de Représentation 5. Diversité des Données
o Organisation hiérarchique des connaissances o Polyvalence des applications
o Transformation successive des données o Adaptation à différents types d’entrées
3. Abstraction
o Capacité à généraliser
o Extraction de concepts de haut niveau

13/12/2024 14
 Les Aspects Distinctifs du Deep Learning#1
1. L’Extraction Automatique des Features :
Points Clés:
L’extraction automatique des features représente la capacité du
Unité 03 | Deep Learning | G. H. Merabet

o Automatisation complète de la
système à découvrir par lui-même les caractéristiques pertinentes dans découverte des caractéristiques
les données, sans intervention humaine préalable. C’est une rupture o Adaptation dynamique aux nouvelles
majeure avec les approches traditionnelles où les experts devaient définir données
manuellement ces caractéristiques. o Élimination des biais humains dans la
sélection des features
Exemple : Reconnaissance d’Images
Approche Traditionnelle Approche Deep Learning

Chat
Chat

Entrée Feature Classificateur Sortie

Engineering* simple (Classification) Entrée Feature Learning Sortie
(Image brute) Automatique** (Classification)
* L’expert définit manuellement les caractéristiques : 1) forme des yeux, 2) distance entre les traits, 3) autres mesures manuelles…
** Le réseau apprend automatiquement les caractéristiques : Niveau 1: Détection des bords, Niveau 2: Identification des formes, et Niveau 3:
Reconnaissance des traits
13/12/2024 15
 Les Aspects Distinctifs du Deep Learning#2
2. L’Apprentissage Hiérarchique :
L’apprentissage hiérarchique décrit la façon dont le deep learning Points Clés:
Unité 03 | Deep Learning | G. H. Merabet

construit une compréhension progressive des données, chaque niveau o Construction progressive des
apprenant des concepts plus abstraits en s’appuyant sur les niveaux concepts
précédents, similaire à la façon dont le cerveau humain traite o Niveaux d’abstraction croissants
o Compréhension contextuelle
l’information.

Exemple : Analyse de Texte

Niveau 03 Niveau 01
Caractères et Mots
Contexte et Signification
("c", "h", "a" , "t" → "chat")
("le chat noir dort" → état/action)

Niveau 04 Niveau 02
Compréhension Globale Expressions et Phrases
(scène, intentions, émotions) ("le chat noir" → description)

16
 Les Aspects Distinctifs du Deep Learning#3
3. L’Apprentissage du Bout en Bout :
Points Clés:
L’apprentissage de bout en bout représente la capacité d’un système à
Unité 03 | Deep Learning | G. H. Merabet

apprendre directement des données brutes jusqu’au résultat final, sans o Pas d’étapes intermédiaires
manuelles
étapes intermédiaires prédéfinies, optimisant l’ensemble du processus o Optimisation globale du système
comme une seule entité. o Cohérence de l’apprentissage

Exemple : Traduction Automatique

Approche Traditionnelle Approche Deep Learning

Texte Analyse Traduction Réarrangement Texte Texte Réseau Neuronal Texte

grammaticale mot-à-mot traduit source traduit

- Apprentissage simultané de la grammaire, du

vocabulaire et du contexte
- Optimisation directe de la qualité de
traduction

13/12/2024 17
 Les Aspects Distinctifs du Deep Learning#4
4. Les Représentations Distribuées :
Points Clés:
Les représentations distribuées constituent la manière dont
Unité 03 | Deep Learning | G. H. Merabet

o Distribution de l’information sur

l’information est encodée dans le réseau, où chaque concept est plusieurs neurones
représenté par l’activation de multiples neurones, et chaque neurone o Robustesse aux erreurs
participe à la représentation de multiples concepts. o Capacité de généralisation
améliorée
Exemple : Système de Recommandation
Caractéristiques Principales:
1. Distribution de l’Information :
- Un neurone → Multiples concepts
- Un concept → Multiples neurones
2. Avantages :
- Robustesse (redondance de l’information)
- Généralisation (patterns partagés)
- Efficacité (réutilisation des neurones)
3. Exemple Film :
- Le neurone N1 participe à la fois à "Action" et "Rythme rapide "
- Le genre "Comédie" est représenté par N2 et N3
- Chaque caractéristique émerge de l’activation collective
13/12/2024 18
 Le Deep Learning dans Notre Quotidien#1
1. Technologies Mobiles :
Unité 03 | Deep Learning | G. H. Merabet

Reconnaissance Faciale (Face ID) : La reconnaissance Assistants Vocaux : Les assistants vocaux transforment
faciale utilise des réseaux de neurones profonds qui votre voix en texte, comprennent vos intentions et génèrent
analysent instantanément plus de 30 000 points sur votre des réponses adaptées, tout cela en temps réel grâce à des
visage. Le système apprend progressivement à vous réseaux de neurones spécialisés dans le traitement du
reconnaître sous différents angles, éclairages, et même avec langage naturel
des changements d'apparence comme des lunettes ou une § Exemple: "Hey Siri, quel temps fera-t-il demain? "
barbe. § Usage quotidien: Définir des alarmes, envoyer des messages,
§ Exemple: Déverrouillage iPhone même dans l'obscurité ou avec obtenir des directions
un masque partiel
§ Usage quotidien: Paiements Apple Pay, authentification
d’applications
13/12/2024 19
 Le Deep Learning dans Notre Quotidien#2
2. Internet et Réseaux Sociaux :
Unité 03 | Deep Learning | G. H. Merabet

Filtres photos : Les filtres utilisent le deep learning pour Recommandations de Contenu : Le système analyse
détecter et suivre les traits du visage en temps réel, continuellement vos interactions pour comprendre vos
permettant d’appliquer des effets qui s’adaptent intérêts et vous suggérer du contenu pertinent
instantanément à vos mouvements et expressions. § Exemple: Feed TikTok personnalisé "Pour Toi "
§ Exemple : Filtres Instagram qui suivent vos expressions faciales § Usage quotidien: Suggestions Instagram, contenus
§ Usage quotidien: Stories Instagram, filtres Snapchat recommandés YouTube

13/12/2024 20
 Le Deep Learning dans Notre Quotidien#3
3. Streaming et Divertissement :
Unité 03 | Deep Learning | G. H. Merabet

Netflix/Recommandations de Films : En analysant votre Spotify/Découverte Musicale : Le deep learning analyse non
historique de visionnage, vos notations et même le moment seulement les genres mais aussi les patterns musicaux, le
où vous mettez pause ou arrêtez un film, les algorithmes rythme, et les paroles.
créent un profil détaillé de vos préférences. § Exemple: Playlist "Découvertes de la Semaine "
§ Exemple : "Parce que vous avez regardé Stranger Things.. ". § Usage quotidien: Radio personnalisée, Daily Mix
§ Usage quotidien: Page d’accueil personnalisée Netflix

13/12/2024 21
 Le Deep Learning dans Notre Quotidien#4
4. Transport et Navigation :
Unité 03 | Deep Learning | G. H. Merabet

Prédiction du Trafic : Le deep learning combine données en Assistance à la Conduite : Les systèmes analysent
temps réel et historique des déplacements pour prédire les l’environnement en temps réel pour une conduite plus sûre.
embouteillages § Exemple: Tesla Autopilot détectant les véhicules environnants
§ Exemple: Lignes rouges sur Google Maps indiquant les § Usage quotidien: Aide au stationnement, maintien dans la voie
bouchons
§ Usage quotidien: Estimation du temps de trajet

13/12/2024 22
 Le Deep Learning dans Notre Quotidien#3
5. Santé et Bien-être :
Unité 03 | Deep Learning | G. H. Merabet

Analyse d’Images Médicales : Le deep learning aide les Suivi d’Activité : Les applications fitness reconnaissent
médecins en analysant les images médicales pour détecter automatiquement vos exercices et analysent votre forme.
des anomalies. § Exemple: Apple Watch détectant automatiquement votre type
§ Usage quotidien: Détection précoce de tumeurs sur d'exercice
radiographies § Usage quotidien: Suivi du sommeil, comptage de pas
§ Usage médical: Analyse de radios pulmonaires,
mammographies

13/12/2024 23
 Le Deep Learning dans Notre Quotidien
6. Services Bancaires :
Unité 03 | Deep Learning | G. H. Merabet

Détection de Fraude: Les réseaux de neurones analysent Chatbots Intelligents : Les chatbots modernes comprennent
chaque transaction en temps réel pour détecter les activités le contexte de vos questions et fournissent des réponses
suspectes. pertinentes.
§ Exemple: Blocage automatique lors d'achats inhabituels à § Exemple: Service client bancaire 24/7 via chatbot
l’étranger § Usage quotidien: Consultation de solde, virement rapide
§ Usage quotidien: Protection des paiements en ligne

13/12/2024 24
Unité 03 | Deep Learning | G. H. Merabet

fonctionnement des RÉseaux de Neurones

De la Structure à l’Apprentissage…

13/12/2024 25
 Qu’est-ce qu’un RÉseau de Neurones ?
1. Neurone Biologique vs Neurone Artificiel
Unité 03 | Deep Learning | G. H. Merabet

DÉFINITION
: Un système inspiré du cerveau humain, composé d’unités de calcul
interconnectées (neurones) qui traitent l’information en parallèle.

Analogie avec le Cerveau Humain

Cerveau Humain Réseau Artificiel

Neurone Biologique Neurone Artificiel

Connexions nerveuses Connexions pondérées

Apprentissage Ajustement des poids

13/12/2024 26
 Qu’est-ce qu’un RÉseau de Neurones ?
2. Architecture de Base d’un Réseau de Neurones
Cette architecture permet
au réseau de transformer
Unité 03 | Deep Learning | G. H. Merabet

progressivement les
données d’entrée en une
prédiction finale, chaque
couche joue un rôle
spécifique dans le
processus.

Couche d’Entrées Couche Cachée Couche de Sortie

13/12/2024 27
 Qu’est-ce qu’un RÉseau de Neurones ?
2. Architecture de Base d’un Réseau de Neurones
Unité 03 | Deep Learning | G. H. Merabet

Couche d’Entrées :
§ Fonction: Reçoit les données brutes
§ Caractéristique: Pas de traitement, juste transmission
§ Analogie: Comme les capteurs sensoriels
§ Exemple: 784 neurones (image 28x28 pixels)

13/12/2024 28
 Qu’est-ce qu’un RÉseau de Neurones ?
2. Architecture de Base d’un Réseau de Neurones
Unité 03 | Deep Learning | G. H. Merabet

Couche Cachée :
§ Fonction: Traitement de l’information
§ Caractéristique: Extraction des features
§ Flexibilité: Plusieurs niveaux possibles
§ Rôle: Apprentissage des patterns
13/12/2024 29
 Qu’est-ce qu’un RÉseau de Neurones ?
2. Architecture de Base d’un Réseau de Neurones
Unité 03 | Deep Learning | G. H. Merabet

Couche de Sortie :
§ Fonction: Produit le résultat final
§ Caractéristique: Décision/prédiction finale
§ Analogie: Comme la décision finale du cerveau
§ Exemple: 10 neurones (chiffres 0-9)

13/12/2024 30
 Qu’est-ce qu’un RÉseau de Neurones ?
3. Le Fonctionnement d’un ‘Single’ Neurone
Biais (𝒃)
Unité 03 | Deep Learning | G. H. Merabet

Valeur d’Entrée #1 𝑿𝟏

Valeur d’Entrée #2 𝑿𝟐 L’étape 01 consiste à

Étape 01
$
calculer la somme pondérée
Valeur d’Entrée #3 𝑿𝟑 des entrées.
! 𝑤! ∗ 𝑋!
!"#

Les fonctions de transfert (Transformation

Valeur d’Entrée #n 𝑿𝒏 mathématique) décrivent comment les
Fonction de Transfert signaux d’entrée sont transformés en signaux
de sortie dans un système.

13/12/2024 31
 Qu’est-ce qu’un RÉseau de Neurones ?
3. Le Fonctionnement d’un ‘Single’ Neurone
Unité 03 | Deep Learning | G. H. Merabet

Qu’est-ce que le biais dans un réseau de neurones ?

● Le biais (bias) est une valeur ajoutée à la sortie d’un neurone avant l’application de la fonction
d’activation.
● Il agit comme un ajustement ou une "correction" qui permet au modèle d’apprendre des relations plus
complexes entre les entrées et les sorties.
But :
o Faciliter l’apprentissage en permettant au réseau de déplacer les courbes de décision pour mieux s’adapter
aux données.
o Sans biais, toutes les courbes de décision passent par l’origine (0, 0), ce qui limite la capacité du modèle.

13/12/2024 32
 Qu’est-ce qu’un RÉseau de Neurones ?
3. Le Fonctionnement d’un ‘Single’ Neurone
Unité 03 | Deep Learning | G. H. Merabet

Exemple : Comprendre le biais avec une droite

Équation : 𝑦 = 𝑚𝑥 + 𝑐
o 𝑚 : Pente (équivalent au poids).
o 𝑐 : Biais (déplacement de la droite).
● Avec 𝑐 = 0, la droite passe par l’origine.
● Avec 𝑐 ≠ 0, la droite est décalée, ce qui donne plus de
flexibilité.

13/12/2024 33
 Qu’est-ce qu’un RÉseau de Neurones ?
3. Le Fonctionnement d’un ‘Single’ Neurone
Unité 03 | Deep Learning | G. H. Merabet

Pourquoi le biais est-il important ?

● Sans biais : le réseau est limité et ne

peut pas modéliser des relations
complexes.
● Avec biais : il peut mieux ajuster ses
prédictions et modéliser des relations
non linéaires.

13/12/2024 34
 Qu’est-ce qu’un RÉseau de Neurones ?
3. Le Fonctionnement d’un ‘Single’ Neurone L’étape 02 consiste à Passer la
Biais (𝒃) somme pondérée calculée en
Unité 03 | Deep Learning | G. H. Merabet

entrée de la fonction d’activation

Valeur d’Entrée #1 𝑿𝟏 pour générer la sortie.

Valeur d’Entrée #2 𝑿𝟐 Étape 02

Étape 01
$
Valeur d’Entrée #3 𝑿𝟑
! 𝑤! ∗ 𝑋!
𝒀
!"#
Valeur de Sortie

Valeur d’Entrée #n 𝑿𝒏
Fonction de Transfert Fonction d’Activation

13/12/2024 35
 Les Fonctions d’Activation
1. Rôle et Importance :
Unité 03 | Deep Learning | G. H. Merabet

Les fonctions d’activation introduisent de la non-linéarité dans les modèles

de réseaux de neurones, permettant au réseau d’apprendre et de modéliser
des patterns complexes dans les données.

Points Clés :

o Sans fonctions d’activation, le réseau se comporterait comme une combinaison linéaire simple des entrées,
limitant sa capacité à résoudre des problèmes complexes.
o La fonction d’activation transforme la somme pondérée des entrées en une sortie activée, influençant
directement les décisions prises par le réseau.
Activation des Neurones :
Décider si un neurone doit s’activer (ou
"tirer") en fonction des entrées reçues et des
poids.

13/12/2024 36
 Les Fonctions d’Activation
2. Les Fonctions d’Activation Clés
La Fonction Sigmoïde : Transformation en Probabilités
Unité 03 | Deep Learning | G. H. Merabet

Description : La fonction sigmoïde transforme les valeurs

d’entrée en une plage comprise entre 0 et 1, ce qui en fait
une excellente candidate pour les tâches de classification
binaire.
Applications :
● Classification Binaire : Utilisée dans les réseaux de
neurones pour des tâches telles que la détection de
spams dans les courriels ou la prédiction d'une
maladie (présence ou absence).
● Réseaux Neuraux Simples : Idéale pour des
modèles simples où l’interprétabilité des probabilités
est cruciale.

13/12/2024 37
 Les Fonctions d’Activation
2. Les Fonctions d’Activation Clés
La Fonction Tanh (Tangente Hyperbolique) : Centrage des Données
Unité 03 | Deep Learning | G. H. Merabet

Description : La fonction tanh normalise les valeurs d’entrée

entre -1 et 1, ce qui aide à centrer les données autour de zéro
et à rendre le modèle plus stable.
Applications :
● Réseaux de Neurones Récurrents (RNN) : Utilisée dans
le traitement du langage naturel pour des tâches telles
que la traduction automatique et la reconnaissance
vocale.
● Réseaux Complexes : Aide à traiter des données
séquentielles et des séries temporelles en centrant les
valeurs des données.

13/12/2024 38
 Les Fonctions d’Activation
2. Les Fonctions d’Activation Clés
La Fonction ReLU (Rectified Linear Unit) : Efficacité et Simplicité
Unité 03 | Deep Learning | G. H. Merabet

Description : La fonction ReLU permet uniquement aux

valeurs positives de passer, transformant les valeurs négatives
en zéro. C’est l’une des fonctions d’activation les plus populaires
en raison de sa simplicité et de son efficacité.
Applications :
● Réseaux Convolutionnels (CNN) : Principalement
utilisée dans la vision par ordinateur pour des tâches
comme la reconnaissance d’objets et l’analyse d’images.
● Réseaux de Neurones Profonds : Favorise la
convergence rapide lors de l’entraînement de modèles
profonds.

13/12/2024 39
 Les Fonctions d’Activation
2. Les Fonctions d’Activation Clés
La Fonction de Seuil : Décisions Binaires Claires
Unité 03 | Deep Learning | G. H. Merabet

Description : La fonction de seuil (ou fonction de

Heaviside) active un neurone uniquement si l’entrée
dépasse un certain seuil. Elle est utilisée pour des décisions
binaires strictes.
Applications :
● Réseaux de Neurones Simples : Utilisée dans les
premiers réseaux de neurones pour des décisions
binaires simples.
● Logique Discrète : Applicable dans des systèmes où
des décisions claires et définies sont nécessaires,
comme les systèmes de contrôle.

13/12/2024 40
 Les Fonctions d’Activation
2. Les Fonctions d’Activation Clés
Unité 03 | Deep Learning | G. H. Merabet

Valeur d’Entrée #1 𝑿𝟏

Valeur d’Entrée #2 𝑿𝟐

𝒀
Valeur de Sortie

Valeur d’Entrée #n 𝑿𝒏

13/12/2024 41
 Fonctionnement d’un RÉseau de Neurones
Comment un Réseau de Neurones classifie-t-il les images de chiens et de chats ?
Unité 03 | Deep Learning | G. H. Merabet

Réseau de Neurones Artificiel

Introduire les images de chiens et de chats
dans le réseau de neurones comme
données d’entrée.

13/12/2024 42
 Fonctionnement d’un RÉseau de Neurones
Comment un Réseau de Neurones classifie-t-il les images de chiens et de chats ?
Unité 03 | Deep Learning | G. H. Merabet

𝑿𝟏 Chats

𝑿𝟐

&
𝒀

Chiens
𝑿𝒏

Données d’entrée Couche Cachée Classification des chiens et des chats

Etiquetées
13/12/2024 43
 Fonctionnement d’un RÉseau de Neurones
Considérons un réseau de neurones simple :
Unité 03 | Deep Learning | G. H. Merabet

Propagation-avant
𝑿𝟏
𝑤#
𝑿𝟐
𝑤% $ Biais (𝒃)
𝑤& & Sortie du Modèle
𝑿𝟑 ∅ ! 𝑤! ∗ 𝑋! 𝒀
!"#
𝑤$
Propagation-avant :
- Les données d’entrée traversent un réseau de neurones.
- Chaque neurone applique une fonction d’activation aux
entrées pondérées.
𝑿𝒏 - Les résultats sont transmis à la couche suivante.
- Arrive à la couche de sortie pour une décision ou prédiction
finale.
- Processus essentiel pour générer des prédictions.

13/12/2024 44
 Fonctionnement d’un RÉseau de Neurones
Considérons un réseau de neurones simple :
Unité 03 | Deep Learning | G. H. Merabet

Propagation-avant

𝑿𝟏 𝒀 Sortie Réelle
𝑤#
𝑿𝟐 Comparer la sortie prédite
𝑤% (estimée) à la sortie réelle
$ Biais (𝒃)
𝑤& &
𝑿𝟑 ∅ ! 𝑤! ∗ 𝑋! 𝒀 Sortie du Modèle
!"#
𝑤$

𝑿𝒏

13/12/2024 45
 Fonctionnement d’un RÉseau de Neurones
Après avoir entraîné le réseau de neurones, la ‘Rétropropagation’ est utilisée pour optimiser les performances du
modèle. Ce processus permet d’ajuster les poids en fonction des erreurs de prédiction. En calculant les gradients de la
Unité 03 | Deep Learning | G. H. Merabet

fonction de coût, le réseau identifie comment chaque poids influence l’erreur totale.

𝑿𝟏 𝒀 Sortie Réelle
𝑤#
o Rétropropagation : Entraîne les
𝑿𝟐
𝑤% réseaux de neurones en calculant
$ Biais (𝒃) les gradients de la fonction de coût
𝑤& & par rapport aux poids.
𝑿𝟑 ∅ ! 𝑤! ∗ 𝑋! 𝒀 Sortie du Modèle
o Fonction de coût : Mesure l’écart
!"# entre les prédictions et les valeurs
𝑤$ réelles.
o Optimisation : Réduction du taux
𝟏
Fonction du Coût : 𝑪 ) − 𝒀)𝟐
= (𝒀 d’erreur pour améliorer la précision
𝟐 du modèle.
o Gradient : le taux auquel le coût
𝑿𝒏 varie en fonction du poids et du
biais.

13/12/2024 46
 La Fonction du COÛT
La valeur de coût est la différence entre la sortie prédite par le réseau de neurones et la sortie réelle à partir d’un
ensemble de données d’entraînement étiquetées. La valeur de moindre coût est obtenue en ajustant les poids et les
Unité 03 | Deep Learning | G. H. Merabet

biais de manière itérative tout au long du processus d’entraînement.

𝑿𝟏 𝒀 Sortie Réelle
𝑤#
𝑿𝟐
𝑤% $ Biais
𝑤& &
𝑿𝟑 ∅ ! 𝑤! ∗ 𝑋! 𝒀 Sortie du Modèle
!"#
𝑤$
𝟏
Fonction du Coût : 𝑪 ) − 𝒀)𝟐
= (𝒀
𝟐

𝑿𝒏

13/12/2024 47
 La Fonction du COÛT
L’Optimisation de la Fonction du Coût : La Descente du Gradient
Unité 03 | Deep Learning | G. H. Merabet

Description : La descente de gradient est une méthode d’optimisation

utilisée pour ajuster les paramètres d’un modèle, comme les poids dans
un réseau de neurones, afin de minimiser la fonction de coût. Elle
fonctionne en ajustant progressivement les paramètres dans la direction
de la plus forte diminution de la fonction de coût.
Processus :
1. Initialisation : Commencez avec des poids initiaux 𝜃!
2. Calcul du Gradient : Calculez le gradient de la fonction de coût
par rapport aux poids.
3. Mise à Jour des Poids : Ajustez les poids dans la direction
opposée au gradient : 𝜃"#$ = 𝜃%&' − 𝛼 + ∇𝐽 𝜃 , où 𝜃 représente
les paramètres, 𝛼 est le learning rate, et 𝛻𝐽 𝜃 est le gradient de
la fonction de coût.
4. Répétition : Répétez ce processus jusqu’à ce que la fonction de
coût atteigne un minimum.

13/12/2024 48
 PRÉDICTION par RÉseau de Neurones
Propagation-avant
Unité 03 | Deep Learning | G. H. Merabet

𝑤((
𝑤( 𝑤() Chats
𝑿𝟏
𝑤) 𝑤(* 𝑤)*
𝑤* 𝑤(+
𝑿𝟐 𝑤+ 𝑤(, 𝑤)+
𝑤, 𝑤(- &
𝑤(. 𝒀
𝑤- 𝑤),
𝑤. 𝑤(/
𝑤/ 𝑤(0 𝑤)-
𝑤0 𝑤)! Chiens
𝑿𝒏 𝑤(! 𝑤)(
𝑤))

1. L’application des pondérations à chaque connexion.

13/12/2024 49
 PRÉDICTION par RÉseau de Neurones
Propagation-avant
Unité 03 | Deep Learning | G. H. Merabet

𝑿𝟏 Chats

𝑿𝟐

&
𝒀

Chiens
𝑿𝒏

2. L’application de la fonction d’activation à la couche cachée pour décider quels

nœuds doivent être activés et effectuer l’extraction des caractéristiques.

13/12/2024 50
 PRÉDICTION par RÉseau de Neurones
Propagation-avant
Unité 03 | Deep Learning | G. H. Merabet

Valeur réelle
𝑿𝟏 𝒀

𝑿𝟐

&
𝒀

𝑿𝒏

3. Comparaison entre la sortie prédite et la sortie réelle.

13/12/2024 51
 PRÉDICTION par RÉseau de Neurones
Propagation-avant
Unité 03 | Deep Learning | G. H. Merabet

Valeur réelle
𝑿𝟏 𝒀

𝑿𝟐

&
𝒀

𝟏
Fonction du Coût : 𝑪 ) − 𝒀)𝟐
= 𝟐 (𝒀
𝑿𝒏

4. Application de la fonction de coût pour minimiser la différence entre

la sortie prédite et la sortie réelle à l’aide de l’algorithme de
descente du gradient.
13/12/2024 52
 PRÉDICTION par RÉseau de Neurones
Rétropropagation
Unité 03 | Deep Learning | G. H. Merabet

Valeur réelle
𝑿𝟏 𝒀

𝑿𝟐

&
𝒀

𝑿𝒏

5. Ajustement des poids et des biais à l’aide de la méthode

de rétropropagation afin d’améliorer le modèle.

13/12/2024 53
 PRÉDICTION par RÉseau de Neurones
Propagation-avant
Unité 03 | Deep Learning | G. H. Merabet

𝑤((
𝑤( 𝑤()
𝑿𝟏
𝑤) 𝑤(* 𝑤)*
𝑤* 𝑤(+
𝑿𝟐 𝑤+ 𝑤(, 𝑤)+
𝑤, 𝑤(- &
𝑤(. 𝒀
𝑤- 𝑤),
𝑤. 𝑤(/
𝑤/ 𝑤(0 𝑤)-
𝑤0 𝑤)! 𝟏
) − 𝒀)𝟐
Fonction du Coût : 𝑪 = 𝟐 (𝒀
𝑿𝒏 𝑤(! 𝑤)(
𝑤))

6. L’application des poids et des biais mis à jour pour calculer

la valeur du coût afin d’améliorer le taux de prédiction.

13/12/2024 54
 Unité 03 | Deep Learning | G. H. Merabet

Applications et Cas d’usage

13/12/2024
55
Unité 03 | Deep Learning | G. H. Merabet

Vision par ordinateur

(Computer vision)

13/12/2024 56
 Qu’est-ce que vous voyez ?
Unité 03 | Deep Learning | G. H. Merabet

Comment voyez-
vous les choses ?

Comment pouvons-
nous aider les
ordinateurs À voir ?

13/12/2024 57
 Ce que les ordinateurs ‘voient’ : Les images comme des
nombres
Ce que vous voyez Ce que vous voyez tous les deux Ce que l’ordinateur voit
Unité 03 | Deep Learning | G. H. Merabet

- Une image est simplement une

matrice de nombres [0, 255]
- Pour une image RGB de
1080x1080 :
- 1080x1080 pixels
- 3 canaux (Rouge, Vert, Bleu)
- Donc une matrice de
1080x1080x3

Image d’entrée Image d’entrée + Valeurs Valeurs d’intensité des pixels

Questions : S’agit-il de Lincoln ? Washington ? Jefferson ? Obama ?
Comment l’ordinateur peut-il répondre à cette question ?
Est-il possible d’effectuer directement une classification sur le vecteur image de 1,166,400 éléments ?
Non. La solution : Exploiter la structure spatiale de l’image, apprendre des motifs locaux et les assembler progressivement.
(C’est le principe des réseaux de neurones convolutifs (CNN)).
13/12/2024 58
 Qu’est-ce qu’un RÉseaux de Neurones Convolutifs ?
● Un réseau de neurones convolutifs (Convolutional Neural Network – CNN) est une architecture
spécialisée de Réseau de Neurones Artificiels conçue spécifiquement pour le traitement et
Unité 03 | Deep Learning | G. H. Merabet

l’analyse d’images numériques.

● Sa particularité réside dans sa capacité à apprendre automatiquement une hiérarchie de
caractéristiques visuelles à travers ses différentes couches :
a. Niveau Bas (Couches Initiales) :
Détection des caractéristiques élémentaires : contours, bordures, orientations
Exemple : détection des lignes verticales, horizontales et des gradients de couleur
b. Niveau Intermédiaire (Couches Moyennes) :
Combinaison des caractéristiques élémentaires en motifs plus complexes
Exemple : assemblage de lignes pour former des angles, des textures, des motifs géométriques
c. Niveau Haut (Couches Profondes) :
Intégration des motifs complexes en concepts abstraits
Exemple : reconnaissance d’objets complets, de visages, de scènes

13/12/2024 59
 Vue d’Ensemble de l’Architecture CNN
Unité 03 | Deep Learning | G. H. Merabet

L’entrée (Input) : L'extraction de caractéristiques La classification avec :

L’image brute à (Feature Extraction) qui comprend : - Les couches entièrement
analyser - Les couches de Convolution qui connectées (Fully Connected)
détectent les motifs. - La sortie finale (Output)
- Les couches de Pooling qui donnant la prédiction
réduisent la dimensionnalité

13/12/2024 60
 Anatomie des Couches CNN : RÔLES et MÉCANISMES
1. La Couche de Convolution : L’Extracteur de Caractéristiques
Unité 03 | Deep Learning | G. H. Merabet

La couche de convolution constitue le cœur du réseau CNN. Elle réalise une opération mathématique
fondamentale appelée convolution, qui consiste à appliquer un filtre/kernel (ou noyau) sur l’image
d’entrée pour extraire des caractéristiques spécifiques.

Fonctionnement :
● Le processus de convolution implique un filtre/kernel qui se
déplace sur l’image d’entrée, effectuant une multiplication
élément par élément suivie d’une somme.
● Ce processus crée une carte d’activation qui met en évidence
certaines caractéristiques de l’image.

Note : kernel est un filtre utilisé

pour extraire les caractéristiques
des images.

13/12/2024 61
 Anatomie des Couches CNN : RÔLES et MÉCANISMES
1. La Couche de Convolution : L’Extracteur de Caractéristiques
Unité 03 | Deep Learning | G. H. Merabet

La Projection du Kernel Choix du Kernel dans les CNN :

1. Taille du Kernel :
- 3x3 : Couramment utilisé, capture des détails fins,
efficace en calcul.
- 5x5 et plus : Capture des caractéristiques plus larges,
augmente la complexité.
2. Nombre de Kernels (Filtres) :
- Plus de filtres permettent de capturer plus de types de
caractéristiques.
- On commence avec 32 ou 64 filtres et on ajuste en
fonction des performances.
3. Apprentissage :
- Les valeurs des kernels sont ajustées automatiquement
durant l’entraînement via la rétropropagation.

13/12/2024 62
 Anatomie des Couches CNN : RÔLES et MÉCANISMES
2. La Couche de Pooling : Le Condensateur d’Information

La couche de Pooling réduit la dimensionnalité spatiale des cartes de caractéristiques tout en

Unité 03 | Deep Learning | G. H. Merabet

préservant les informations importantes. Cette réduction est essentielle pour :

● Diminuer le nombre de paramètres.
● Réduire le risque de surapprentissage.
● Rendre le réseau plus robuste aux variations de position des caractéristiques.

Types de Pooling :

Max Pooling (le plus courant) : Average Pooling :

● Sélectionne la valeur maximale dans chaque région. ● Calcule la moyenne des valeurs dans chaque région.
● Préserve les caractéristiques les plus saillantes. ● Lisse les caractéristiques.
● Particulièrement efficace pour la détection de ● Utile pour maintenir les informations de contexte.
caractéristiques.

13/12/2024 63
 Anatomie des Couches CNN : RÔLES et MÉCANISMES
2. La Couche de Pooling : Le Condensateur d’Information
Unité 03 | Deep Learning | G. H. Merabet

Max Pooling Average Pooling

Prendre la valeur la plus Calculer la valeur moyenne à
élevée de la zone couverte partir de la zone couverte par
par le kernel (noyau). le noyau.

Note : stride est la taille du

pas par lequel le filtre/noyau
se déplace sur l’image
d'entrée au cours de
l'opération de convolution.

Max Pooling et Average Pooling en cours d’exécution. Source

13/12/2024 64
 Anatomie des Couches CNN : RÔLES et MÉCANISMES
3. Les Couches Entièrement Connectées : L’Analyseur Final

Ces couches constituent la partie ‘raisonnement’ du réseau. Elles prennent les caractéristiques
Unité 03 | Deep Learning | G. H. Merabet

extraites et les combinent pour prendre une décision finale.

Architecture et Fonctionnement :
Aplatissement :
● Transformation des cartes de caractéristiques 2D en vecteur 1D
● Préparation pour le traitement par les couches denses

Couches Denses :
● Chaque neurone est connecté à tous les neurones de la couche précédente.
● Application de poids et de biais.
● Utilisation de fonctions d'activation non linéaires.

13/12/2024 65
 Anatomie des Couches CNN : RÔLES et MÉCANISMES
3. Les Couches Entièrement Connectées : L’Analyseur Final
Unité 03 | Deep Learning | G. H. Merabet

L’Architecture Globale d’un CNN. Source

13/12/2024 66
 Exercice : OPÉRATION de Convolution dans un CNN
Après avoir exploré la propagation dans un réseau de neurones classique, nous allons maintenant
voir comment les CNN traitent les images à travers l’opération de convolution. Cette transition est
Unité 03 | Deep Learning | G. H. Merabet

importante car elle montre comment les réseaux de neurones s’adaptent pour traiter des données
visuelles.
Nous considérons un réseau de neurones qui reçoit en entrée des images de taille 6×6, telles que la matrice
𝑋( suivante :

La première couche de convolution comporte le filtre de taille 3×3 :

Question : Calculer la valeur de sortie du réseau pour l’image 𝑋( .

13/12/2024 67
 Traitement du Langage
Naturel (NLP)

13/12/2024 68
 Du Texte aux Nombres : Comment les Machines
Comprennent le Langage Humain ?
Unité 03 | Deep Learning | G. H. Merabet

Le Traitement du Langage Naturel (Natural Language Processing – NLP) est une branche de
l’intelligence artificielle qui permet aux machines de comprendre, analyser et générer le langage
humain. C’est le pont entre la communication humaine et la compréhension machine.

Analogie avec la Vision par Ordinateur :

En Vision par Ordinateur : Image à Matrice de pixels Conversion : Texte à Nombres (en NLP)

‘Hello World’ [32, 458]

Texte brut d’Entrée Conversion en
séquence de nombres
(indices du vocabulaire)

13/12/2024 69
 Concepts Fondamentaux
1. La Tokenization (Découpage du Texte)
C’est le processus de découpage d’un texte en unités plus petites appelées ‘tokens’. Ces ‘tokens’
Unité 03 | Deep Learning | G. H. Merabet

peuvent être des mots, des sous-mots ou même des caractères.

Pourquoi ? Les ordinateurs ne peuvent pas traiter directement du texte brut. La ‘tokenization’ est la première étape pour
transformer le texte en données que l’ordinateur peut manipuler.
Types de Tokenization :
La méthode la plus
a. Tokenization par Mots : intuitive qui découpe le
texte selon les espaces
Texte original : “L'intelligence artificielle apprend rapidement” et la ponctuation.

Résultat : [“L’ ”, “intelligence”, “artificielle”, “apprend”, “rapidement”, “.”]

Avantages : Défis :
● Intuitive pour les humains ● Gestion des contractions (l’, d’, etc.)
● Préserve les mots complets ● Mots composes
● Efficace pour les langues utilisant des espaces ● Expressions figées
13/12/2024 70
 Concepts Fondamentaux
1. La Tokenization (Découpage du Texte)
Types de Tokenization :
Unité 03 | Deep Learning | G. H. Merabet

b. Tokenization par Sous-Mots : Une approche plus

sophistiquée qui décompose
Mot complexe : “prétraitement” les mots complexes en parties
significatives.
à Décomposition : [“pré”, “##traite”, “##ment”]
Mot rare : “anticonstitutionnellement”
à Décomposition : [“anti”, “##constitu”, “##tion”, “##elle”, “##ment”]

Avantages :
● Gère mieux les mots rares
● Réduit le vocabulaire nécessaire
● Plus efficace pour les langues agglutinantes

13/12/2024 71
 Concepts Fondamentaux
1. La Tokenization (Découpage du Texte)
Types de Tokenization :
Unité 03 | Deep Learning | G. H. Merabet

c. Tokenization par Caractères :

Mot : “Hello”
Découpage au niveau le
Tokens : [“H ”, “e”, “l”, “l”, “o”] plus fin, utile pour certaines
applications spécifiques.
Cas d’utilisation :
● Détection de la langue
● Correction orthographique
● Analyse de textes très courts (SMS, tweets)

13/12/2024 72
 Concepts Fondamentaux
2. Word Embeddings (La Représentation Vectorielle des Mots)
C’est la représentation des mots dans un espace vectoriel où la position de chaque mot capture son
Unité 03 | Deep Learning | G. H. Merabet

sens et ses relations avec les autres mots.

Pourquoi ? Cette représentation permet à l’ordinateur de comprendre les relations sémantiques entre les mots –i.e., les
mots ayant des significations similaires auront des vecteurs proches dans l’espace vectoriel.

Fonctionnement :
Chaque mot est représenté par un vecteur de nombres, généralement de dimension 100 à 300. Ces nombres
sont ajustés pendant l’entraînement pour que :
● "ordinateur" → [0.5, 0.3, 0.1, ..., 0.4]
● "laptop" → [0.4, 0.3, 0.2, ..., 0.3] Les vecteurs d’ordinateur et laptop sont proches
● "arbre" → [-0.2, 0.8, -0.5, ..., 0.1] car les mots sont sémantiquement liés, tandis que
le vecteur d’arbre est éloigné car le concept est
différent.

13/12/2024 73
 Concepts Fondamentaux
2. Word Embeddings (La Représentation Vectorielle des Mots)
Relations Sémantiques Capturées :
Unité 03 | Deep Learning | G. H. Merabet

Les Embeddings capturent plusieurs types de relations :

1. Relations de similarité :
● ordinateur-laptop : très proches
Applications Pratiques :
● clavier-souris : proches car périphériques o La recherche sémantique
● ordinateur-arbre : éloignés o Les systèmes de recommandation
o La classification de textes
2. Relations analogiques: o La traduction automatique

Les vecteurs capturent des relations comme :

● roi - homme + femme ≈ reine
● France - Paris + Berlin ≈ Allemagne

13/12/2024 74
 Du Mot au Contexte - La COMPRÉHENSION Approfondie
du Texte
1. Le Sac de Mots (Bag of Words)
Unité 03 | Deep Learning | G. H. Merabet

Méthode qui transforme un texte en une représentation statistique basée sur la fréquence de ses mots,
sans tenir compte de leur ordre.
Importance : Fournit une représentation simple mais efficace pour certaines tâches comme la classification de texte.

Principe Fondamental :
Document : "L’algorithme apprend. L’algorithme s’améliore
continuellement."
Limites :
Représentation BoW : o Perte de l’ordre des mots
{ o Perte du contexte
"l'": 2, o Sensibilité aux variations morphologiques
"algorithme": 2,
"apprend": 1,
"s'améliore": 1,
"continuellement": 1
}
13/12/2024 75
 Du Mot au Contexte - La COMPRÉHENSION Approfondie
du Texte
2. Les N-grammes (Capturer les Séquences)
Unité 03 | Deep Learning | G. H. Merabet

Séquences contiguës de n éléments (mots ou caractères) qui permettent de capturer un peu de

contexte.
Importance : Permet de préserver l’ordre local des mots et d’identifier des expressions communes.

Types de n-grammes :

Texte : "L’algorithme apprend rapidement"

Utilisations principales :
1. Bi-grammes (n=2) : 1. Modélisation du langage : Prédiction du
["L'algorithme", "algorithme apprend", "apprend rapidement"] mot suivant, Correction orthographique
2. Analyse de phrases : Détection
2. Tri-grammes (n=3) : d’expressions figées, Identification de
terminologie spécialisée
["L'algorithme apprend", "algorithme apprend rapidement"]

13/12/2024 76
 Applications du NLP
Analyse de Sentiments
L’analyse de sentiments permet d’extraire automatiquement l’opinion ou l’émotion exprimée dans un
Unité 03 | Deep Learning | G. H. Merabet

texte.
Processus d’analyse :

1. Prétraitement du texte 3. Classification

Texte brut : "Ce nouveau téléphone est SUPER!!!! 😊" Sortie : {
Texte normalisé : "ce nouveau telephone est super" "sentiment": "positif",
2. Extraction des caractéristiques "score": 0.92,
"aspects": {
- Mots positifs/négatifs "produit": "téléphone",
- Ponctuation emphatique "attribut": "nouveau",
- Émojis "opinion": "super"
- Intensité des expressions }
}

13/12/2024 77
 Les MODÈLES PRÉ-ENTRAÎNÉS et le Transfer Learning
1. Les Principaux Modèles Pré-entraînés
BERT (Bidirectional Encoder Representations from Transformers)
Unité 03 | Deep Learning | G. H. Merabet

Caractéristiques principales :
● Apprentissage bidirectionnel : comprend le contexte dans les deux sens
● Masquage de mots : apprend à prédire les mots manquants
Exemple :
Entrée : "Le [MASK] est un animal de compagnie"
BERT peut prédire : "chat", "chien", etc. selon le contexte

GPT (Generative Pre-trained Transformer)

Spécificités :
Exemple :
● Génération de texte naturel Prompt : "Le soleil se lève à"
● Apprentissage auto-régressif (prédit le mot suivant) GPT complète : "l'est chaque matin, illuminant..."

13/12/2024 78
 Les MODÈLES PRÉ-ENTRAÎNÉS et le Transfer Learning
2. Principe du Transfer Learning
Le Transfer Learning permet de réutiliser les connaissances acquises sur une tâche pour en réaliser
Unité 03 | Deep Learning | G. H. Merabet

une nouvelle. C’est comme un chef cuisinier qui adapte ses techniques de base à de nouvelles recettes.

Processus en deux étapes :

a. Pré-entraînement général
● Apprentissage sur des millions de textes
● Acquisition de connaissances linguistiques générales
● Compréhension de la structure du langage
b. Fine-tuning spécifique
● Adaptation à une tâche précise
● Ajustement sur un domaine particulier
● Optimisation pour un cas d’usage spécifique

13/12/2024 79
 Pour Aller Plus Loin – Ressources COMPLÉMENTAIRES

Cours Fondamentaux :
Unité 03 | Deep Learning | G. H. Merabet

● MIT Deep Learning Basics : https://www.deeplearning.ai/courses/

● Fast.ai Practical Deep Learning : https://www.fast.ai
● Cours - Introduction à l’apprentissage profond (deep learning) (Recommandé) :
https://cedric.cnam.fr/vertigo/cours/ml2/coursDeep1.html

Chaînes YouTube Recommandées :

● 3Blue1Brown : Visualisations mathématiques
● StatQuest : Explications statistiques

Plateformes d’Apprentissage :
● Kaggle : Compétitions et Datasets
● HuggingFace : NLP et modèles pré-entraînés

13/12/2024 80