Scribd
Importer
14 vues2 pages

Structured Fiche Evaluation

Les Transformers sont des modèles traitant des données séquentielles grâce à des mécanismes d'attention, comprenant un encodeur et un décodeur. Les réseaux de neurones profonds utilisent la rétropropagation et diverses fonctions d'activation, avec des variantes d'apprentissage comme BGD et SGD. Les CNN et RNN sont adaptés au traitement d'images et de données séquentielles, respectivement, avec des techniques de prétraitement et d'embedding du texte.

Transféré par

ikram abdelmouleh
Copyright
© © All Rights Reserved
Nous prenons très au sérieux les droits relatifs au contenu. Si vous pensez qu’il s’agit de votre contenu, signalez une atteinte au droit d’auteur ici.
Formats disponibles
Téléchargez aux formats PDF, TXT ou lisez en ligne sur Scribd
14 vues2 pages

Structured Fiche Evaluation

Les Transformers sont des modèles traitant des données séquentielles grâce à des mécanismes d'attention, comprenant un encodeur et un décodeur. Les réseaux de neurones profonds utilisent la rétropropagation et diverses fonctions d'activation, avec des variantes d'apprentissage comme BGD et SGD. Les CNN et RNN sont adaptés au traitement d'images et de données séquentielles, respectivement, avec des techniques de prétraitement et d'embedding du texte.

Transféré par

ikram abdelmouleh
Copyright
© © All Rights Reserved
Nous prenons très au sérieux les droits relatifs au contenu. Si vous pensez qu’il s’agit de votre contenu, signalez une atteinte au droit d’auteur ici.
Formats disponibles
Téléchargez aux formats PDF, TXT ou lisez en ligne sur Scribd

Résumé des Transformers et Réseaux de Neurones

Résumé des Transformers

Définition : Modèles conçus pour traiter des données séquentielles à l'aide de mécanismes d'attention.

Composants :

1. Encodeur : Analyse les données d'entrée (exemple : transformer une phrase en une représentation

contextuelle).

2. Décodeur : Génère la sortie à partir de ces représentations (exemple : traduction automatique).

Fonctionnalité clé : Mécanisme d'attention pour se concentrer sur les données importantes.

Apprentissage d'un Réseau de Neurones Profond

Rétropropagation du Gradient : Mise à jour des poids grâce à la fonction de perte.

Fonctions d'activation : Sigmoïde, Tangente hyperbolique, Softmax, ReLU.

Types de perte : Cross Entropy (multiclasse), Binary Cross Entropy (binaire), MSE (valeurs continues).

Relation époques, itérations, batch : Une époque = plusieurs itérations utilisant des batches.

Variantes : BGD, SGD, MBGD (convergence stable, rapide, adaptée).

Convolutional Neural Network (CNN)


Résumé des Transformers et Réseaux de Neurones

Pour le traitement d'images, avec couches convolutives capturant textures et formes.

Réseaux de Neurones Récurrents (RNN)

Pour les données séquentielles comme le texte ou les séries temporelles.

Utilisent des dépendances contextuelles passées et présentes.

LSTM (Long Short-Term Memory)

Variante de RNN gérant les dépendances longues grâce à des mécanismes spécifiques.

PyTorch : torch.nn.LSTM(input_size, hidden_size, ...)

Prétraitement et Embedding du Texte

Tokenisation, suppression des stop words, stemming, lemmatisation, tagging POS.

Méthodes d'embedding : BoW, TF-IDF, Word2Vec, GloVe, BERT.

Vous aimerez peut-être aussi