Scribd
Importer
45 vues1 page

X, Y X, Y f X ε f x x ε X x, y X Y randn, n rand, n ,: Machine learning ENSA de Khoribga

Ce document présente un TP sur l'apprentissage automatique à l'ENSA de Khoribga pour l'année 2023/2024, axé sur la pratique des concepts fondamentaux. Il inclut des exercices sur la génération de données, la régression linéaire, l'estimation de polynômes, et l'évaluation des erreurs de régression. Le TP se termine par l'utilisation d'une méthode non paramétrique avec un estimateur à noyau pour prédire des observations.

Transféré par

elhilaliilham0614
Copyright
© © All Rights Reserved
Nous prenons très au sérieux les droits relatifs au contenu. Si vous pensez qu’il s’agit de votre contenu, signalez une atteinte au droit d’auteur ici.
Formats disponibles
Téléchargez aux formats PDF, TXT ou lisez en ligne sur Scribd
45 vues1 page

X, Y X, Y f X ε f x x ε X x, y X Y randn, n rand, n ,: Machine learning ENSA de Khoribga

Ce document présente un TP sur l'apprentissage automatique à l'ENSA de Khoribga pour l'année 2023/2024, axé sur la pratique des concepts fondamentaux. Il inclut des exercices sur la génération de données, la régression linéaire, l'estimation de polynômes, et l'évaluation des erreurs de régression. Le TP se termine par l'utilisation d'une méthode non paramétrique avec un estimateur à noyau pour prédire des observations.

Transféré par

elhilaliilham0614
Copyright
© © All Rights Reserved
Nous prenons très au sérieux les droits relatifs au contenu. Si vous pensez qu’il s’agit de votre contenu, signalez une atteinte au droit d’auteur ici.
Formats disponibles
Téléchargez aux formats PDF, TXT ou lisez en ligne sur Scribd

Machine learning ENSA de Khoribga 2023/2024

TP ◦ 1

Le bute de TP est de revisiter certains notions vus dans le premier chapitre qui introduit l’apprentissage automatique de point
de vue pratique.

Rappel
Notions: Différentiabilité, notions vues en TD 1, Matlab/Scialb ou n’importe quel outil de programmation et de visualisation.

Exercice 1
on considère le couple de variables aléatoires (X, Y ), tel que X suit une loi uniforme sur [0, 1] et Y = f ∗ (X)+ε
où f ∗ (x) = cos(2x) et ε est un bruit Gaussien indépendant de X de variance unité et de moyenne nulle.

1. Générer 30 points du plan (xi , yi ), réalisations i.i.d. des variables aléatoires X et Y . Visualisez les.
En Matlab, la fonction randn(1, n) génère un n échantillon de réalisations indépendantes d’une loi normale
centrée réduite (moyenne nulle, variance unité). La fonction rand(1, n) les génère uniformément sur
l’intervalle [0, 1].

2. Séparer ces points en trois ensembles de taille égale. Par la suite, on appellera la première moitié des
données ”ensemble d’entraı̂nement”, la deuxième ”ensemble de validation” et l’autre ”ensemble de test”.

3. En utilisant la formule dans la question 1 de TD1, estimer les paramètres de la régression linéaire sur les
seules données d’entraı̂nement et affichez la droite obtenue sur le même graphique que les données. On
pourra pour cela utiliser la commande polyval de Matlab.

4. Expliquer comment on peut utiliser l’équation normale de la régression linéaire (β = (X T X)−1 X T Y ) pour
estimer les coefficients d’une régression sur des polynômes de degré p.

5. Implémenter cette formule pour estimer les coefficients du polynôme de régression de 1 à 15 et représentez
les fonctions obtenues sur le même graphe. On pensera à normaliser la matrice de design. Étant donné
une matrice de design X ∈ Rn×d comportant n données de dimension d.

6. Calculer pour chacun de ces polynômes, l’erreur de régression sur les données d’entraı̂nement. Que con-
statez vous ?

7. On va désormais étudier la capacité de généralisation (ou de prédiction) des fonctions de régression.

8. En utilisant les fonctions de régression estimées sur les données d’entraı̂nement, calculer le risque empirique
de régression sur les données de test.

9. Représenter l’évolution des erreurs d’entraı̂nement et de test sur la même figure. Commentez les courbes
obtenues.

10. Reprendre votre code en augmentant le nombre de données générées. Regardez l’évolution des erreurs de
test et d’entraı̂nement. Commentez le résultat.

11. On souhaite à présent utiliser une méthode non paramètrique. On utilise pour cela un estimateur à noyau.
Le noyau choisi noté Kλ est défini de la façon suivante :
(
′ 1 si ∥x − x′ ∥ < λ
k(x, x ) =
0 sinon

Déterminez les prédictions obtenues par cette méthode pour chaque observation. Tracez les points prédits
sur le plan précédent. Déduisez en la moyenne des résidus en valeur absolue.

Vous aimerez peut-être aussi