Régression polynômiale

Youssouph Cissokho

2024-11-01 03:43:21

Youssouph Cissokho Régression polynômiale 2024-11-01 03:43:21 1 / 27

1 Introduction

2 Exemples

3 Théorie de la Régression Polynomiale

4 Estimation des Paramètres

5 Cas particulier: Estimation pour un polynôme de degré 2

6 Exemple

Youssouph Cissokho Régression polynômiale 2024-11-01 03:43:21 2 / 27

 Section 1

Introduction

Youssouph Cissokho Régression polynômiale 2024-11-01 03:43:21 3 / 27

Introduction

La régression polynomiale est une forme de régression linéaire dans laquelle

la relation entre la variable indépendante x et la variable dépendante y est
modélisée comme un polynôme de degré m. Cette technique peut
modéliser la relation avec un degré de flexibilité beaucoup plus grand que
la régression linéaire standard.

Youssouph Cissokho Régression polynômiale 2024-11-01 03:43:21 4 / 27

 Section 2

Exemples

Youssouph Cissokho Régression polynômiale 2024-11-01 03:43:21 5 / 27

Exemples

Figure 1: Polynômes-Exemples
Youssouph Cissokho Régression polynômiale 2024-11-01 03:43:21 6 / 27
 Section 3

Théorie de la Régression Polynomiale

Youssouph Cissokho Régression polynômiale 2024-11-01 03:43:21 7 / 27

Théorie de la Régression Polynomiale
Modèle de Régression Polynomiale
Le modèle de régression polynomiale est formulé comme:

y = β0 + β1 x + β2 x 2 + . . . + βm x m + ϵ
où:
y est la variable dépendante et x est la variable indépendante.
β0 , β1 , . . . , βm sont les paramètres du modèle.
ϵ est le terme d’erreur.

Youssouph Cissokho Régression polynômiale 2024-11-01 03:43:21 8 / 27

Théorie de la Régression Polynomiale
Modèle de Régression Polynomiale
Le modèle de régression polynomiale est formulé comme:

y = β0 + β1 x + β2 x 2 + . . . + βm x m + ϵ
où:
y est la variable dépendante et x est la variable indépendante.
β0 , β1 , . . . , βm sont les paramètres du modèle.
ϵ est le terme d’erreur.

Hypothèses de la Régression Polynomiale

Les hypothèses de base sont similaires à celles de la régression linéaire:
Linéarité: les relations entre les prédicteurs et les paramètres sont
linéaires.
Indépendance: les erreurs sont indépendantes les unes des autres.

Youssouph Cissokho Régression polynômiale 2024-11-01 03:43:21 8 / 27

Théorie de la Régression Polynomiale
Modèle de Régression Polynomiale
Le modèle de régression polynomiale est formulé comme:

y = β0 + β1 x + β2 x 2 + . . . + βm x m + ϵ
où:
y est la variable dépendante et x est la variable indépendante.
β0 , β1 , . . . , βm sont les paramètres du modèle.
ϵ est le terme d’erreur.

Hypothèses de la Régression Polynomiale

Les hypothèses de base sont similaires à celles de la régression linéaire:
Linéarité: les relations entre les prédicteurs et les paramètres sont
linéaires.
Indépendance: les erreurs sont indépendantes les unes des autres.
Homoscédasticité: variance constante des erreurs.

Youssouph Cissokho Régression polynômiale 2024-11-01 03:43:21 8 / 27

Théorie de la Régression Polynomiale
Modèle de Régression Polynomiale
Le modèle de régression polynomiale est formulé comme:

y = β0 + β1 x + β2 x 2 + . . . + βm x m + ϵ
où:
y est la variable dépendante et x est la variable indépendante.
β0 , β1 , . . . , βm sont les paramètres du modèle.
ϵ est le terme d’erreur.

Hypothèses de la Régression Polynomiale

Les hypothèses de base sont similaires à celles de la régression linéaire:
Linéarité: les relations entre les prédicteurs et les paramètres sont
linéaires.
Indépendance: les erreurs sont indépendantes les unes des autres.
Homoscédasticité: variance constante des erreurs.
Normalité: les erreurs suivent une distribution normale.
Youssouph Cissokho Régression polynômiale 2024-11-01 03:43:21 8 / 27
 Section 4

Estimation des Paramètres

Youssouph Cissokho Régression polynômiale 2024-11-01 03:43:21 9 / 27

Estimation des Paramètres

Méthode des Moindres Carrés

Considérons un polynôme de degré m:

y = β0 + β1 x + β2 x 2 + . . . + βm x m + ε (1)
où (xi , yi ) pour i = 1, . . . , n sont les points de données. La Méthode des
moindres carrés est utilisée pour estimer les coefficients β0 , β1 , . . . , βm en
minimisant la somme des carrés des résidus :
 
n n n m
βj xij  2
X X X X
SSE = ε2i = (yi − ŷi )2 = yi −
i=1 i=1 i=1 j=0

où ŷi est la valeur prédite de la iˆ{ième}} variable.

Youssouph Cissokho Régression polynômiale 2024-11-01 03:43:21 10 / 27

Estimation de paramètres
Pour trouver les coefficients optimaux:
1 On résout ce système d’équations normales obtenu en prenant les
dérivées partielles de SSE par rapport à chaque βj
2 Poser ègale à zéro c-à-d

n m
!
∂SSE
βk xik xij = 0,
X X
= −2 yi − j = 0, . . . , m (2)
∂βj i=1 k=0

En forme matricielle, cela devient :

Système d’Équations Normales

XT Xβ = XT y

β = (XT X)−1 XT y =⇒ Solution Générale

Youssouph Cissokho Régression polynômiale 2024-11-01 03:43:21 11 / 27

 Section 5

Cas particulier: Estimation pour un polynôme

de degré 2

Youssouph Cissokho Régression polynômiale 2024-11-01 03:43:21 12 / 27

Cas particulier: Estimation pour un polynôme de
degré 2

.
Nous cherchons à ajuster un modèle polynômial de la forme:

yi = β0 + β1 xi + β2 xi2 + εi

avec les données (xi , yi ), i = 1, . . . , n.

Youssouph Cissokho Régression polynômiale 2024-11-01 03:43:21 13 / 27

Cas particulier: Estimation pour un polynôme de
degré 2

.
Nous cherchons à ajuster un modèle polynômial de la forme:

yi = β0 + β1 xi + β2 xi2 + εi

avec les données (xi , yi ), i = 1, . . . , n. La fonction de coût, basée sur la

somme des carrés des erreurs, est:
n
X n
X
SSE = ε2i = (yi − (β0 + β1 xi + β2 xi2 ))2
i=1 i=1

Youssouph Cissokho Régression polynômiale 2024-11-01 03:43:21 13 / 27

Cas particulier: Estimation pour un polynôme de
degré 2

.
Nous cherchons à ajuster un modèle polynômial de la forme:

yi = β0 + β1 xi + β2 xi2 + εi

avec les données (xi , yi ), i = 1, . . . , n. La fonction de coût, basée sur la

somme des carrés des erreurs, est:
n
X n
X
SSE = ε2i = (yi − (β0 + β1 xi + β2 xi2 ))2
i=1 i=1

Nous minimisons SSE en prenant les dérivées partielles par rapport à β0 ,

β1 , et β2 et en les égalant à zéro:

Youssouph Cissokho Régression polynômiale 2024-11-01 03:43:21 13 / 27

Cas particulier: Estimation pour un polynôme de
degré 2 (suite)

.

∂SSE 2
 ∂β0 = −2 (yi − β0 − β1 xi − β2 xi ) = 0
P


∂SSE
∂β1 = −2 xi (yi − β0 − β1 xi − β2 xi2 ) = 0
P

 ∂SSE
= −2 x 2 (y − β − β x − β x 2 ) = 0
 P
∂β2 i i 0 1 i 2 i

Youssouph Cissokho Régression polynômiale 2024-11-01 03:43:21 14 / 27

Cas particulier: Estimation pour un polynôme de
degré 2 (suite)

.

∂SSE 2
 ∂β0 = −2 (yi − β0 − β1 xi − β2 xi ) = 0
P


∂SSE
∂β1 = −2 xi (yi − β0 − β1 xi − β2 xi2 ) = 0
P

 ∂SSE
= −2 x 2 (y − β − β x − β x 2 ) = 0
 P
∂β2 i i 0 1 i 2 i

.
 P P 2 P
nβ0P+ β1 xP i + β2 xi = yi


β0 xi + β1 xi2 + β2 xi3 = xi yi
P P

β P x 2 + β P x 3 + β P x 4 = P x 2 y

0 i 1 i 2 i i i

Youssouph Cissokho Régression polynômiale 2024-11-01 03:43:21 14 / 27

Cas particulier: Estimation pour un polynôme de
degré 2 (suite)

Ce qui donne
    P 
x2 β
P P
n x y
P P 2i P i3   0   P i 
 xi x x  β1  =  xi yi 
P 2 P i3 P i4 P 2
xi xi xi β2 xi yi

Youssouph Cissokho Régression polynômiale 2024-11-01 03:43:21 15 / 27

Cas particulier: Estimation pour un polynôme de
degré 2 (suite)

Ce qui donne
    P 
x2 β
P P
n x y
P P 2i P i3   0   P i 
 xi x x  β1  =  xi yi 
P 2 P i3 P i4 P 2
xi xi xi β2 xi yi

En posant
.
   
1 x1 x12   y1
1 x2 x22 
  β0 y2 
 
X= , β = β1  , y=
 
 .. .. ..   .. 

. . . β2 .
1 xn xn2 yn

Youssouph Cissokho Régression polynômiale 2024-11-01 03:43:21 15 / 27

L’écriture matricièlle et solution du sytème

On obtient un système d’équations normales qui peut être exprimé en

termes matriciels comme suit:

XT Xβ = XT y

Où la matrice de conception X, le vecteur des coefficients β, et le vecteur

des observations y sont plus haut.

Youssouph Cissokho Régression polynômiale 2024-11-01 03:43:21 16 / 27

L’écriture matricièlle et solution du sytème

On obtient un système d’équations normales qui peut être exprimé en

termes matriciels comme suit:

XT Xβ = XT y

Où la matrice de conception X, le vecteur des coefficients β, et le vecteur

des observations y sont plus haut.
.
La solution est obtenue en résolvant :

β = (XT X)−1 XT y

Ce calcul est souvent effectué avec l’aide d’un logiciel informatique.

Youssouph Cissokho Régression polynômiale 2024-11-01 03:43:21 16 / 27

 Section 6

Exemple

Youssouph Cissokho Régression polynômiale 2024-11-01 03:43:21 17 / 27

Exemple de Calcul à la Main

Nous allons effectuer une régression polynomiale de degré 2 pour

l’ensemble de données suivant : (1, 1), (2, 2), et (3, 6). La forme générale
de la régression polynomiale de degré 2 est :

y = β0 + β1 x + β2 x 2 + ε

Pour trouver les coefficients β2 , β1 et β0 , nous devons résoudre le système

d’équations linéaires suivant :

Youssouph Cissokho Régression polynômiale 2024-11-01 03:43:21 18 / 27

Exemple de Calcul à la Main

Nous allons effectuer une régression polynomiale de degré 2 pour

l’ensemble de données suivant : (1, 1), (2, 2), et (3, 6). La forme générale
de la régression polynomiale de degré 2 est :

y = β0 + β1 x + β2 x 2 + ε

Pour trouver les coefficients β2 , β1 et β0 , nous devons résoudre le système

d’équations linéaires suivant :
 P P 2    P 
n x x β y
P P 2i P i3   0   P i 
 xi xi x  β1  =  xi yi 
P 2 P 3 P i4 P 2
xi xi xi β2 xi yi

Où n est le nombre de points. En insérant nos points, nous obtenons :

Youssouph Cissokho Régression polynômiale 2024-11-01 03:43:21 18 / 27

Exemple de Calcul à la Main (suite)

.
P P P 2
 yi = nβ0 + β1 xi + β2 xi


xi yi = β0 xi + β1 xi2 + β2 xi3
P P P P
P
 x 2y = β P x 2 + β P x 3 + β P x 4

i i 0 i 1 i 2 i

Youssouph Cissokho Régression polynômiale 2024-11-01 03:43:21 19 / 27

Exemple de Calcul à la Main (suite)

.
P P P 2
 yi = nβ0 + β1 xi + β2 xi


xi yi = β0 xi + β1 xi2 + β2 xi3
P P P P
P
 x 2y = β P x 2 + β P x 3 + β P x 4

i i 0 i 1 i 2 i

.

1 + 2 + 6 = β0 (3) + β1 (1 + 2 + 3) + β2 (1 + 4 + 9)

1 · 1 + 2 · 2 + 3 · 6 = β0 (1 + 2 + 3) + β1 (1 + 4 + 9) + β2 (1 + 8 + 27)

 2
1 · 1 + 22 · 2 + 32 · 6 = β0 (1 + 4 + 9) + β1 (1 + 8 + 27) + β2 (1 + 16 + 81)

Youssouph Cissokho Régression polynômiale 2024-11-01 03:43:21 19 / 27

Exemple de Calcul à la Main (suite)
.
Après simplification, nous obtenons le système suivant :

14β2 + 6β1 + 3β0 = 9


36β + 14β + 6β = 23
2 1 0


98β + 36β + 14β = 63
2 1 0

ce qui donne
.

β2 = 1.5


1β = −3.5


β = 3
0

L’équation obtenue est : ŷ = 1.5x 2 − 3.5x + 3

Youssouph Cissokho Régression polynômiale 2024-11-01 03:43:21 20 / 27

Exemple en R

library(ggplot2)
data(mtcars)
head(mtcars [1:5])

## mpg cyl disp hp drat

## Mazda RX4 21.0 6 160 110 3.90
## Mazda RX4 Wag 21.0 6 160 110 3.90
## Datsun 710 22.8 4 108 93 3.85
## Hornet 4 Drive 21.4 6 258 110 3.08
## Hornet Sportabout 18.7 8 360 175 3.15
## Valiant 18.1 6 225 105 2.76

Consodérons les colonnes mpg et hp dans la régression.

Youssouph Cissokho Régression polynômiale 2024-11-01 03:43:21 21 / 27

Exemple en R
Consommation en fonction de la puissance
35

30
Consommation (mpg)

25

20

15

10

100 200 300

Puissance (hp)

Youssouph Cissokho Régression polynômiale 2024-11-01 03:43:21 22 / 27

Exemple : Essayons la régression linéaire simple
##
## Call:
## lm(formula = mpg ~ hp, data = mtcars)
##
## Residuals:
## Min 1Q Median 3Q Max
## -5.7121 -2.1122 -0.8854 1.5819 8.2360
##
## Coefficients:
## Estimate Std. Error t value Pr(>|t|)
## (Intercept) 30.09886 1.63392 18.421 < 2e-16 ***
## hp -0.06823 0.01012 -6.742 1.79e-07 ***
## ---
## Signif. codes: 0 ’***’ 0.001 ’**’ 0.01 ’*’ 0.05 ’.’ 0.1 ’ ’ 1
##
## Residual standard error: 3.863 on 30 degrees of freedom
## Multiple R-squared: 0.6024, Adjusted R-squared: 0.5892
## F-statistic: 45.46 on 1 and 30 DF, p-value: 1.788e-07
Youssouph Cissokho Régression polynômiale 2024-11-01 03:43:21 23 / 27
Exemple: Testons l’adéquation-Analyse des résidus
Residuals vs Fitted Normal Q−Q

Maserati Bora Lotus Europa Toyota Corolla Toyota

Maserati Bora
Corolla
Lotus Europa

Standardized residuals

2
5
Residuals

1
0

0
−1
−5

10 15 20 25 −2 −1 0 1 2

Fitted values Theoretical Quantiles

Scale−Location Residuals vs Leverage

1.5

Maserati Bora
Lotus Europa Toyota Corolla Maserati Bora
Toyota Corolla 1
Standardized residuals

Standardized residuals

2
Fiat 128
0.5
1.0

1
0
0.5

−1

0.5
0.0

Cook's distance
−2

10 15 20 25 0.00 0.05 0.10 0.15 0.20 0.25

Fitted values Leverage

Youssouph Cissokho Régression polynômiale 2024-11-01 03:43:21 24 / 27

Exemple: Essayons la régression polynômiale
##
## Call:
## lm(formula = mpg ~ poly(hp, 2), data = mtcars)
##
## Residuals:
## Min 1Q Median 3Q Max
## -4.5512 -1.6027 -0.6977 1.5509 8.7213
##
## Coefficients:
## Estimate Std. Error t value Pr(>|t|)
## (Intercept) 20.091 0.544 36.931 < 2e-16 ***
## poly(hp, 2)1 -26.046 3.077 -8.464 2.51e-09 ***
## poly(hp, 2)2 13.155 3.077 4.275 0.000189 ***
## ---
## Signif. codes: 0 ’***’ 0.001 ’**’ 0.01 ’*’ 0.05 ’.’ 0.1 ’ ’ 1
##
## Residual standard error: 3.077 on 29 degrees of freedom
## Multiple R-squared: 0.7561, Adjusted R-squared: 0.7393
## F-statistic: 44.95 on 2 and 29 DF, p-value: 1.301e-09
Youssouph Cissokho Régression polynômiale 2024-11-01 03:43:21 25 / 27
Exemple : Testons l’adéquation-Analyse des résidus
Residuals vs Fitted Normal Q−Q
10

3
Lotus Europa Lotus Europa

Standardized residuals

2
Toyota Corolla Toyota Corolla
5
Residuals

1
0

0
−1
−5

Valiant
Merc 240D

15 20 25 30 −2 −1 0 1 2

Fitted values Theoretical Quantiles

Scale−Location Residuals vs Leverage

Lotus Europa

3
Lotus Europa
1.5
Standardized residuals

Toyota Corolla Standardized residuals

2
Merc 240D Toyota Corolla
1.0

1
1
0.5
0
0.5

Maserati Bora 0.5

−1

1
0.0

Cook's distance
−2

15 20 25 30 0.0 0.2 0.4 0.6

Fitted values Leverage

Youssouph Cissokho Régression polynômiale 2024-11-01 03:43:21 26 / 27

Choix du meilleur modèle par : Anova,R 2 ajusté et
AIC
1 Anova permet de tester si le modèle le plus complexe améliore est
meilleur que le modèle simple sous H_1.
2 Une petite p-valeur indique que le modèle plus complexe est meilleur.

## Analysis of Variance Table

##
## Model 1: mpg ~ poly(hp, 2)
## Model 2: mpg ~ hp
## Res.Df RSS Df Sum of Sq F Pr(>F)
## 1 29 274.63
## 2 30 447.67 -1 -173.04 18.273 0.0001889 ***
## ---
## Signif. codes: 0 ’***’ 0.001 ’**’ 0.01 ’*’ 0.05 ’.’ 0.1 ’

## df AIC
## modele_poly 4 167.6023
## modele_lin
Youssouph Cissokho 3 181.2386
Régression polynômiale 2024-11-01 03:43:21 27 / 27