Modlisation des signaux
Dr. Wassim El Falou
Chapitre 2 : Estimation
Lestimation consiste calculer une quantit
alatoire partir une observation alatoire dun
signal quelconque
Le problme de lestimation est divise en deux
parties:
Estimation paramtrique: consiste estimer les
paramtres de la densit de probabilit poursuite par
la variable alatoire
Estimation non paramtrique: consiste estimer des
variables identifiant le processus alatoire sans
2
connatre sa densit de probabilit
Chapitre 2 : Estimation
paramtrique
Etant donne une variable alatoire x = [x1, x2 ,
, xN ]T , qui suit une densit de probabilit
f (x)
Un estimateur (x) est une variable alatoire qui
estime la paramtre suivant une critre
destimation quelconque, et pour une observation
quelconque de x
Chapitre 2 : Proprit dun
estimateur
Quelque soit lestimateur utilise pour , cet
estimateur est fonction de N (Nombre de
lobservation):
( x) = N ( x)
Il faut donc caractriser la qualit dun estimateur
par deux notions importantes:
Un estimateur est dite non baise si : E ( N ) = 0
E ( N ) =
il est asymptotiquement non baise si :Nlim
Chapitre 2 : Proprit dun
estimateur
Un estimateur est consistent si :
lim pr[| N |< ] = 1
c..d que lestimateur de converge en probabilit
vers la vrai valeur de
On peut dmontrer quune estimateur est consistent si
sa variance diminue lorsque N augmente.
Chapitre 2 : Estimation par le principe de
maximum de vraisemblance
On peut estimer en utilisant le principe de
maximum de vraisemblance et ceci en prenant
qui maximise la fonction f (x) pour une
observation quelconque x.
( x) = arg max f ( x)
Chapitre 2 : Estimation par le principe de
maximum de vraisemblance
Exemple: Etant donne un signal x[n] = A + b(n)
avec b un bruit blanc de moyen nulle et d'cart
type b . Estimer A en utilisant le principe de
maximum de vraisemblance?
( x A) 2
On a:
1
2.
f A ( x) =
2. . b
.e
2
b
Chapitre 2 : Estimation par le principe de
maximum de vraisemblance
Pour un vecteur dobservation on a:
f A ( x) =
N 1
n =0
1
.e
2. . b
( xn A ) 2
2. b2
puisque les observations sont indpendantes
On a alors :
N 1
( xn A) 2
Ln( f A ( x)) = ln( 2. . b )
2
2. b
n =0
8
Chapitre 2 : Estimation par le principe de
maximum de vraisemblance
Drivons par rapport xn
N 1
( xn A)
( Ln( f A ( x))) = 2.
2
xn
2. b
n =0
la fonction de vraisemblance est donc maximum
lorsque :
1
A=
N
N 1
x
n =0
n
9
Chapitre 2 : Estimation de la moyenne
La moyenne dun signal alatoire est estime par:
1
m=
N
N 1
x
n =0
Cest un estimateur non biaise et consistent.
10
Chapitre 2 : Estimation du variance
La variance dun signal alatoire est estime par:
1
=
N
N 1
(x
n =0
m)
Cest un estimateur biaise et consistent.
On le remplace donc par :
N 1
1
2
2
=
( xn m )
N 1 n =0
qui est non biaise et aussi consistent
11
Chapitre 2 : Estimation de lAutocorrlation
Lauto-corrlation dun signal alatoire est
estime par:
N 1|k |
1
Rx ( k ) =
xn + k xn ; | k |< N
N | k | n =0
Cest un estimateur non biaise et consistent,
mais sa variance est assez grand
12
Chapitre 2 : Estimation de lAutocorrlation
On le remplace par lestimateur:
1
Rx ( k ) =
N
N 1|k |
x
n =0
n+k
xn ; | k |< N
Cest un estimateur biaise et consistent, mais sa
variance est moins grand que lautre estimateur,
et il est parfois utilise dans la modlisation des
signaux
13
Chapitre 3 : Modlisation
La modlisation dun signal x(n) consiste lui
associer un filtre linaire qui, soumis un bruit
2
blanc gaussien de moyenne nulle et de variance
,reproduit ce signal le plus fidlement possible.
14
Chapitre 3 : Modlisation
Les objectifs essentiels de la modlisation dun
signal sont:
la description de son spectre par un ensemble trs
limit de paramtres.
lutilisation des paramtres pour dtecter des non
stationnarits dans un signal.
lutilisation des paramtres pour les problmes de
classification.
15
Chapitre 3 : Diffrents modles
Le modle le plus gnral dun signal
stationnaire correspond le considrer comme un
signal gnr par un filtre H ( z ) = B( z )
A( z )
excit par un bruit blanc gaussien de moyenne
2
nulle et de variance
avec:
B( z ) = bn .z n
n =0
p
A( z ) = an .z n ; a0 = 1
n =0
16
Chapitre 3 : Diffrents modles
Lquation aux diffrences relative un tel filtre
est la suivante :
p
n =0
n =0
xi = an .xi n + bn . i n + i
Le processus dcrit par ce modle sappelle un
processus ARMA (p, q).
17
Chapitre 3 : Diffrents modles
Dans le cas o A(z)=1, alors :
q
xi = bn . i n + i
n =0
et le processus sappelle processus MA(q)
(processus Moving Average dordre q).
18
Chapitre 3 : Diffrents modles
Dans le cas o B(z)=1, alors :
p
xi = an .xi n + i
n =0
et le processus sappelle processus AR(p)
(processus autorgressif dordre p).
19
Chapitre 3 : Prdiction linaire
Objectif:
En connaissant le pass d'un signal, le but est de
prdire sa valeur l'instant prsent.
x i = an .xi n
n =0
Le problme consiste estimer les coefficients ai
20
Chapitre 3 : Prdiction linaire Exemple
Prenons le cas le plus simple:
x i = a1.xi 1
Estimons tous dabord a1 par la mthode de
maximum de vraisemblance.
21
Chapitre 3 : Prdiction linaire
Exemple
On a:
xi = a1.xi 1 + i
On suppose que i suit une loi gaussien de
moyenne nulle et de variance 2 .
Supposons quon a un chantillon de N points.
La probabilit de vraisemblance est:
p ( x0 , x1 ,..., x N 1 ) = f ( 0 , 1 ,..., N 1 ) =
1
N 1
. exp[ ( xn + a1.xn 1 ) 2 / 2 2 ]. exp[ x02 / 2 2 ]
n =1
22
Chapitre 3 : Prdiction linaire Exemple
Prendre a1 de faon maximiser la
vraisemblance consiste minimiser la somme
N 1
(a1 ) = ( xn + a1.xn 1 ) 2 + x02
n =1
Drivons par rapport
et donc:
a1 =
N 1
(a1 )
a1: a = 2. ( xn + a1.xn1 ).xn1 = 0
n =1
1
x0 .x1 + x1.x2 + ... + x N 2 .x N 1
x 20 + x12 + ... + x N2 2
23
Chapitre 3 : Prdiction linaire Exemple
Estimons maintenant a1 par la mthode de YuleWalker (mthode dautocorrlation).
On a pour une processus stationnaire :
Rxx (1) = E[ xn .xn 1 ] = E[(a1.xn 1 + n ).xn 1 ] = a1.Rxx (0)
(1)
E[ xn2 ] = E[(a1.xn 1 + n ) 2 ] = a12 .E[ xn21 ] + 2
et donc
.(1 a ) = = Rxx (0).(1 a )
2
x
2
1
2
1
(2)
24
Chapitre 3 : Prdiction linaire Exemple
Les deux quations peuvent scrire de la faon
matricielle suivante:
Rxx (0) Rxx (1) 1 2
. =
Rxx (1) Rxx (0) a1 0
En remplaant les deux autocorrlations par leurs
estimations non biaise on peut trouver :
a1 et 2
Cest la mthode de Yule-Walker pour rsoudre
le problme de prdiction linaire.
25
Chapitre 3 : Prdiction linaire
On peut gnraliser cette rsultat pour obtenir
lquation matricielle suivante:
1 2
... ...
Rxx (0) Rxx (1) Rxx (2)
a1 0
Rxx (1) Rxx (0) Rxx (1) Rxx (2) ... 0
R (2) R (1) R (0) R (1) ... . a2 =
xx
xx
xx
. .
xx
...
...
...
...
...
.
Ce forme matricielle sappelle matrice de
Teoplitz.
26
Chapitre 3 : Cas du processus AR
Dans le cas dun processus AR dordre p
lquation devient:
Rxx (1)
Rxx (2)
... ... Rxx ( p ) 1 2
Rxx (0)
a
Rxx (0)
Rxx (1) Rxx (2) ... Rxx ( p 1) 1 0
Rxx (1)
. a2 = .
R (2)
R
R
R
R
p
(
1
)
(
0
)
(
1
)
(
2
)
... xx
xx
xx
xx
xx
...
...
... ... ...
. .
...
a 0
R ( p ) R ( p 1)
...
R
(
0
)
...
...
xx
xx
p
xx
27
Chapitre 3 : Cas du processus
AR-Mthode de Yule-Walker
Dans la mthode de Yule-Walker on remplace les
autocorrlations par leurs estimations non
biaise.
1
Rxx (k ) =
N
N 1|k |
x
n =0
n+k
xn ; k = 0,1,..., p
28
Chapitre 3 : Cas du processus
AR-Mthode de Yule-Walker
La mthode de Yule-Walker repose sur le
remplacement de la minimisation statistique de
lerreur de prdiction par une minimisation de
cette erreur sur lensemble des donnes x0, .,
xN-1. Il sagit donc de minimiser la somme :
N + p 1
n =0
f2
p
( n) =
N + p 1
( x + a .x
n =0
k =1
nk
c..d minimiser lerreur quadratique Forward .
29
Chapitre 3 : Cas du processus
AR-Mthode de Yule-Walker
Une code Matlab illustre cette mthode est la suivante:
noise = randn(50000,1); % Normalized white Gaussian noise
x = filter(1,[1 1/2 1/3 1/4],noise);
x = x(45904:50000);
%YULE_WALKER AR ESTIMATION
p=3;
R=xcorr(x,p,'biased');
R=R(p+1:end);
RR=toeplitz(R);
a=inv(RR(2:end,2:end))*(-R(2:end))
a=a';
e=sum(R'.*[1 a])
%Same result using the bult in Matlab function
[aa,vee]=aryule(x,3)
30
Chapitre 3 : Comparaison entre
signaux rel et estime
%First, create the signal data as the output of an autoregressive process
%driven by white noise. Use the last 4096 samples of the AR process output to
%avoid start-up transients
noise = randn(50000,1); % Normalized white Gaussian noise
x = filter(1,[1 1/2 1/3 1/4],noise);
x = x(45904:50000);
%Compute the predictor coefficients, estimated signal,
%prediction error, and autocorrelation sequence of the prediction error:
a = lpc(x,3);
est_x = filter([0 -a(2:end)],1,x); % Estimated signal
e = x - est_x;
% Prediction error
[acs,lags] = xcorr(e,'coeff');
% ACS of prediction error
31
Chapitre 3 : Comparaison entre
signaux rel et estime
%Compare the predicted signal to the original signal:
plot(1:97,x(4001:4097),1:97,est_x(4001:4097),'--');
title('Original Signal vs. LPC Estimate');
xlabel('Sample Number'); ylabel('Amplitude'); grid;
legend('Original Signal','LPC Estimate')
%Look at the autocorrelation of the prediction error:
figure(2)
plot(lags,acs);
title('Autocorrelation of the Prediction Error');
xlabel('Lags'); ylabel('Normalized Value'); grid;
32
Chapitre 3 : Comparaison entre
signaux rel et estime
Autocorrelation of the Prediction Error
Original Signal vs. LPC Estimate
1.2
3
Original Signal
LPC Estimate
0.8
Normalized Value
Amplitude
-1
0.4
0.2
-2
-3
-4
0.6
10
20
30
40
50
60
Sample Number
70
80
90
100
-0.2
-5000 -4000 -3000 -2000 -1000
0
Lags
1000
2000
3000
4000
33
5000
Chapitre 3 : Algorithme de
Levinson
Lalgorithme de Levinson consiste rsoudre
lquation de Yule-Walker dune faon
rcursive.
^
^
p 1 ^
^
R( p i ). a p 1 (i )) / p 1
K p = ( i
=0
^
a p (0) = 1
^
^
^
^
a p (n) = a p 1 (n) + K p . a p 1 ( p n); n = 2,..., p 1
^
^
a p ( n ) = K p
^
^ 2
^
p = p 1 (1 K p )
34
Chapitre 3 : Algorithme de
Levinson
Les coefficients Kp sappelle les coefficients de
rflexion.
Lalgorithme de Levinson est dordre O(N2),
tandis que lalgorithme de Gauss est O(N3).
35
Chapitre 3 : Choix de lordre du
modle
Dans le cas de signaux rels, et lorsquils sont
modliss par un modle AR, lordre du modle
nest pas connu a priori. Plusieurs critres
peuvent tre utiliss pour la slection de lordre,
ces critres tant principalement fonds sur
lvolution de lerreur de prdiction.
Deux critres sont proposs par Akaike. Le
premier est lerreur de prdiction finale (FPE)
Lerreur de prdiction finale est dfinie pour un
processus AR par :
36
Chapitre 3 : Choix de lordre du
modle
Lerreur de prdiction finale est dfinie pour un
processus AR par :
N + ( p + 1)
)
FPE ( p ) = p (
N ( p + 1)
^
avec N le nombre dchantillons, p lordre du
modle, et lestime de la variance du bruit
blanc lordre p. Lordre choisi est celui qui rend
la fonction FPE minimale.
37
Chapitre 3 : Choix de lordre du
modle
Le deuxime est le critre AIC (Akaike
Information Criterion) . La fonction AIC pour un
processus AR est donne par :
^
AIC ( p ) = N .Ln( p ) + 2. p
Comme prcdemment lordre choisi est celui
qui minimise la fonction AIC
38
