Scribd
Importer
129 vues2 pages

Modélisation Markovienne des Sources Binaires

Ce document décrit trois modélisations possibles d'une source binaire d'information: une source sans mémoire, une source de Markov d'ordre 1 et une source de Markov d'ordre 2. Il présente les calculs nécessaires pour déterminer les paramètres clés de chaque modèle comme l'entropie et l'efficacité informationnelle.

Transféré par

Ougraz hassan
Copyright
© © All Rights Reserved
Nous prenons très au sérieux les droits relatifs au contenu. Si vous pensez qu’il s’agit de votre contenu, signalez une atteinte au droit d’auteur ici.
Formats disponibles
Téléchargez aux formats PDF, TXT ou lisez en ligne sur Scribd
129 vues2 pages

Modélisation Markovienne des Sources Binaires

Ce document décrit trois modélisations possibles d'une source binaire d'information: une source sans mémoire, une source de Markov d'ordre 1 et une source de Markov d'ordre 2. Il présente les calculs nécessaires pour déterminer les paramètres clés de chaque modèle comme l'entropie et l'efficacité informationnelle.

Transféré par

Ougraz hassan
Copyright
© © All Rights Reserved
Nous prenons très au sérieux les droits relatifs au contenu. Si vous pensez qu’il s’agit de votre contenu, signalez une atteinte au droit d’auteur ici.
Formats disponibles
Téléchargez aux formats PDF, TXT ou lisez en ligne sur Scribd

Théorie de l’Information

TD n° 3 : Modélisation markovienne des sources


d’information binaires

L’importance de sources d’information binaires provient de leur robustesse au bruit et de la


puissance de traitement offerte par l’électronique numérique. C’est la raison pour laquelle les
techniques de codage font généralement usage de symboles binaires.
Soit 0 et 1 les symboles binaires produits par une source binaire S avec les probabilités
p 0 =α et p 1 =1Bα . Différentes modélisations de cette source devront être étudiées en vue
de la transmission de messages binaires au travers un canal numérique.

1.
Modéliser S par une source sans mémoire. Déterminer l’expression de son entropie H 0 S ,
de son entropie limite H∞ S , puis de son efficacité informationnelle η S et de la redondance
relative d’un message quelconque émis par cette source r S . AN : 1 .
α=
4
2.
Modéliser S par une source de Markov du 1er ordre à 2 états émetteurs. Les états gardent le
dernier symbole émis ( x[t] à l’instant t ). La source S est caractérisée par sa matrice de transition :

p 0|0 =β p 1|0 =1Bβ


Π=
p 0|1 =1Bγ p 1|1 =γ

et par le vecteur des probabilités d’apparition des symboles (nommées aussi probabilités
marginales) µ= p 0 p 1

Supposons que la source se trouve en régime stable − source ergodique et stationnaire − .


Monter que la connaissance de la matrice de transition Π suffit pour déterminer le vecteur des
probabilités d’apparition de symboles µ . Déterminer l’expression de ce vecteur en fonction de

β et γ .
Déterminer l’expression de son entropie H 1 S , de son entropie limite H∞ S , puis de
son efficacité informationnelle η S et de la redondance relative d’un message quelconque émis par
cette source r S . AN : 1 et 1 .
β= γ=
4 3

Responsable : Alexandrina ROGOZAN 1


Théorie de l’Information

3.
Modéliser S par une source de Markov du 2ème ordre à 4 états émetteurs (cf. figure ci−
dessous). Les états sont constitués des 2 derniers symboles émis (x[t] x[t−1]).
X1
¼ 2/3

1/5 X0 ¾ 1/3 X3 1/3

4/5 2/3
X2

Calculer les probabilités des états, puis déduire l’entropie de la modélisation d’ordre 2 de la
source H 2 S .
Calculer les probabilités marginales, puis déduire l’entropie de la modélisation d’ordre 0 de la
source H 0 S .
Calculer les probabilités de transition du modèle de Markov d’ordre 1, puis déduire l’entropie de
la modélisation d’ordre 1 de la source H 1 S .
Comparer les valeurs d’entropie obtenues et conclure.

Responsable : Alexandrina ROGOZAN 2

Vous aimerez peut-être aussi