Théorie de l’information – Feuille de TD 2
Exercice 1.
Exercice (?) Information
1. (?) Information mutuelle.
mutuelle.
Question 1.– Lors d’un lancer de pièce (supposée équilibrée), quelle est l’information mutuelle
entre chacune des deux faces de la pièce ?
Question 2.– Lors d’un lancer de dé à 6 faces équilibré, quelle est l’information mutuelle entre
deux faces opposées du dé ? Et entre deux faces adjacentes ?
Question 3.– Dans une urne contenant n = 4 boules noires et r = 2 boules rouges, on effectue
deux tirages consécutifs et sans remise d’une boule. On note T1 le premier tirage et T2 le second
tirage. Calculer l’information mutuelle entre ces deux tirages.
Exercice 2.
Exercice (??) Entropie
2. (??) Entropie de
de la
la somme
somme de
de deux
deux variables
variables réelles.
réelles.
Soient X et Y deux variables aléatoires discrètes à valeurs dans R, définies sur un même espace
probabilisé. On définit ensuite Z = X + Y.
Question 1.– Démontrer que H ( Z ) ≤ H ( X ) + H (Y ).
Question 2.– Démontrer que H ( Z | X ) = H (Y | X ).
Question 3.– Démontrer que si X et Y sont indépendantes, alors on a
H (X ) ≤ H (Z) et H (Y ) ≤ H ( Z ) .
Question 4.– Trouver un exemple de variables X et Y pour lesquelles on a simultanément
H (Z) < H (X ) et H ( Z ) < H (Y ) .
1
Exercice 3.
Exercice (??) Entropie
3. (??) Entropie maximale
maximale àà espérance
espérance fixée.
fixée.
Soit Γ la loi géométrique de paramètre γ > 0. On rappelle que Γ est une variable aléatoire
discrète (mais non finie) à valeurs entières, et qu’elle est donnée par
p(Γ = n) := (1 − γ)γn , n ∈ N.
Question 1.– Calculer l’espérance de Γ.
Question 2.– Calculer H (Γ).
Question 3.– Démontrer que toute variable aléatoire X, à valeurs dans N et d’espérance µ =
E(Γ), vérifie :
H ( X ) ≤ H (Γ) .
Indication : on peut établir la relation H (Γ) − H ( X ) = DKL ( p X || pΓ ).
Exercice 4.
Exercice (??) Tirage
4. (??) Tirage sur
sur les
les sommets
sommets d’un
d’un triangle.
triangle.
On considère un triangle ( ABC ) du plan dont les sommets ont pour coordonnées : A = (0, 0),
B = (1, 0), C = (0, 1).
On effectue des tirages aléatoires parmi les trois sommets du
triangle. On note X l’abscisse du point obtenu et Y son ordon-
née.
y Question 1.– Dans cette question, on suppose que le tirage
est uniforme.
C 1. Déterminer les lois de X et Y.
2. Que peut-on dire de H ( X | Y = 1) ?
3. Calculer H ( X ), H ( X | Y ) et l’information mutuelle
I ( X ; Y ).
x Question 2.– Dans cette question, on fixe α ∈ [0,1] et on sup-
A B pose que l’on tire A avec probabilité α, et B et C chacun avec
probabilité 1−2 α .
1. Déterminer les lois de X et Y.
2. Calculer et tracer l’information mutuelle I ( X ; Y ) en fonc-
tion de α.
2
Exercice 5.
Exercice (???) Estimation
5. (???) Estimation graphique
graphique de
de grandeurs
grandeurs informationnelles.
informationnelles.
Dans les quatre graphes suivants, on représente le tirage de 100 points dans le plan selon quatre
distributions distinctes.
(a) Distribution 1 (b) Distribution 2
(c) Distribution 3 (d) Distribution 4
Pour chacune de ces distributions, on note X la variable aléatoire représentant l’abscisse du
point tiré, et Y son ordonnée. Le tirage d’un point correspond donc à la réalisation de la variable
conjointe ( X, Y ). On note H ( X, Y ) son entropie.
Pour simplifier l’étude, on pourra supposer que les tirages des points géométriques « extré-
maux » (par exemple : les coins du carré de la distribution 4) sont de probabilité nulle .
Question 1.– Pour chacune des distributions, exprimer en fonction de H ( X,Y ) (si besoin) :
1. l’entropie de l’abscisse H ( X ) et l’ordonnée H (Y ) ;
2. l’entropie de l’abscisse sachant l’ordonnée H ( X | Y ) ;
3. l’information mutuelle I ( X ; Y ).
