Théorie de l’information Ann. Univ.
2020-21
Université Hassan II-Casablanca Filières Licence IRM
Faculté des Sciences et Techniques Module : Théorie de l’information
Mohammmedia Pr O. Khadir
TD 2. MESURE DE L’INFORMATION
Exercice 2.1.
On considère un canal binaire symétrique tel que la probabilité pour qu’un bit transmis à travers
le canal soit modifié est p = 0.05. On a reçu 8 bits successifs, c’est-à-dire un octet, à la sortie
du canal.
Quelle est la probabilité d’avoir
1. une seule erreur.
2. Aucune erreur.
3. Au plus deux erreurs.
Exercice 2.2.
Une source d’information S produit les symboles a, b, c, d, e avec les probabilités d’apparition
respectives : 0.25, 0.25, 0.2, 0.15, 0.15. Calculer l’entropie de Shannon de la source S dans les
deux cas suivants :
1. Le codage est binaire {0, 1}.
2. Le codage est ternaire {0, 1, 2}.
Exercice 2.3.
Une source sans mémoire émet des symboles a1 , a2 , a3 , a4 avec des probabilités correspondantes
p1 = p2 = 0.3365 et p3 = p4 = 0.1635.
1. Trouver l’entropie de Shannon de la source.
2. Déterminer un code de Huffman pour cette source.
3. Quel est le rendement du code obtenu ?
4. Calculer la longueur moyenne du code obtenu. Comparer à l’entropie de Shannon .
Exercice 2.4.
Soit S = {1, 2, 3, 4, 5} un ensemble de symboles. Considérons les probabilités p et q définies sur
S et les codes C1 et C2 donnés par le tableau suivant :
1
Théorie de l’information Ann. Univ. 2020-21
S p q C1 C2
1 0.5 0.5 0 0
2 0.25 0.125 10 100
3 0.125 0.125 110 101
4 0.0625 0.125 1110 110
5 0.0625 0.125 1111 111
1. Calculer les entropies de Shannon associées aux probabilités p et de q.
2. Calculer leur longueur moyenne.
3. Vérifier que les codes C1 et C2 sont des codes de Huffman respectivement pour p et q.
Exercice 2.5.
Les quatre éléments du code génétique ADN sont notés A,C,G,T. Les fréquences respectives de
leurs apparitions sont 31%, 18%, 20% et 31%.
1. Calculer l’entropie de l’ADN.
2. Construire un code C de Huffman pour représenter les quatre symboles.
3. Déterminer l’efficacité du code C.
Exercice 2.6.
Montrer que si la probabilité d’obtention un symbole à partir d’une source d’information S de
cardinal n est uniforme, alors l’entropie de Shannon H(S) de la source est maximale.
Exercice 2.7.
Une machine exécute 4 tâches T1 , T2 , T3 , T4 codées par les éléments 00, 01, 10, 11 et respectant
les probabilités respectives suivantes {5/16, 3/16, 1/8, 3/8}.
1. Calculer l’efficacité du code.
2. Trouver un code de Huffman meilleur que le code utilisé.
Exercice 2.8.
Une table traçante utilise les commandes suivantes :
lever la plume (LP)
baisser la plume (BP)
transfert avec incrémentation à gauche (-X)
transfert avec incrémentation à droite (+X)
transfert avec incrémentation en haut (+Y)
2
Théorie de l’information Ann. Univ. 2020-21
transfert avec incrémentation en bas (-Y).
1. Quel est le nombre moyen minimum de bits requis pour ce jeu de commandes, sachant que
les probabilités respectives des différents états sont données par :
p(LP) = p(BP) = p(−X) = 0.1, p(+X) = 0.3, p(+Y ) = p(−Y ) = 0.2 ?
2. Construire un code binaire de Shannon-Fano.
3. Utiliser la technique de Huffman pour élaborer un autre code binaire.
4. Comparer les deux solutions obtenues.
Exercice 2.9.
Une source d’information S produit le symbole a avec la probabilité p et le symbole b avec la
probabilité q = 1 − p.
1. Donner, en fonction du paramètre p l’entropie de Shannon de la source S.
2. Tracer la fonction f définie par x 7−→ x log2 (x) + (1 − x) log2 (1 − x) pour x ∈]0, 1[.
3. En déduire les valeurs de p, pour lesquelles l’entropie de Shannon de la source S est à son
maximum. Peut-on, dans ce cas, deviner facilement un symbole produit au hasard par S ?
Exercice 2.10.
Vérifier que Si X,Y sont deux variables aléatoires discrètes, alors :
(1) H(X,Y ) = H(Y, X)
(2) H(X, X) = H(X)
(3) H(X,Y ) ≥ H(X)
(4) H(X|X) = 0
Exercice 2.11.
Soient a et b deux entiers tels que a, b ≥ 2. On considère la variable aléatoire X et Ha (X), Hb (X)
les entropies respectives de X en bases a et b.
Déterminer le cœfficient λ tel que Hb (X) = λHa (X).
Exercice 2.12.
Soient X et Y deux variables aléatoires discrètes et indépendantes où X est uniformément dis-
2
tribuée sur {1, 2, 3, 4, 5, 6} et P(Y = k) = k+1 , k = 0, 1, 2, 3, . . .
3
1. Vérifier que Y est bien une variable aléatoire.
2. Déterminer les entropies de Shannon H(X) et H(Y ).
3
Théorie de l’information Ann. Univ. 2020-21
3. En déduire H(X,Y ).
•−−−−−•−−−−−•−−−−−•−−−−−•
