‫جامعة هواري بومدين للعلوم و التكنولوجية‬

Université des Sciences et de la Technologie Houari Boumédiene

‫لكية الهندسة الكهرابئية‬
Faculté de Génie Electrique

Département de Télécommunications

Licence Télécommunications

Matière

Théorie de l’Information et Codage

Série d'exercices

Chapitre 1

Information et Codage

Sections de troisième année A et B : 2021/2022

Page 1 sur 6
Exercice 1.1
Un groupe d’étudiants de licence de télécommunication décide de créer un forum
d'échanges sur une plateforme numérique afin d’améliorer leur compétence. Les
étudiants se sont entendus pour publier des livres (L), sujets d’examen (SE), images
(I) et vidéo (V).
Une étude statistique sur 100 publications déposées sur la plateforme numérique
donne la répartition suivante :

Type de
L SE I V
publication
Nombre de
35 15 20 30
publications

1. Quelle est la nature de la source d’informations ? En déduire l’alphabet de la

source.
2. Calculer la probabilité d’apparition des éléments de la source. Quel est
l’élément le plus dominant ?
3. Calculer les probabilité de publier :
 livres ou les sujets d’examen.
 livres ou images ou sujets d’examen.
 sujets d’examen ou la vidéo.

Exercice 1.2
On souhaite étudier le comportement statistique d’une chaîne de communication
pour la surveillance médicale à distance d’un patient. Pour cela, un capteur est fixé
sur le corps d’un patient pour mesurer le taux de glycémie. Ce capteur délivre les
résultats suivants :
 ‘Normal’, si le taux de glycémie est entre 0.9 et 1.10 g/l
 ‘Hypoglycémie ‘, si le taux est inférieur à 0.9 g/l
 ‘Hyperglycémie’, si le taux est supérieur à 1.10 g/l
 ‘Erreur ‘, s’il survient un problème pendant la mesure.

Ce capteur est relié à une carte radio sans fil de type XBee. Les résultats obtenus
sont alors transmis vers une carte RaspBerry Pi 3 pour affichage sur écran.
Les résultats des mesures collectés par la carte XBee sont émis toutes les 30 mn. Le
tableau suivant montre la répartition des résultats pour 100 mesures :

Glycémie Hypo Normal Hyper Erreur

Résultats avant l'émission 10 30 55 5
Résultats à la réception 12 45 35 8

Page 2 sur 6
On suppose que les mesures réalisées à la source et à la réception sont
indépendantes.

1. Tracer le schéma de la chaîne de communication de la source jusqu’au

récepteur.
2. Quel est l’alphabet utilisé par la source ?
3. Calculer la probabilité d’apparition des éléments de la source et du récepteur.
En déduire les éléments les plus incertains ? Justifier votre réponse.
4. Calculer le nombre de mesures réalisées pendant 24 heures à la source et à la
réception.
5. Calculer la probabilité conjointe entre la source et le récepteur.
6. Calculer les probabilités conditionnelles du récepteur sachant la source et de la
source sachant le récepteur. Que peut-on dire ?

Exercice 1.3
On souhaite étudier le comportement statistique d’un système de communication qui
permet de mesurer à distance la qualité du café produit dans une usine de
torréfaction. Pour cela, on considère la chaîne de communication suivante :

Source Observation
Canal de
Codeur Décodeur
communication

La source permet de fournir une information sur la qualité du café grâce à un nez
électronique. L’information est transmise dans une chaîne de communication
composée d’un codeur, d’un canal de communication sans fil de type WIFI et d’un
décodeur.
La source délivre trois types d’information sur la qualité du café : B (Bon), TB (Très
bon) et Ex (Excellent) correspondants aux notes 14, 16 et 18. Les mesures effectuées
simultanément sur la source (Variable ) et l’observation (Variable ) montrent les
répartitions suivantes :

X
Y B TB Ex

B 25 10 0
TB 5 25 5
Ex. 0 5 25

1. Rappeler brièvement le rôle du codeur et du décodeur.

2. Quels sont les alphabets utilisés par la source et l’observation ? En déduire les
éléments des alphabets.
3. Calculer la probabilité d’apparition conjointe.
Page 3 sur 6
4. Calculer les probabilités d’apparition associées à la source et l’observation.
5. Calculer les probabilités conditionnelles et . Quelle est la
différence entre ces deux probabilités ?
6. Dans le cas où la source et l’observation sont indépendantes, que deviennent les
probabilités conditionnelles ?
7. On suppose que la source délivre un échantillon toutes les 5ms. Calculer le
nombre d’échantillons délivrés par seconde.
8. Calculer le nombre d’apparitions de chaque qualité de café par seconde.
9. Calculer l’écart type pour la source.
10. En déduire les valeurs minimale et maximale délivrées par la source. Que peut-
on dire ?

Exercice 1.4
On souhaite déterminer le nombre de chiffres pouvant être stocké dans une puce de
mémoire de taille 1 Kbits. Pour cela, on considère que les chiffres composants les
numéros de téléphone proviennent de trois sources différentes. L’étude est menée
sur 100 chiffres de chaque source. Le tableau suivant décrit la fréquence d'apparition
de chaque chiffre pour les trois sources.

Chiffre Source 1 Source 2 Source 3

0 10 15 5
1 10 5 5
2 10 5 5
3 10 5 5
4 10 5 5
5 10 25 15
6 10 20 25
7 10 10 15
8 10 5 10
9 10 5 10

1. Calculer la probabilité d’apparition de chaque chiffre pour chacune des sources.

2. Calculer la quantité d’information en bits délivrée par chaque chiffre. Quel est
le chiffre qui fournit la plus faible incertitude d’apparition ?
3. En déduire la quantité moyenne de l’information délivrée par les deux sources.
Que peut-on dire ?
4. Calculer le nombre de chiffres pouvant être stocké dans la puce mémoire.
5. Que peut-on dire ?

Exercice 1.5
On souhaite étudier une source d’information décrite par un signal ECG mesuré par
un capteur fixé au niveau du cœur d’un malade et relié par Bluetooth au smartphone.
Cette étude permet d’évaluer la quantité d’information contenue dans le signal pour
Page 4 sur 6
son stockage. Pour cela, le signal ECG est mesuré pendant 60s avec une période
d’échantillonnage de 500ms. Chaque échantillon peut prendre les valeurs suivantes :
0, 2, 4, 6, 8.
1. Calculer le nombre d’échantillons de la source.
2. Quel est le nombre de symboles ? En déduire l’alphabet utilisé.
3. On suppose que les échantillons délivrés par la source sont équiprobables.
Calculer dans ce cas la probabilité associée à chaque symbole.
4. On suppose que les trois premiers symboles représentent 70% des échantillons
délivrés avec la même probabilité. Les autres symboles représentant les 30%
restants sont délivrés avec la même probabilité. Calculer la probabilité
d’apparition de chaque symbole.
5. Calculer la quantité d’information moyenne en bits pour la source pour les deux
cas de probabilité uniforme (équiprobable) et non uniforme (non
équiprobables).
6. Calculer la taille requise pour stocker le signal pour les deux cas de probabilité
uniforme et non uniforme.

Exercice 1.6
Dans une chaîne de communication, une source délivre des échantillons
représentés par des symboles définis dans l’alphabet { }. A la réception, la
variable reçoit des échantillons représentés par l’alphabet { }. Les deux
variables sont liées par la loi conjointe définie dans le tableau suivant :

0.2 0.2
0.1 0.1 0.05
0.2 0.0 0.1

1. Calculer la valeur de .
2. Calculer les lois marginales de et de .
3. Montrer que et ne sont pas indépendantes.
4. Calculer les entropies associées à et .
5. Calculer l’information mutuelle.
6. En déduire l’entropie conditionnelle de sur .

Exercice 1.7
On considère deux sources d’information telles que : { } et { }.
Les symboles sont supposés équiprobables. et sont considérées indépendantes.
1. Quels sont les symboles associés à ?
2. Calculer les entropies suivantes : , et .

Page 5 sur 6
Exercice 1.8
et sont deux variables aléatoires définies sur un alphabet binaire { }. La
probabilité conjointe est telle que :

0 1
0 1/3 1/3
1 0 1/3

1. Calculer les entropies suivantes: | |

2. En déduire l’information mutuelle : .

Exercice 1.9
Un appareil photo numérique est considéré comme un canal de transmission bruité
entre les couleurs originales et les couleurs captées. L’entrée et la sortie de ce canal
sont respectivement modélisées par deux variables aléatoires X et Y définies chacune
sur 4 symboles : . La distribution conjointe de ces
variables est telle que :

X
Rouge Vert Bleu Jaune
Y
Rouge 1/8 1/16 1/16 1/4
Vert 1/16 1/8 1/16 0
Bleu 1/32 1/32 1/16 0
Jaune 1/32 1/32 1/16 0

1. Calculer les entropies à l’entrée et à la sortie du canal et .

2. Calculer l’entropie conjointe et l’entropie conditionnelle |
3. En déduire l’information mutuelle en bits.

Exercice 1.10
On considère trois sources représentées par les variables aléatoires discrètes et de
valeurs entières et . Avec :
, , {

1. Calculer les entropies suivantes : | .

2. On définit une variable aléatoire . Calculer |
| .

Page 6 sur 6