Plan
Théorie de l’Information Introduction
2éme Année TIC - IoT/TEL Quantité d’information
entropie d’une source
Chapitre III:
Codage Canal Capacité d’un Canal
Année Universitaire : 2022‐2023
École Nationale d’Électronique et de Télécommunications de Sfax
École Nationale d’Électronique et de Télécommunications de Sfax 2
Canaux discrets & Capacité Canaux discrets sans mémoire
Canal: milieu de transmission de l'information situé entre la source et la On appelle canal de transmission le support ou le milieu qui achemine le
destination. Le canal opère une transformation entre l'espace des
message entre émetteur et récepteur
symboles à l'entrée et celui de la sortie.
Canal discret: les espaces d'entrée et de sortie sont discrets Un canal discret sans mémoire (CDSM) peut être représente par un
Canal continu: les espaces d'entrée et de sortie sont continus modèle statistique d’entrée X et de sortie Y
Canal sans mémoire: si la transformation d'un symbole x à l'entrée en
A chaque période d’échantillonnage, on fournit au canal un symbole
un symbole y en sortie ne dépend pas des transformations antérieures
appartenant à X et celui-ci délivre un symbole appartenant à Y
Canal stationnaire: si les transformations ne dépendent pas de l'origine
des temps
École Nationale d’Électronique et de Télécommunications de Sfax 3 École Nationale d’Électronique et de Télécommunications de Sfax 4
Canaux discrets sans mémoire Canaux discrets sans mémoire
Chaque correspondance possible entrée/sortie est définie par une
probabilité conditionnelle p(yj/xi) d’obtenir yj en sortie du canal lorsque
On considère un CDSM à m entrées et n sorties,
l’entrée xi a été appliquée à l’entrée du canal, On l’appelle probabilité de
L’entrée X se compose de m symboles x1, x2,…xm
transition du canal.
Les probabilités à priori P(xi) de ces symboles sont supposées connues
La sortie se compose de n symboles y1,y2,…yn
p(yj|x=i)
École Nationale d’Électronique et de Télécommunications de Sfax 5 École Nationale d’Électronique et de Télécommunications de Sfax 6
Canaux discrets sans mémoire: Matrice de transition Canaux discrets sans mémoire: Matrice de transition
On définit un canal de façon complète en spécifiant l’ensemble des La matrice de probabilité de transition P(Y/X) est appelée la matrice du
probabilités de transition canal.
Le canal est définie par la matrice de probabilité de transition P(Y/X) Comme chaque symbole appliqué à l’entrée de la voie produit un
donnée par l’expression suivante: symbole en sortie, la somme des éléments d’une ligne de la matrice est
égal à 1.
École Nationale d’Électronique et de Télécommunications de Sfax 7 École Nationale d’Électronique et de Télécommunications de Sfax 8
Canaux discrets sans mémoire: Matrice de transition Canaux discrets sans mémoire: Matrice de transition
Si on représente P(X) sous la forme d’une matrice diagonale:
Si on représente l’ensemble des probabilités d’entrée par une matrice ligne:
Et si on représente l’ensemble des probabilités de sortie par une autre On a alors la relation
matrice ligne:
où l’élément (i,j) de la matrice [P(X,Y)] est de la forme P(xi,yj)
La matrice [P(X,Y)] est appelée matrice des probabilités conjointes
On obtient la représentation matricielle suivante:
L’élément P(xi,yj) étant la probabilité conjointe de transmettre xi et de
recevoir yj
École Nationale d’Électronique et de Télécommunications de Sfax 9 École Nationale d’Électronique et de Télécommunications de Sfax 10
Canaux discrets sans mémoire: Canal sans perte Canaux discrets sans mémoire: Canal déterministe
Si la matrice d’un canal ne possède qu’un élément non nul par colonne, Un canal dont la matrice ne comporte qu’un élément non nul par ligne est
on dit qu’il s ’agit d’un canal sans perte. appelé canal déterministe.
Aucune information issue de la source n’est perdue par le canal sans Comme chaque ligne possède un seul élément non nul, on en conclut
perte lors de la transmission. que sa valeur est unitaire
Exemple: Lorsqu’un symbole donné est fourni à l’entré d’un canal déterministe, le
symbole restitué en sortie lui est donc identique.
Exemple:
École Nationale d’Électronique et de Télécommunications de Sfax 11 École Nationale d’Électronique et de Télécommunications de Sfax 12
Canaux discrets sans mémoire: Canal sans bruit Canaux discrets sans mémoire: Canal binaire symètrique
On dit qu’un canal est sans bruit s’il est à la fois sans perte et Un canal binaire symétrique a pour matrice:
déterministe
La matrice définissant le canal a dans ce cas un seul élément par ligne et Exemple d’un canal binaire symétrique:
un seul élément par colonne et cet élément ne peut donc être qu'unitaire.
Dans ce cas, les alphabets d’entrée et de sortie ont même dimension
Pour un canal sans bruit, on a donc m=n
Exemple:
Ce canal est pourvu de deux entrées (x1=0 e, x2=1) et de deux sorties
(y1=0 e, y2=1)
Le canal est symétrique parce que la probabilité de recevoir un 1 si l’on
émis un 0 est identique à la probabilité de recevoir un 0 lorsqu’on émis un 1
Cette probabilité de transition commune est notée p
École Nationale d’Électronique et de Télécommunications de Sfax 13 École Nationale d’Électronique et de Télécommunications de Sfax 14
