TEORIA DE LA INFORMACION Y LAS TELECOMUNICACIONES
Actividad Entropía
John Edinson Alvarez Ramirez
Fundación Universitaria Compensar
Febrero 2021
Bogotá
Taller de repaso
1. Suponga que las calificaciones para teoría de la información están dadas por las
siguientes letras, A, B, C, D, F. ¿Cuánta información hay si el profesor le dice que su nota
no fue F? Con base en lo anterior, ¿cuánta información se necesita para saber su nota?
4
P=5 = 0.80 = 80%
En total son 5 calificaciones, pero si el profesor indica que mi nota no fue F la
probabilidad es de 0.80
Para hallar la cantidad de información debemos saber cuál es el logaritmo en base dos
de uno sobre la probabilidad.
Si P=0.80
1
H(x)= lo𝑔2 (0,8) =0.32
Cantidad de información es 0.32
2. Se tiene una baraja compuesta por 52 cartas.
a) Calcule la cantidad de información cuando se sabe que una carta escogida al azar
tiene un corazón.
13
P=52 = 0.25 = 25%
En total son 52 cartas, existen 13 que pueden contener corazones la probabilidad
es de 0.25
Para hallar la cantidad de información debemos saber cuál es el logaritmo en base
dos de uno sobre la probabilidad.
Si P=0.25
1
H(x)=lo𝑔2 (0,25) =2
Cantidad de información es 2
b) Calcule la cantidad de información cuando se sabe que una carta escogida al azar
tiene un rostro.
12
P=52 = 0.23 = 23%
En total son 52 cartas, existen 12 que pueden contener un rostro la probabilidad
es de 0.23
Para hallar la cantidad de información debemos saber cuál es el logaritmo en base
dos de uno sobre la probabilidad.
Si P=0.23
1
H(x)=lo𝑔2 (0,23) =2.12
Cantidad de información es 2.12
c) Calcule la cantidad de información cuando se sabe que una carta escogida al azar
tiene un corazón y un rostro.
3
P=52 = 0.057 = 5.7%
En total son 52 cartas, existen 3 que pueden contener corazones y rostros la
probabilidad es de 0.057
Para hallar la cantidad de información debemos saber cuál es el logaritmo en base
dos de uno sobre la probabilidad.
Si P=0.057
1
H(x)=lo𝑔2 (0,057) =4.13
Cantidad de información es 4.13
d) Si se escoge una carta que ya se sabe que es una carta de corazones y que tiene un
rostro, ¿cuánta información se necesita para saber exactamente el tipo de carta?
1
P=3 = 0.33 = 33%
En total son 12 cartas que contienen corazones, existen 3 que pueden contener
rostros y corazones la probabilidad es de 0.33
Para hallar la cantidad de información debemos saber cuál es el logaritmo en base
dos de uno sobre la probabilidad.
Si P=0.33
1
H(x)=lo𝑔2 (0,33) =1.6
Cantidad de información es 1.6
3. Calcule H(x) para la siguiente fuente de memoria nula que tiene seis símbolos:
Encuentre la cantidad de información contenida en los mensajes ABABBA y FDDFDF,
compare con la cantidad de información obtenida para un mensaje cualquiera de 6
símbolos.
Debemos hallar la cantidad de información contenida en cada uno de los mensajes
Entonces;
1
𝑷(𝑨) = 2 = 0,5
cantidad de información
1
𝑙𝑜𝑔2 𝑑𝑒 0,5 = 𝟏
1
𝑷(𝑩) = 4 = 0,25
cantidad de información
1
𝑙𝑜𝑔2 𝑑𝑒 =𝟐
0,25
1
𝑷(𝑪) = 8 = 0,125
cantidad de información
1
𝑙𝑜𝑔2 𝑑𝑒 0,125 = 𝟑
1
𝑷(𝑫) = 20 = 0,05
cantidad de información
1
𝑙𝑜𝑔2 𝑑𝑒 0,05 = 𝟒, 𝟑𝟐
1
𝑷(𝑬) = 20 = 0,05
cantidad de información
1
𝑙𝑜𝑔2 𝑑𝑒 = 𝟒, 𝟑𝟐
0,05
1
𝑷(𝑭) = 40 = 0,025
cantidad de información
1
𝑙𝑜𝑔2 𝑑𝑒 0,025 = 𝟓, 𝟑𝟐
Ahora tenemos que el total de información es 19,96
la cantidad de información contenida en los mensajes ABABBA = 9
1
𝑷(𝑨) = 2 = 0,5
cantidad de información
1
𝑙𝑜𝑔2 𝑑𝑒 0,5 = 𝟏
1
𝑷(𝑩) = 4 = 0,25
cantidad de información
1
𝑙𝑜𝑔2 𝑑𝑒 0,25 = 𝟐
la cantidad de información contenida en los mensajes FDDFDF = 9,64
1
𝑷(𝑫) = 20 = 0,05
cantidad de información
1
𝑙𝑜𝑔2 𝑑𝑒 0,05 = 𝟒, 𝟑𝟐
1
𝑷(𝑭) = 40 = 0,025
cantidad de información
1
𝑙𝑜𝑔2 𝑑𝑒 0,25 = 𝟓, 𝟑𝟐
Mensaje de 6 símbolos = CDCDCD = Cantidad de información de este mensaje es de 7,32
1
𝑷(𝑪) = = 0,125
8
cantidad de información
1
𝑙𝑜𝑔2 𝑑𝑒 0,25 = 𝟑
1
𝑷(𝑫) = 20 = 0,05
cantidad de información
1
𝑙𝑜𝑔2 𝑑𝑒 0,05 = 𝟒, 𝟑𝟐
La cantidad de información del mensaje de 6 dígitos es menor a la cantidad de
información de los dos mensajes planteados en la actividad.
4. Calcule la tasa de información de un telégrafo que emite dos símbolos, punto y línea. La
duración del punto es de 0.2 segundos mientras que la línea dura el doble de tiempo.
La probabilidad de emisión de la línea es la mitad de la probabilidad de emisión del
punto.
1 3 𝑠𝑖𝑚𝑏
𝑟= =
𝑠𝑒𝑔 3 𝑠𝑒𝑔 1 80 𝑠𝑒𝑔
0,2 . + 0,4 .
𝑠𝑖𝑚𝑏 2 𝑠𝑖𝑚𝑏 3
La entropía es;
2 3 1 𝑏𝑖𝑡𝑠
𝐻= 𝑙𝑜𝑔2 + 𝑙𝑜𝑔2 3 = 0,9183
3 2 3 𝑠𝑖𝑚𝑏
Entonces,
𝑏𝑖𝑡𝑠
𝑅 = 𝑟. 𝐻 = 3,44
𝑠𝑒𝑔
5. Para la fuente de markov de la figura 1.
a) calcule la entropía de la fuente.
b) calcule la entropía conjunta de la fuente cuando se envían dos símbolos.
c) calcule la entropía condicional de la fuente.
Figura 1: Fuente de markov.
6. Una fuente binaria tiene las siguientes probabilidades de transmisión de cero o uno, P0
= P1 = 1/2. Además las probabilidades de recibir un valor dado que se envió´ otro son:
P(0|1) = (1|0) = 3/4. Calcule la entropía condicional de la fuente.
