Transmisión de Datos
Katty Rohoden
2018-10-02
Contenidos
• El modelo de comunicaciones digitales
• Parámetros fundamentales
• Antecedentes
• Teoría de la Información según Shannon
• Fuente de Información
• Entropía
• Propiedades de la Entropía
El modelo de comunicaciones digitales (I)
Parámetros fundamentales
• Tasa de datos (Régimen binario, Rb): Número de bits transmitidos
por unidad de tiempo (bps).
• Conocida también como Bit Rate = Tasa binaria = Vt = Velocidad de
transmisión de bits.
• Probabilidad de error de bit (Pe):
𝑵ú𝒎𝒆𝒓𝒐 𝒅𝒆 𝒃𝒊𝒕𝒔 𝒆𝒓𝒓𝒂𝒅𝒐𝒔
𝑷𝒆 =
𝑵ú𝒎𝒆𝒓𝒐 𝒕𝒐𝒕𝒂𝒍 𝒅𝒆 𝒃𝒊𝒕𝒔 𝒆𝒏𝒗𝒊𝒂𝒅𝒐𝒔
• También conocida como Bit Error Rate (BER) = Pb = Tasa de error de bit = Tasa
de error binaria.
El modelo de comunicaciones digitales (II)
• Fuente de información: La señal de información se hace compatible con el sistema digital; se
convierte en una secuencia de bits caracterizada por su tasa binaria.
• Si la señal es analógica debe digitalizarse.
• Codificación de fuente (o de entropía): Elimina información redundante. La tasa de datos a la
salida es menor que a la entrada (compresión). Ejemplo: codificación con/sin perdidas, códigos
Huffman, jpg, mpg,..
• Codificación de canal: Introduce redundancia nuevamente a los datos, para detección o
corrección de errores. La tasa de datos a la salida es mayor que a la entrada. Ejemplo: códigos
lineales, convolucionales, Reed-Solomon, turbo-códigos..
• Decodificación de canal: Ejecuta corrección o detección de errores.
• Decodificación de fuente: Añade información redundante necesaria para su interpretación.
Antecedentes
• “Orígenes de la teoría de la información datan de la publicación, por
Claude E. Shannon, de un artículo en el Bell System Technical Journal
en 1948.”
• Shannon tituló a su artículo: Una teoría matemática de la
comunicación.
• Shannon trata de los símbolos, y no de la información misma.
• Estudia la comunicación y los medios de comunicación, antes que el
producto final de la información (Shannon, 1948).
• Shannon sugirió algunos límites fundamentales para la
representación y transmisión de información.
Teoría de la Información según Shannon
Esta teoría responde a dos peguntas fundamentales:
• ¿Cuál es el umbral por debajo del cual una señal no puede ser
comprimida?
• ¿Cuál es la tasa de transmisión máxima para una comunicación fiable
a lo largo de un canal ruidoso?
Teoremas de Shannon
• Teorema de codificación de la fuente (Primer Teorema de Shannon):
• Conceptos de entropía de la fuente: se establece que en promedio el número de bits
necesitados para representar el resultado de un evento incierto está dado por la
entropía.
• Establece la longitud mínima de codificación sin pérdidas de los mensajes de una
fuente dada.
• Teorema de codificación de canal (Segundo Teorema de Shannon):
• Conceptos de capacidad de canal: establece que una comunicación fiable es posible
sobre canales ruidosos siempre que la tasa de comunicación esté por debajo de un
cierto umbral conocida como capacidad del canal.
• Establece la redundancia mínima necesaria para la comunicación fiable de los
mensajes.
-------------- Teoría de la Información --------------
Definición de Información
Definición. Sea E un suceso que puede presentarse con probabilidad P( E).
Cuando E tiene lugar, decimo que hemos recibido
1
𝐼 𝐸 = 𝑙𝑜𝑔𝑟
𝑃(𝐸)
unidades de información.
En donde:
I(E) es la cantidad de información.
E es el suceso.
P(E) es la probabilidad de ocurrencia del suceso.
r es la unidad de información.
Unidades de Información (I)
La unidad de información depende de la base del logaritmo
1
𝑙𝑜𝑔𝑎 (𝑥) = 𝑙𝑜𝑔𝑏 (𝑥)
𝑙𝑜𝑔𝑏 𝑎
Logaritmos Unidad de información
de base 2 bits 1
𝐼 𝐸 = 𝑙𝑜𝑔2 𝑏𝑖𝑡𝑠
𝑃(𝐸)
naturales nat 1
𝐼 𝐸 = 𝑙𝑜𝑔𝑛 𝑛𝑎𝑡𝑠
𝑃(𝐸)
de base 10 Hartley 1
𝐼 𝐸 = 𝑙𝑜𝑔10 𝐻𝑎𝑟𝑡𝑙𝑒𝑦𝑠
𝑃(𝐸)
Unidades de Información (II)
En general, empleando logaritmos de base r se tiene
1
𝐼 𝐸 = 𝑙𝑜𝑔𝑟 𝑢𝑛𝑖𝑑𝑎𝑑𝑒𝑠 𝑑𝑒 𝑜𝑟𝑑𝑒𝑛 𝑟
𝑃(𝐸)
1 Hartley equivale a 3,32 bits
1 nat equivale a 1,44 bits
¿Si P(E) = ½, cuántos bits de información se tendrán?
Fuente de Información
• Una fuente de información es un modelo matemático que produce de
forma aleatoria una sucesión de símbolos llamados “salidas”.
• Los símbolos producidos pueden ser números reales como
mediciones de voltaje de un transductor, números binarios, formas de
onda continua o discontinua, etc.
• El espacio que contiene todos los posibles símbolos de salida se
conoce como alfabeto de la fuente.
Fuente de Información de Memoria Nula
• Es una fuente emitiendo una secuencia de símbolos pertenecientes a un alfabeto
finito y fijo,
𝑆 = 𝑠1 , 𝑠2 , … , 𝑠𝑞
• Los símbolos emitidos sucesivamente se eligen de acuerdo con una ley fija de
probabilidad.
• Los símbolos emitidos son estadísticamente independientes.
• La fuente de memoria nula puede describirse mediante el alfabeto fuente S y las
probabilidades con que los símbolos se presentan:
𝑃 𝑠1 , 𝑃 𝑠2 , … , 𝑃(𝑠𝑞 )
Información media de una Fuente de Información de Memoria Nula
• La presencia de un símbolo 𝑠𝑖 corresponde a una cantidad de información igual a
1
𝐼 𝑠𝑖 = 𝑙𝑜𝑔 𝑏𝑖𝑡𝑠
𝑃(𝑠𝑖 )
• La probabilidad de que aparezca 𝑠𝑖 es 𝑃(𝑠𝑖 ).
Entropía
• Es la cantidad media de información por símbolo de la fuente:
1
𝐻 𝑆 = 𝑃 𝑠𝑖 𝑙𝑜𝑔 𝑏𝑖𝑡𝑠/𝑠í𝑚𝑏𝑜𝑙𝑜
𝑃(𝑠𝑖 )
𝑆
En donde:
σ𝑆 𝑎 indica la suma extendida a q símbolos de la fuente S.
H(S) es el valor medio de la incertidumbre de un observador antes de conocer la
salida de la fuente.
La unidad de medida de la entropía es bits por símbolo.
Entropía – Ejemplo 1
• Consideremos la fuente 𝑆 = 𝑠1 , 𝑠2 , 𝑠3 con 𝑃 𝑠1 = 1Τ2 y 𝑃 𝑠2 =
𝑃 𝑠3 = 1Τ4. Entonces
𝐻 𝑆 = 1Τ2 log 2 + 1Τ4 log(4) + 1Τ4 log(4) = 3Τ2 𝑏𝑖𝑡𝑠/𝑠í𝑚𝑏𝑜𝑙𝑜
Propiedades de la Entropía
• 𝐻 𝑆 = 0 , si y solo si la probabilidad 𝑃 𝑠1 = 1 para 𝑖 = 1, 2, … y las
probabilidades restantes son todas cero (ninguna incertidumbre).
1
• 𝐻 𝑆 = log 𝑞 , si y solo si 𝑃 𝑠𝑖 = para todo 𝑞. Todos los símbolos son
𝑞
igualmente probables (incertidumbre máxima).
• El valor máximo de la entropía es precisamente log 𝑞 , alcanzándose solamente
si todos los símbolos de la fuente son equiprobables,
log 𝑞 − 𝐻(𝑆) ≥ 0
Velocidad de la Entropía
• 𝑅 = 𝑛 × 𝐻 𝑆 𝑏𝑖𝑡𝑠/𝑠𝑒𝑔𝑢𝑛𝑑𝑜, en donde
𝑛 es la velocidad de la fuente (velocidad del símbolo) (símbolo/segundo).
• La unidad de la velocidad de la entropía es bits de información/segundo.
• R indica el promedio de información entregada por una fuente en un segundo.
Redundancia de la Entropía
𝐻(𝑆)
ℝ=1− , en donde
𝐻𝑚𝑎𝑥
• 𝐻 𝑆 𝑦 𝐻𝑚𝑎𝑥 están expresadas en la misma unidad.
• Para fuentes sin memoria con valores igualmente probables, ℝ = 0
Entropía – Ejemplo 2
Una fuente de 3 símbolos 𝑆 = 0, 1, 2 cuyas probabilidades son 𝑃 0 = 0.3,
𝑃 1 = 0.5 y 𝑃 2 = 0.2. Genera los símbolos a razón de 3 símbolos/segundo.
Calcular:
a) La información que genera el símbolo 1.
b) Si la fuente emite en un segundo la secuencia de símbolos 112, calcular la
cantidad de información generada por la fuente en ese segundo.
c) La cantidad de información generada por símbolo en ese segundo.
d) La cantidad de información promedio generada por la fuente.
e) La tasa de información promedio generada por la fuente.
f) La cantidad de información generada en 10 segundos.
Entropía – Respuestas ejemplo 2 (I)
Entropía – Respuestas ejemplo 2 (II)
Entropía – Ejemplo 3
Un experimento aleatorio consiste en extraer una carta de un paquete de 32 cartas.
Sea X la variable aleatoria discreta definida como
𝑋 = 3 ↔ 𝐿𝑎 𝑡𝑎𝑟𝑗𝑒𝑡𝑎 𝑒𝑥𝑡𝑟𝑎í𝑑𝑎 𝑒𝑠 𝑟𝑜𝑗𝑎
𝑋 = 7 ↔ 𝐿𝑎 𝑡𝑎𝑟𝑗𝑒𝑡𝑎 𝑒𝑥𝑡𝑟𝑎í𝑑𝑎 𝑒𝑠 𝑢𝑛𝑎 𝑒𝑠𝑝𝑎𝑑𝑎
𝑋 = log(𝜋) ↔ 𝐿𝑎 𝑡𝑎𝑟𝑗𝑒𝑡𝑎 𝑒𝑥𝑡𝑟𝑎í𝑑𝑎 𝑒𝑠 𝑢𝑛 𝑑𝑖𝑎𝑚𝑎𝑛𝑡𝑒
• Calcular la incertidumbre (cantidad de información) asociada con cada una de las ocurrencias.
• Calcular la entropía de la variable aleatoria discreta X.
Entropía – Respuestas ejemplo 3 (I)
La incertidumbre asociada con las 3 ocurrencias es:
𝑃 𝑋 = 3 =1/2 → ℎ 𝑋 = 3 = 𝑙𝑜𝑔2 2 = 1 𝑏𝑖𝑡
𝑃 𝑋 = 7 =1/4 → ℎ 𝑋 = 7 = 𝑙𝑜𝑔2 4 = 2 𝑏𝑖𝑡𝑠
𝑃 𝑋 = log 𝜋 =1/4 → ℎ 𝑋 = log 𝜋 = 𝑙𝑜𝑔2 4 = 2 𝑏𝑖𝑡𝑠
La incertidumbre promedio (entropía) es:
1 1
1× +2× × 2 = 1.5 𝑏𝑖𝑡𝑠
2 4
El número promedio de bits requeridos para representar los posibles valores
de X es 1.5 bits.
Entropía – Respuestas ejemplo 3 (II)
En conclusión:
La entropía H(X) de una variable aleatoria discreta que toma valores en
𝑥1 , 𝑥2 , … , 𝑥𝑛 𝑐𝑜𝑛 𝑝𝑟𝑜𝑏𝑎𝑏𝑖𝑙𝑖𝑑𝑎𝑑 𝑝𝑖 = 𝑃 𝑋 = 𝑥𝑖 , es la incertidumbre promedio en las salidas ,
𝑋 = 𝑥1 , 𝑋 = 𝑥2 ,…, 𝑋 = 𝑥𝑛 :
𝑛
𝐻 𝑋 = − 𝑝𝑖 log 𝑝𝑖
𝑖=1
Tomar en cuenta lo siguiente:
• 𝑛 puede ser infinito
• 𝐻 𝑋 depende únicamente de la distribución de probabilidad de X, no de las valores que tome X.
• Si 𝑛 es finito, el máximo de H(X) es alcanzado si y solo si X es uniformemente distribuido sobre sus
1
valores 𝑝𝑖 = 𝑛 ∀𝑖 ∈ 1, 𝑛 . Entonces, 𝐻 𝑋 = log 𝑛.
Entropía – Ejemplo 4
Una variable aleatoria discreta X toma sus valores en 0,1 . La distribución de
probabilidad está dada por:
𝑃 𝑋 =1 =𝑝 =1−𝑃 𝑋 =0
Calcular la entropía de X.
Entropía – Respuestas ejemplo 4 (I)
Aplicando la definición, tenemos:
𝐻 𝑋 = −𝑝𝑙𝑜𝑔2 𝑝 − 1 − 𝑝 𝑙𝑜𝑔2 1 − 𝑝 = 𝐻2 𝑝
𝐻2 𝑝 se conoce como la función de entropía binaria.
Entropía – Respuestas ejemplo 4 (II)
De la gráfica se observa lo siguiente:
• La máxima entropía es alcanzada cuando 𝑝 = 1/2.
• 𝐻2 𝑝 = 0 cuando 𝑝 = 0 o 𝑝 = 1.
