ESCUELA SUPERIOR POLITCNICA DEL LITORAL
FACULTAD DE INGENIERA EN ELECTRICIDAD Y COMPUTACIN
Probabilidades y Procesos Estocsticos
FRANCISCO NOVILLO, PhD.
F. Novillo
Probabilidades y Procesos Estocsticos
Procesos aleatorios o
estocsticos
F. Novillo
Probabilidades y Procesos Estocsticos
Procesos aleatorios o estocsticos
Definicin. Especificacin de un proceso
aleatorio.
Funcin
Valor
medio,
autocorrelacin y autocovarianza. Procesos
estocsticos
mltiples.
Correlacin
y
covarianza cruzada.
F. Novillo
Probabilidades y Procesos Estocsticos
Definicin
Sistema de reconocimiento de voz las decisiones son hechas en
base a formas de ondas de voltaje correspondientes a una
expresin oral.
En una red peer to peer, el nmero de pares en el sistema varia con
el tiempo.
En ocasiones el dos o ms funciones de tiempo pueden ser de
inters. Por ejemplo, la temperatura de una determinada ciudad y
de la demanda sobre la utilidad de energa elctrica locales varan
juntos en el tiempo.
Las funciones de tiempo aleatorio en el ejemplo anterior pueden
ser vistas como cantidades numricas que evolucionan
aleatoriamente en el tiempo o el espacio.
Por lo tanto, lo que realmente se tiene es una familia de variables
aleatorias indexadas por el tiempo o la variable espacio.
F. Novillo
Probabilidades y Procesos Estocsticos
Definicin
Un proceso estocstico es un concepto
matemtico que sirve para caracterizar una
sucesin de variables aleatorias (estocsticas)
que evolucionan en funcin de otra variable,
generalmente el tiempo. Cada una de las
variables aleatorias del proceso tiene su propia
funcin de distribucin de probabilidad y, entre
ellas, pueden estar correlacionadas o no.
Cada variable o conjunto de variables sometidas
a influencias o efectos aleatorios constituye un
proceso estocstico.
F. Novillo
Probabilidades y Procesos Estocsticos
Defincin
Los siguientes son ejemplos dentro del amplio grupo
de las series temporales:
Seales de telecomunicacin
Seales biomdicas (electrocardiograma, encefalograma,
etc.)
Seales ssmicas
El nmero de manchas solares ao tras ao
El ndice de la bolsa segundo a segundo
La evolucin de la poblacin de un municipio ao tras ao
El tiempo de espera en cola de cada uno de los usuarios
que van llegando a una ventanilla
El clima es un gigantesco cmulo de procesos estocsticos
interrelacionados (velocidad del viento, humedad del aire,
etc) que evolucionan en el espacio y en el tiempo.
F. Novillo
Probabilidades y Procesos Estocsticos
Definicin
Considere un experimento aleatorio
especificado por los resultados desde algn
espacio muestral S, por los eventos definidos
sobre S, y por las probabilidades sobre estos
eventos. Suponer que a cada resultado ,
se asigna una funcin de tiempo de acuerdo a
alguna regla:
F. Novillo
Probabilidades y Procesos Estocsticos
Definicin
El grfico de la funcin
X(, ) versus t, para fijo,
es llamado una realizacin,
trayectoria de la muestra, o
la funcin de la muestra de
un proceso aleatorio.
As, se puede observar los
resultados del experimento
aleatorio
como
la
produccin de toda una
funcin del tiempo como se
muestra en la figura
F. Novillo
Probabilidades y Procesos Estocsticos
Definicin
Por otro lado, si un tiempo tk es fijado desde un
conjunto de ndices I, entonces X(, ) es una
variable aleatoria puesto que se est mapeando
sobre nmeros reales.
As, se ha creado (o ensamblado) una familia de
variables aleatorias indexadas por el parmetro t,
X , , . Esta familia es llamada un proceso
aleatorio, tambin referido como proceso
estocstico.
Usualmente se suprime y se usa X para
denotar a un proceso aleatorio.
F. Novillo
Probabilidades y Procesos Estocsticos
Definicin
Un proceso estocstico se dice que es discreto
en el tiempo si el ndice I es establecido como
un conjunto contable (i.e. el conjunto de
enteros o el conjunto de enteros no
negativos).
Cuando se trata de procesos de tiempo
discreto, se suele utilizar n para denotar el
ndice de tiempo y X para denotar el proceso
aleatorio.
F. Novillo
Probabilidades y Procesos Estocsticos
10
Definicin
Un proceso estocstico de tiempo continuo es
uno que I es continuo (i.e. la recta real o la
lnea real no negativo ).
F. Novillo
Probabilidades y Procesos Estocsticos
11
Ejemplo
Sea seleccionada aleatoriamente del intervalo [-1,1].
Definir el proceso aleatorio continuo X(, ) por:
, = cos(2) , < <
Las realizaciones de este proceso aleatorio son
sinusoides con amplitud .
This image cannot currently be displayed.
F. Novillo
Probabilidades y Procesos Estocsticos
12
Ejemplo
Sea seleccionada aleatoriamente del intervalo [,] y dgase que:
, = cos(2 + ) , < <
Las realizaciones de ,
son versiones
cambiadas de fase de cos(2).
F. Novillo
Probabilidades y Procesos Estocsticos
13
Ejemplo
La aleatoriedad en induce la aleatoriedad en
la funcin observada , .
En principio, se puede deducir la probabilidad
de eventos envolviendo un proceso
estocstico en varios instantes de tiempo de
probabilidades envolviendo utilizando el
mtodo de evento equivalente.
F. Novillo
Probabilidades y Procesos Estocsticos
14
Trabajo en clase
Definir detalladamente
procesos estocsticos.
F. Novillo
Probabilidades y Procesos Estocsticos
ejemplos
de
15
Ejemplo
Conseguir las siguientes probabilidades para el
proceso aleatorio
F. Novillo
Probabilidades y Procesos Estocsticos
16
Ejemplo
Dada una secuencia binaria aleatoria, dgase
que es un nmero seleccionado aleatoriamente
del intervalo = [0,1], y dgase 12 son la
expansin binaria de :
El proceso aleatorio de tiempo discreto X(n, )
es definido como :
Por lo tanto el proceso resultante es la secuencia
de nmeros binarios , con X(n, ) igual al nth
nmero en la expansin binaria de .
F. Novillo
Probabilidades y Procesos Estocsticos
17
Definicin
Una variable aleatoria es una regla para
asignar a cada resultado de un experimento
S un nmero x(). As un proceso estocstico
es una familia de funciones en el tiempo
dependientes
del
parmetro
o
equivalentemente una funcin de t y .
El dominio de es el conjunto de todos los
resultados experimentales y el dominio de t es
el conjunto R de nmeros reales.
F. Novillo
Probabilidades y Procesos Estocsticos
18
Definicin
Si R es eje real, entonces x(t) es un proceso de
tiempo continuo.
Si R es el conjunto de enteros, entonces x(t) es un
proceso de tiempo discreto.
Un proceso de tiempo discreto es as una
secuencia de variables aleatorias. Tal que una
secuencia ser denotadas por xn o para evitar
dobles ndices por x[n].
Por lo tanto, se dice que x(t) es un proceso de
estado discreto si sus valores son contables, de
otra manera, es un proceso de estados continuos.
F. Novillo
Probabilidades y Procesos Estocsticos
19
Estadsticas de procesos
estocsticos
Un proceso estocstico es un infinito no contable de
variables aleatorias, una para cada t. Para un t especfico,
x(t) es una variable aleatoria con distribucin:
, = [() ]
Esta funcin depende de t, y es igual a la probabilidad del evento
{() } consistente de todos los resultados tal que en el
tiempo especfico t, las muestras X , del proceso dado no
exceden el nmero x. La funcin (, ) ser llamada distribucin
del primer orden del proceso .
Su derivada con respecto a x es llamada la densidad de primer
orden de .
F. Novillo
(, )
, =
Probabilidades y Procesos Estocsticos
20
Estadsticas de procesos
estocsticos
Interpretacin
de
frecuencia:
Si
el
experimento es ejecutado n veces, entonces n
funciones X , son observadas, una para
cada prueba.
Denotando por ni(x) el nmero de pruebas tal
que en el tiempo t las ordenadas de las
funciones observadas no excedan x (lneas
continuas), se concluye que:
F. Novillo
()
,
Probabilidades y Procesos Estocsticos
21
Estadsticas de procesos
estocsticos
Distribucin de segundo orden del el proceso X(t)
es la distribucin conjunta:
, ; , = [() 1, (2) 2]
De la variable aleatoria X(t1) y X(t2). La densidad
correspondiente es igual a:
2 (, ; , )
, ; , =
12
El distribucin de orden nth de X(t) es la distribucin
conjunta F(x1,,xn; t1,tn) de las variables aleatorias
X(t1),, X(tn)
F. Novillo
Probabilidades y Procesos Estocsticos
22
Propiedades de segundo orden
Para la determinacin de las propiedades
estadsticas de los procesos estocsticos,
conocidos de la funcin F(x1,,xn; t1,.,tn) es
requerido para cada xi,ti y n.
Sin embargo, para cualquier aplicacin, solo
ciertos promedios son usados, en particular, el
valor esperado de x(t ) y de x2(t). Estas cantidades
pueden ser expresadas en trminos de
propiedades de segundo orden de x(t) definidas
de la siguiente manera:
F. Novillo
Probabilidades y Procesos Estocsticos
23
Especificacin de un proceso
aleatorio
Hay muchas preguntas con respecto a los procesos aleatorios que
no se puedan contestar con el slo conocimiento de la distribucin
en un solo instante de tiempo.
Por ejemplo, se podra estar interesado en la temperatura en un
lugar dado en dos diferentes instantes de tiempo. Para ello se
requiere la siguiente informacin:
En otro ejemplo, el sistema de compresin de voz en un telfono
celular predice el valor de la seal de voz en el prximo tiempo de
muestreo basado en las k muestras anteriores.
Por lo tanto se puede estar interesado en el siguiente probabilidad:
Es claro que una descripcin general de un proceso aleatorio debe
proporcionar probabilidades para los vectores de muestras del proceso.
F. Novillo
Probabilidades y Procesos Estocsticos
24
Distribuciones conjuntas de
muestreos de tiempo
Dgase que X1, X2, , Xk son las variables aleatorias k obtenidas por
muestrear el proceso aleatorio X(t, ) en el tiempo t1, t2, , tk:
El comportamiento conjunto de los procesos aleatorios en estos k
instantes de tiempo es especificado por la distribucin acumulada
conjunta del vector de variable aleatoria X1, X2, , Xk.
Las probabilidades de cualquier evento envolviendo el proceso
aleatorio en todo o algunos de estos instantes de tiempo pueden
ser calculados desde la cdf usando mtodos desarrollados para
variables aleatorias vectoriales.
As, un proceso estocstico es especificado por la coleccin de
funciones de distribucin acumulada conjuntas de kth orden:
Para cualquier k y cualquier eleccin de instantes de muestra t1, t2,
, tk:
F. Novillo
Probabilidades y Procesos Estocsticos
25
Distribuciones conjuntas de
muestreos de tiempo
Si el proceso estocstico es valorado continuo, entonces
una coleccin de funciones de densidad de probabilidad
puede ser utilizado en lugar:
Si el proceso estocstico es valorado discreto, entonces una
coleccin de funciones de masas de probabilidad pueden
ser usadas para especificar el proceso estocstico:
Para cualquier k y cualquier instante de muestreo n1, , nk
F. Novillo
Probabilidades y Procesos Estocsticos
26
Funciones de media varianza
La funcin media mx(t) y la funcin varianza
VAR[X(t)] de un proceso aleatorio continuo X(t)
son definidas por:
Donde () es la pdf de X(t).
Note que y VAR[X(t)] son funciones determinsticas de
tiempo.
Tendencias en el comportamiento de X (t) se reflejan en la variacin
de con el tiempo.
La varianza da una indicacin de la propagacin de los valores
asumidos por X(t) en diferentes instantes de tiempo.
F. Novillo
Probabilidades y Procesos Estocsticos
27
Autocorrelacin
La autocorrelacin RX(t1,t2) de un proceso
aleatorio X(t) es definida con el momento
conjunto de X(t1) y X(t2)
Donde 1 , 2 (, ) es la pdf de segundo orden de X(t).
En general, la autocorrelacin es una funcin de t1 y t2.
Note que , = [ 2 ()] , que corresponde a la
potencia promedio de X(t).
F. Novillo
Probabilidades y Procesos Estocsticos
28
Autocovarianza
La autocovarianza CX(t1,t2) de un proceso
aleatorio X(t) es definida como la covarianza de
X(t1) y X(t2):
La autocovarianza puede ser expresada en
trminos de la autocorrelacin y las medias:
Note que la varianza de X(t) puede ser
obtenida de CX(t1,t2):
F. Novillo
Probabilidades y Procesos Estocsticos
29
Coeficiente de correlacin
El coeficiente de correlacin de X(t) es definido
como el coeficiente de correlacin de X(t1) y
X(t2):
Recuerdee que el coeficiente de correlacin es una
medida de hasta qu punto una variable aleatoria
puede ser predicha como una funcin lineal de otra
F. Novillo
Probabilidades y Procesos Estocsticos
30
Media para caso discreto
La media y varianza de un proceso aleatorio en tiempo
discreto Xn son definidas como:
F. Novillo
Probabilidades y Procesos Estocsticos
31
Funciones de autocorrelacin y
autocovarianza en tiempo discreto
Las funciones de autocorrelacin y autocovarianza de
un proceso aleatorio de tiempo discreto son definidas
como sigue:
Recordar que las funciones de media, autocorrelacin y
autocovarianza son solamente descripciones parciales
de un proceso aleatorio.
F. Novillo
Probabilidades y Procesos Estocsticos
32
Ejemplos
F. Novillo
Probabilidades y Procesos Estocsticos
33
Procesos aleatorios mltiples
En muchas ocasiones se est interesado en ms
de un proceso aleatorio a la vez. Por ejemplo, se
puede estar interesado en las temperaturas en la
ciudad a, X(t) y ciudad b, Y(t).
Otro ejemplo muy comn trata sobre un proceso
aleatorio X(t) que es la entrada a un sistema y
otro proceso aleatorio Y(t) que es la salida del
sistema. Naturalmente se est interesado en la
interrelacin entre X(t) y Y(t).
F. Novillo
Probabilidades y Procesos Estocsticos
34
Procesos aleatorios mltiples
El comportamiento conjunto de dos o mas procesos
aleatorios es especificado por la coleccin de
distribuciones conjuntas para todas las posibles
elecciones de muestras de tiempo de los procesos.
As para un par de procesos aleatorios continuos X(t) y
Y(t) se especifica todas las posibles funciones de
densidad conjunta de X(t1), , X(tk) y Y(t1),,Y(tj)
para todos los k, j y todas las elecciones de t1,, tk y
t1,, tj.
De manera que la pdf conjunta sera:
F. Novillo
Probabilidades y Procesos Estocsticos
35
Procesos aleatorios
independientes
El proceso aleatorio X(t) y Y(t) se dicen
procesos aleatorios independientes si el
vector de variables aleatorias X=(X(t1),,
X(tk)) y Y=(Y(t1),, Y(tj)) son independientes
para todo k, j, y todas las elecciones de t1,,
tk y t1,, tj:
F. Novillo
Probabilidades y Procesos Estocsticos
36
Correlacin cruzada
La relacin cruzada , , de X(t) y Y(t)
es definida por:
, , = [ ()]
F. Novillo
Probabilidades y Procesos Estocsticos
37
Procesos aleatorios ortogonales
El proceso aleatorio X(t) y Y(t) se dicen
procesos aleatorios ortogonales si:
F. Novillo
Probabilidades y Procesos Estocsticos
38
Covarianza cruzada
La covarianza cruzada , , de X(t) y
Y(t) se define por:
, , = { ()}{ 2 (2)}
, , = , , [()]
F. Novillo
Probabilidades y Procesos Estocsticos
39
Procesos aleatorios no
correlacionados
Los procesos aleatorios X(t) y Y(t) se dicen
procesos aleatorios no correlacionados si:
F. Novillo
Probabilidades y Procesos Estocsticos
40
Ejemplos
F. Novillo
Probabilidades y Procesos Estocsticos
41
Procesos de tiempo discreto.
F. Novillo
Probabilidades y Procesos Estocsticos
42
Procesos aleatorios distribuidos idnticamente
independientes (iid).
Dgase Xn es un proceso aleatorio de tiempo
discreto consistente de una secuencia de
variables aleatorias distribuidas idnticamente
independientes (iid) con cdf comn Fx(x),
media m y varianza 2 . La secuencia Xn es
llamada proceso aleatorio iid.
F. Novillo
Probabilidades y Procesos Estocsticos
43
CDF conjunta
La cdf conjunta para cualquier instante de tiempo
n1,, nk es dada por :
Donde Xk por simplicidad se denota como
.
F. Novillo
Probabilidades y Procesos Estocsticos
44
La media (iid)
La media de un proceso iid se obtiene de la
siguiente manera:
De tal manera que la media es constante.
F. Novillo
Probabilidades y Procesos Estocsticos
45
La funcin autocovarianza
La funcin autocoarianza es obtenida como
sigue, si 1 2 .
Dado que 1 y 2 son independientes. Si
1 = 2 = , entonces:
F. Novillo
Probabilidades y Procesos Estocsticos
46
La funcin autocovarianza
Se puede expresar la autocovarianza de los procesos iid
de manera compacta de la siguiente manera:
Donde 1 2 = 1 si 1 = 2 y 0 en otro caso.
Por lo tanto la funcin autocavarianza es cero en todas
partes excepto para 1 = 2 .
F. Novillo
Probabilidades y Procesos Estocsticos
47
La funcin autocorrelacin
La funcin autocorrelacin de un proceso iid
se obtiene como:
F. Novillo
Probabilidades y Procesos Estocsticos
48
F. Novillo
Probabilidades y Procesos Estocsticos
49
Procesos de suma
Muchos procesos aleatorios interesantes se
obtienen como la suma de una secuencia de
variables aleatorias iid, X1, X2, :
Donde So=0. De manera que se define a Sn
como el proceso de suma.
F. Novillo
Probabilidades y Procesos Estocsticos
50
Procesos de Poisson
Considere un evento en que ocurre en
instantes aleatorios de tiempo a una velocidad
promedio de eventos por segundo.
De esta manera un evento podra representar
el arribo de un cliente a una estacin de
servicio
F. Novillo
Probabilidades y Procesos Estocsticos
51
F. Novillo
Probabilidades y Procesos Estocsticos
52
Procesos aleatorios estacionarios
Muchos procesos aleatorios tienen la propiedad de que la
naturaleza de la aleatoriedad en el proceso no cambia con
el tiempo.
Una observacin del proceso en el intervalo de tiempo
(to,t1) muestra el mismo tipo de comportamiento aleatorio
que la observacin en algn otro intervalo de tiempo (to+
, t1+).
De esta manera se dice que la probabilidad de muestras del
proceso no depende del instante cuando se inicia a tomar
las observaciones, esto es, las probabilidades que
involucran la toma de muestras en tiempos t1,,tk no
difieren de otras tomadas en t1+, , tk+
F. Novillo
Probabilidades y Procesos Estocsticos
53
Promedios de tiempo
Para estimar la media de mx(t) de un proceso
aleatorio (, ), se repite el experimento
aleatorio y toma el siguiente promedio:
Donde N es el nmero de repeticiones del
experimento y (, ) es la realizacin
observada en la ith repeticin.
F. Novillo
Probabilidades y Procesos Estocsticos
54
Promedios de tiempo
En algunas situaciones se est interesado en
estimar la media o funcin autocorrelacin del
promedio de tiempo de una realizacin
simple, esto es:
F. Novillo
Probabilidades y Procesos Estocsticos
55
Teorema de ergodicidad
Un teorema ergdico establece condiciones
bajo qu un promedio de tiempo converge a
medida que el intervalo de observacin se
hace grande.
Se est interesado en teoremas ergdicos que
establezcan cuando los promedios de tiempo
convergen al media del conjunto (valor
esperado).
F. Novillo
Probabilidades y Procesos Estocsticos
56
Teorema de ergodicidad
Se establece que si Xn es un proceso aleatorio de
tiempo discreto iid con media finita E[Xn]=m, entonces
el promedio de tiempo de las muestras converge a la
media del conjunto con probabilidad uno:
Este resultado permite estimar m tomando el promedio de
tiempo de una realizacin simple del proceso.
Se est interesado en obtener resultados de este tipo para
clases grande de procesos aleatorios, esto es, para procesos
aleatorios de tiempo discreto no iid y para procesos
aleatorios de tiempo continuo.
F. Novillo
Probabilidades y Procesos Estocsticos
57
Teorema de ergodicidad: Ejemplo
Dgase X(t)=A para todo t, donde A es una variable
aleatoria de varianza unitaria y media cero.
Conseguir el valor de tiempo promedio.
La media del proceso
El promedio en el tiempo es:
El promedio en el tiempo no siempre converge a = 0.
No te que este proceso es estacionario.
As el proceso puede ser estacionario pero no necesita ser ergdico.
F. Novillo
Probabilidades y Procesos Estocsticos
58
Teorema de ergodicidad
Dgase X(t) es un proceso WSS con = ,
entonces
en el sentido cuadrado medio, si y solamente si:
En consonancia con el uso de la ingeniera, se
dice que un proceso WSS es ergdico medio si
satisface las condiciones del presente teorema.
F. Novillo
Probabilidades y Procesos Estocsticos
59
Teorema de ergodicidad
Estimado del promedio en el tiempo de la funcin
autocorrelacin del proceso Y(t).
Reemplazando X(t) con Y(t+ )Y(t), se obtiene un
promedio en el tiempo estimado para la funcin
autocorrelacin del proceso Y(t):
F. Novillo
Probabilidades y Procesos Estocsticos
60
