Tarea 2.

Procesos Estocásticos

Antonio, H.

2023-03-14

Libro de Rincón

Problema 30

Considere una cadena de Markov de dos estados: 0 y 1, con distribución inicial (1/2,1/2), y con matriz de
probabilidades de transición
 
1/3 4/5
P =
3/4 1/4

Encuentre:

a) La distribución de X1 .

b) P (X5 = 1|X4 = 0).

c) P (X3 = 0|X1 = 0).

d) P (X100 = 1|X98 = 0).

e) P (X1 = 0|X2 = 0).

f) P (X1 = 1|X2 = 1, X3 = 1).

g) P (X3 = 0, X2 = 0|X1 = 0).

Solución 30

a)

Para encontrar la distribución de X1 , podemos utilizar la fórmula de distribución inicial multiplicada por la
matriz de transición:

π1 = π0 P = 1/2 1/2 1/3 4/5 3/4 1/4 = 9/20 11/20

Por lo tanto, la distribución de X1 es π1 = (9/20, 11/20).

1
b)

Utilizando la regla de Bayes y la matriz de transición:

P (X5 = 1, X4 = 0)
P (X5 = 1|X4 = 0) =
P (X4 = 0)
P (X5 = 1|X4 = 0)P (X4 = 0)
=
P (X4 = 0)
= P (X5 = 1|X4 = 0)
1
X
= P (X5 = 1|X4 = 0, X3 = i)P (X3 = i|X4 = 0)
i=0
= P (X5 = 1|X4 = 0, X3 = 0)P (X3 = 0|X4 = 0) + P (X5 = 1|X4 = 0, X3 = 1)P (X3 = 1|X4 = 0)
= 4/5 ∗ 1/3 + 1/4 ∗ 2/3
= 17/30.

Por lo tanto, P (X5 = 1|X4 = 0) = 17/30.

c)

Para encontrar la probabilidad de que la cadena esté en el estado 0 en el tercer paso de tiempo, dado que
comenzó en el estado 0, podemos usar la fórmula de Bayes:

P (X1 = 0, X2 = 1, X3 = 0)
P (X3 = 0|X1 = 0) =
P (X1 = 0)
P (X1 = 0)P (X2 = 1|X1 = 0)P (X3 = 0|X2 = 1)
=
P (X1 = 0)
= P (X2 = 1|X1 = 0)P (X3 = 0|X2 = 1)
= P01 P11
4 3
= ·
15 4
1
=
5

Por lo tanto, la probabilidad de que la cadena esté en el estado 0 en el tercer paso de tiempo, dado que
comenzó en el estado 0, es de 1/5.

d)

Para encontrar la probabilidad de que la cadena esté en el estado 1 en el paso de tiempo 100, dado que
estaba en el estado 0 en el paso de tiempo 98, podemos usar la fórmula de la probabilidad total:

2
 1
X
P (X100 = 1|X98 = 0) = P (X100 = 1, X99 = i|X98 = 0)
i=0
1
X
= P (X100 = 1|X99 = i, X98 = 0)P (X99 = i|X98 = 0)
i=0
= P10 P01 + P11 P11
4 3 1 1
= · + ·
5 4 4 4
13
=
20

Por lo tanto, la probabilidad de que la cadena esté en el estado 1 en el paso de tiempo 100, dado que estaba
en el estado 0 en el paso de tiempo 98, es de 13/20.

e)

Usando el Teorema de Bayes, tenemos:

P (X2 = 0|X1 = 0)P (X1 = 0)

P (X1 = 0|X2 = 0) =
P (X2 = 0)

Para calcular las probabilidades necesarias, utilizamos la matriz de probabilidades de transición:

1
P (X2 = 0|X1 = 0) = P00 =
3

1
P (X1 = 0) =
2

1 1 4 1 11
P (X2 = 0) = P (X2 = 0|X1 = 0)P (X1 = 0) + P (X2 = 0|X1 = 1)P (X1 = 1) = · + · =
3 2 5 2 30
Sustituyendo en la primera fórmula, obtenemos:

1/3 · 1/2 5
P (X1 = 0|X2 = 0) = = ≈ 0.45
11/30 11

Por lo tanto, la probabilidad de que X1 = 0 dado que X2 = 0 es de aproximadamente 0.45.

f)

Para encontrar P (X1 = 1|X2 = 1, X3 = 1) usamos el teorema de Bayes:

3
 P (X1 = 1, X2 = 1, X3 = 1)
P (X1 = 1|X2 = 1, X3 = 1) =
P (X2 = 1, X3 = 1)
P (X3 = 1|X1 = 1, X2 = 1)P (X2 = 1|X1 = 1)P (X1 = 1)
=
P (X3 = 1|X2 = 1)P (X2 = 1)
P (X3 = 1|X2 = 1)P (X2 = 1|X1 = 1)
=
P (X3 = 1|X2 = 1)P (X2 = 1|X1 = 1) + P (X3 = 1|X2 = 0)P (X2 = 0|X1 = 1)
(1/4)(4/5)
=
(1/4)(4/5) + (3/5)(1/3)
4
=
19

Por lo tanto, la probabilidad de que el estado en el tiempo t = 1 sea 1, dado que los estados en t = 2 y t = 3
son 1, es 4/19.

g)

Para encontrar P (X3 = 0, X2 = 0|X1 = 0), necesitamos calcular la distribución de probabilidad conjunta
P (X1 = 0, X2 = 0, X3 = 0) y luego dividirla por la probabilidad de que X1 = 0. Podemos utilizar el Teorema
de Chapman-Kolmogorov para calcular la distribución de probabilidad conjunta:

P (X1 = 0, X2 = 0, X3 = 0) = P (X1 = 0)P (X2 = 0|X1 = 0)P (X3 = 0|X2 = 0)

   
1 1 3
=
2 3 4
1
=
8

Por lo tanto, P (X3 = 0, X2 = 0|X1 = 0) = P (X1 =0,X 2 =0,X3 =0)

P (X1 =0) = 1/8 1
1/2 = 4 . Entonces, la probabilidad de que
el proceso esté en el estado 0 en los tiempos t = 1, t = 2 y t = 3, dado que empieza en el estado 0 es 14 .

Problema 38

Se lanza un dado equilibrado repetidas veces. Sea Xn el número de lanzamientos realizados al tiempo n
desde la última vez que apareció el número “6”. Demuestre que {Xn : n ≤ 1} es una cadena de Markov y
encuentre las probabilidades de transición.

Solución 38

Para demostrar que Xn : n ≤ 1 es una cadena de Markov, debemos verificar que la propiedad de Markov se
cumpla para cualquier n ≤ 1. La propiedad de Markov establece que la distribución condicional de Xn+1
dado Xn y Xn−1 , . . . , X0 depende únicamente de Xn . En este caso, la propiedad de Markov se cumple
porque el número de lanzamientos que deben realizarse para obtener un número “6” es independiente del
número de lanzamientos que se hayan realizado anteriormente, siempre y cuando no haya aparecido un “6”
en los lanzamientos previos.
Para encontrar las probabilidades de transición, primero notemos que si Xn = 1, entonces en el lanzamiento
n + 1 se obtiene un número “6” con probabilidad 1/6, y Xn+1 = 1. Por otro lado, si Xn = k con k > 1,
entonces en el lanzamiento n+1 se obtiene un número diferente de “6” con probabilidad 5/6, y Xn+1 = k +1.

4
Sin embargo, si en el lanzamiento n + 1 se obtiene un “6”, entonces Xn+1 = 1. Entonces, las probabilidades
de transición están dadas por:

P1,1 = P (Xn+1 = 1|Xn = 1) = 1/6

Pk,k+1 = P (Xn+1 = k + 1|Xn = k) = 5/6
Pk,1 = P (Xn+1 = 1|Xn = k) = 1/6

para k > 1, y P1,k = 0 para todo k > 1. La matriz de probabilidades de transición es entonces:
 
1/6 5/6 0 0 ···
1/6 0
 5/6 0 · · ·

P =  ... .. .. .. .. 

 . . . .

1/6 0 0 5/6 · · ·
1/6 0 0 0 ···

donde las filas y columnas están etiquetadas por los valores de Xn . Notemos que P es una matriz estocástica,
ya que las entradas en cada fila suman 1.

Problema 51

Dibuje un diagrama de transición e identifique las clases de comunicación para las siguentes cadenas de
Markov.

a)

 
0.3 0.0 0.7
P = 0.4 0.6 0.0
0.5 0.0 0.5

b)

 
0.0 0.2 0.0 0.8
0.4 0.6 0.0 0.0
P = 
0.0 0.0 1.0 0.0
0.0 0.0 0.3 0.7

Solución 51

a)

Existen tres clases de comunicación: 1, 3, 2 y ∅. En la cadena b), existen dos clases de comunicación: 1, 2 y
3, 4.

#library(diagram)

# a)
#P1 <- matrix(c(0.3, 0, 0.7, 0.4, 0.6, 0, 0.5, 0, 0.5), nrow=3, byrow=TRUE)
#plotmat(P1, pos=TRUE, box.col=c("lightblue","lightpink","lightgreen"), box.prop=0.5, self.cex=0.5)

5
Problema 57

Dibuje un diagrama de transición, determine las clases de comunicación y calcule el periodo de cada uno de
los estados de las siguientes cadenas de Marrkov

a)

 
0.25 0.25 0.25 0.25
 0.4 0.50 0.50 0.0 
P =
0.00 0.0 1.0 1.00


0.00 0.00 1.00 0.00

b)

 
0.0 0.2 0.0 0.8 1.0
0.4 0.6 0.0 0.0 0
 
0.0
P = 0.0 1.0 0.5 0.5

0.0 0.0 1.0 0.0 0.0
0.2 0.2 0.2 0.2 0.2

Problema 84

Encuentre todas las distribuciones estacionarias, si existen, para cada una de las siguientes cadenas de
Markov.

a)

 
0.5 0.5 0.0
P = 0.0 0.5 0.5
0.0 0.5 0.5

b)

 
0.50 0.50 0.00 0.00
0.00 0.50 0.50 0.00
P =
0.00 0.50

0.50 0.00
0.25 0.025 0.25 0.25

b)

Existen dos clases de comunicación: 1, 2 y 3, 4.

# b)
#P2 <- matrix(c(0, 0.2, 0, 0.8, 0.4, 0.6, 0, 0, 1, 0, 0, 0, 0, 0, 0.3, 0.7), nrow=4, byrow=TRUE)
#plotmat(P2, pos=TRUE, box.col=c("lightblue","lightpink","lightgreen","lightyellow"), box.prop=0.5, #sel

6
Solución 84
a)

Para la cadena de Markov con matriz de transición

 
0.5 0.5 0.0
P = 0.0 0.5 0.5
0.0 0.5 0.5

se busca una distribución π = (π1 , π2 , π3 ) tal que πP = π. Esto se traduce en el siguiente sistema de
ecuaciones:

0.5π1 = π1
0.5π1 + 0.5π2 = π2
0.5π2 + 0.5π3 = π3

Simplificando la primera ecuación, se tiene π1 = 2π2 , y utilizando esta relación en la segunda y tercera
ecuaciones, se obtiene

π2 = 2π3
π3 = 2π2

Resolviendo estas ecuaciones, se obtiene π1 = π2 = π3 = 1/3, lo que significa que la distribución uniforme
(1/3, 1/3, 1/3) es una distribución estacionaria para esta cadena de Markov.

b)

Para encontrar las distribuciones estacionarias de la cadena de Markov dada, debemos resolver el sistema de
ecuaciones πP = π, donde π es la distribución estacionaria que buscamos y P es la matriz de transición de
la cadena.

π1 = 0.5π1 + 0π2 + 0π3 + 0.25π4

π2 = 0.5π1 + 0.5π2 + 0.5π3 + 0.025π4
π3 = 0π1 + 0.5π2 + 0.5π3 + 0.25π4
π4 = 0π1 + 0π2 + 0π3 + 0.25π4

P4
Además, como i=1 πi = 1, podemos agregar la ecuación π1 + π2 + π3 + π4 = 1 al sistema. Simplificando
las ecuaciones anteriores, obtenemos:

0.5π1 − 0.25π4 = 0
0.5π1 + 0.5π2 + 0.5π3 + 0.025π4 = π2
0.5π2 + 0.5π3 − 0.25π4 = 0
0.25π4 = π4
π1 + π2 + π3 + π4 = 1

7
La última ecuación nos dice que la suma de las probabilidades en la distribución estacionaria es 1. La cuarta
ecuación nos dice que π4 es una constante de normalización y que las otras tres probabilidades deben sumar
1-π4 . Usando la primera y la tercera ecuación, podemos despejar π1 y π3 en términos de π4 y π2 :

1
π1 = π4
2
1
π3 = π4 − π2
2

Sustituyendo en la segunda ecuación, obtenemos:

   
1 1
0.5 π4 + 0.5π2 + 0.5 π4 − π2 + 0.025π4 = π2
2 2
3
π4 = π2
4

Libros auxiliares

Problema 1

En una población de 10,000 habitantes, 5000 no fuman, 2500 fuman uno o menos de un paquete diario y 2500
fuman más de un paquete diario. En un mes hay un 5% de probabilidad de que un no fumador comience a
fumar un paquete diario, o menos, y un 2% de que un no fumador pase a fumar más de un paquete diario.
Para los que fuman un paquete, o menos, hay un 10% de probabilidad de que dejen el tabaco y un 10% de
que pasen a fumar un paquete, o meneos. ¿Cuántos individuos habrá de cada case el próximo mes?

Solución 1

Podemos resolver este problema usando una cadena de Markov, donde los estados son “no fumador”, “fu-
mador de uno o menos paquetes” y “fumador de más de un paquete”.
Definimos un vector de estado inicial X0 que representa la distribución actual de la población en los diferentes
estados. En este caso, X0 = (5000, 2500, 2500).
Definimos una matriz de transición P que representa las probabilidades de pasar de un estado a otro en un
mes. En este caso, la matriz de transición sería:
 
0.95 0.05 0
P = 0.02 0.88 0.1
0 0.1 0.9

Donde la primera fila representa la probabilidad de que un no fumador permanezca sin fumar, comience
a fumar uno o menos paquetes, o fume más de un paquete al final del mes. La segunda fila representa la
probabilidad de que un fumador de uno o menos paquetes deje de fumar, continúe fumando uno o menos
paquetes, o pase a fumar más de un paquete. La tercera fila representa la probabilidad de que un fumador
de más de un paquete deje de fumar, o continúe fumando más de un paquete.
Para calcular la distribución de la población después de un mes, podemos usar la ecuación:

X1 = X0 P

8
Donde X1 es el vector de estado después de un mes. Aplicando esta ecuación a nuestro caso, tenemos:
 
0.95 0.05 0
X1 = (5000, 2500, 2500) 0.02 0.88 0.1 = (4975, 2515, 2510)
0 0.1 0.9

Por lo tanto, después de un mes, habrá 4975 no fumadores, 2515 fumadores de uno o menos paquetes y 2510
fumadores de más de un paquete.

Problema 2

El ascensor de un edificio con bjao y dos pisos realiza viajes de uno a otro piso. El piso en el que finaliza el
vieje n-ésimo del ascensor sigue una cadena de Markov. Se sabe que la mitad de los viajes que parten del
bajo se dirigen a cada uno de los otros pisos, mientras que si un viaje comienza en el primer piso, solo el 25%
de las veces finaliza en el segundo. Por último, si un trayecto comienza en el segundo piso, siempre finaliza
en el bajo. Se pide:

a) Calcular la matriz de probabilidades de transición de la cadena.

b) Dibujar el gráfico asociado.

c) ¿Cuál es la probabilidad de que, a largo plazo, el ascensor se encuentre en cada uno de los
tres pisos.

Solucion 2

a)

Para calcular la matriz de probabilidades de transición de la cadena, debemos definir los estados posibles y
las probabilidades de transición entre ellos. En este caso, hay tres estados posibles: “bajo”, “primer piso”
y “segundo piso”. Las probabilidades de transición se dan en el enunciado: si el ascensor está en el bajo, la
mitad de las veces se dirigirá al primer piso y la otra mitad al segundo piso. Si el ascensor está en el primer
piso, solo el 25% de las veces se dirigirá al segundo piso, mientras que el resto de las veces se dirigirá al bajo.
Si el ascensor está en el segundo piso, siempre se dirigirá al bajo.
Por lo tanto, la matriz de probabilidades de transición es:
 
0.5 0.5 0
P = 0.75 0 0.25
1 0 0

9
b)

Diagrama de estados del ascensor

Piso 1

Bajo Piso 2

0
Bajo Piso 1 Piso 2

c)

Para calcular las probabilidades a largo plazo de la cadena de Markov, se debe encontrar el vector de
distribución estacionaria. Este vector cumple la propiedad de que, si se multiplica por la matriz de transición,
el resultado es el mismo vector. Es decir, si P es la matriz de transición y pi es el vector de distribución
estacionaria, se cumple que:

π∗P =π

Para encontrar este vector, se puede resolver el sistema de ecuaciones:

0.5π1 + 0.75π2 + π3 = π1
0.5π1 + π3 = π2
0.25π1 + π2 = π1
π1 + π2 + π3 = 1

Además, se sabe que la suma de las componentes del vector de distribución estacionaria es igual a 1:

π1 + π2 + π3 = 1

10
Resolviendo el sistema de ecuaciones, se obtiene que:

π1 = 2/5, π2 = 1/5, π3 = 2/5

Por lo tanto, la probabilidad de que el ascensor se encuentre en el bajo es de 2/5, en el primer piso es de 1/5
y en el segundo piso es de 2/5.

Problema 3

Suponga que toda la industria de refresco produce dos colas: Coca Cola y Pepsi Cola. Cuando una persona
ha comprado Coca Cola hay una probabilidad de 90% de que siga comprándola la vez siguiente. Si una
persona compró Pepsi, hay 80% de que repita la vez siguiente. Se pide:

a) Si una persona actualmente es comprador de Pepsi. ¿Cuál es la probabilidad de que compre

Coca Cola pasadas dos compras a partir de hoy?

b) Si en la actualidad una persona es comprador de Coca Cola. ¿Cuál es la probabilidad de

que compre Coca Cola pasadas tres compras a partir de ahora?

c) Supongamos que el 60% de toda la gente toma hoy Coca Cola y el 40% Pepsi. A tres
compras a partir de ahora, ¿Qué fracción de los compradores estará tomando Coca Cola?

Solución 3

a)

Para resolver este problema, podemos utilizar una matriz de transición de Markov de dos estados: el estado
C representa comprar Coca Cola y el estado P representa comprar Pepsi. La matriz de transición es:
 
0.9 0.2
0.1 0.8

donde la entrada (i, j) representa la probabilidad de pasar del estado i al estado j. Queremos calcular la
probabilidad de pasar de estar en el estado P a estar en el estado C después de dos compras. Podemos
calcular esto elevando la matriz de transición al cuadrado y multiplicando el vector fila (0, 1) (que representa
el estado actual de estar comprando Pepsi):

 2

0.9 0.2

0 1 = 0.52 0.48
0.1 0.8

Por lo tanto, la probabilidad de que una persona que actualmente compra Pepsi compre Coca Cola pasadas
dos compras a partir de hoy es del 48%.

b)

De manera similar, podemos calcular la probabilidad de que una persona que actualmente compra Coca
Cola siga comprando Coca Cola pasadas tres compras. La matriz de transición es la misma que en el inciso
anterior, y queremos calcular la tercera potencia de la matriz y multiplicar el vector fila (1, 0) (que representa
el estado actual de estar comprando Coca Cola):

11
  3

0.9 0.2

0 1 = 0.729 0.271
0.1 0.8

Por lo tanto, la probabilidad de que una persona que actualmente compra Coca Cola siga comprando Coca
Cola pasadas tres compras a partir de hoy es del 72.9%.

c)

Para este inciso, podemos utilizar una distribución de probabilidad inicial dada por el vector (0.6, 0.4), que
representa la proporción inicial de personas que compran Coca Cola y Pepsi, respectivamente. La matriz de
transición sigue siendo la misma. La probabilidad de estar comprando Coca Cola después de tres compras
se puede calcular multiplicando el vector inicial por la tercera potencia de la matriz de transición:

 3

0.9 0.2

0.6 0.4 = 0.710 0.290
0.1 0.8

Por lo tanto, después de tres compras, el 71.0% de las personas estará comprando Coca Cola y el 29.0%
estará comprando Pepsi.

Problema 4

En una Unidad de Cuidados Intensivos en un determinado hospital, cada paciente es clasificado de acuerdo
a un estado crítico, serio o estable. Estas clasificaciones son actualizadas cada mañana por un médico
internista, de acuerdo a la evaluación experimentada por el paciente. Las probabilidades con las cuales cada
paciente se mueve de un estado a otro se resumen en la tabla que sigue:

Crítico Serio Estable

Crítico 0.6 0.3 0.1
Serio 0.4 0.4 0.2
Estable 0.1 0.4 0.5

a) ¿Cuál es la probabilidad de que un paciente en estado crítico un día jueves esté estable el
día sábado?

b) ¿Cuál es la probabilidad de que un paciente que está en estado estable el lunes experimente
alguna complicación y no esté estable nuevamente el miércoles?

c) ¿Qué porcentaje de la Unidad de Cuidados Intensivos usted diseñaría y equiparía para

pacientes en estado crítico?

Solución 4

a)

Para calcular la probabilidad de que un paciente en estado crítico un día jueves esté estable el día sábado,
podemos utilizar la matriz de probabilidades de transición elevada a la potencia dos, es decir, P 2 . La entrada
de la matriz P 2 correspondiente a la fila “Crítico” y la columna “Estable” nos dará la respuesta buscada.
Por lo tanto, tenemos:

12
     
0.6 0.4 0.1 0.6 0.4 0.1 0.49 0.37 0.14
P 2 = 0.3 0.4 0.4 0.3 0.4 0.4 = 0.36 0.42 0.22
0.1 0.2 0.5 0.1 0.2 0.5 0.15 0.37 0.48

Por lo tanto, la probabilidad de que un paciente en estado crítico un día jueves esté estable el día sábado es
0.14.

b)

Para calcular la probabilidad de que un paciente que está en estado estable el lunes experimente alguna
complicación y no esté estable nuevamente el miércoles, podemos utilizar la matriz de probabilidades de
transición elevada a la potencia dos, es decir, P 2 . La entrada de la matriz P 2 correspondiente a la fila
“Estable” y la columna “Crítico” nos dará la probabilidad de que un paciente en estado estable el lunes esté
en estado crítico el miércoles. Luego, podemos utilizar la entrada correspondiente a la fila “Crítico” y la
columna “Serio” para obtener la probabilidad de que el paciente experimente alguna complicación en esos
dos días y no esté estable nuevamente el miércoles. Por lo tanto, tenemos:
    
0.6 0.4 0.1 0.6 0.4 0.1 0.49 0.37 0.14
P 2 = 0.3 0.4 0.4 0.3 0.4 0.4 = 0.36 0.42 0.22
0.1 0.2 0.5 0.1 0.2 0.5 0.15 0.37 0.48

Por lo tanto, la probabilidad de que un paciente que está en estado estable el lunes experimente alguna
complicación y no esté estable nuevamente el miércoles es 0.14 × 0.3 = 0.042.

c)

Para determinar qué porcentaje de la Unidad de Cuidados Intensivos debería ser diseñada y equipada para
pacientes en estado crítico, podemos calcular la distribución estacionaria de la cadena de Markov. Para
encontrar la distribución estacionaria, es decir, el estado límite de la cadena de Markov, debemos encontrar
un vector π que satisfaga la ecuación:

πP = π

donde P es la matriz de transición. Dado que la suma de las filas de P es igual a 1, sabemos que 1 es un
autovalor de P y que el vector propio asociado a este autovalor es el vector de probabilidades estacionarias
π. Por lo tanto, podemos encontrar π resolviendo el sistema de ecuaciones:

πP = π

π1 + π2 + π3 = 1

Donde π1 , π2 y π3 son las probabilidades estacionarias de los estados crítico, serio y estable, respectivamente.
Resolviendo este sistema de ecuaciones, obtenemos:

5 4 5
π1 = , π2 = , π3 =
14 14 14

Por lo tanto, el 5/14 o aproximadamente el 36% de la Unidad de Cuidados Intensivos debe ser diseñada y
equipada para pacientes en estado crítico.

13
Problema 5

Asume que un estudiante puede estar en 1 de los 4 estados siguientes: a) Rico, b) Promedio, c) Pobre y d)
Endeudado. También asume las siguientes probabilidades de transición: a) Si un estudiante es Rico, en el
siguiente paso del tiempo puede ser, Promedio con un 75%, Pobre con un 20% y Endeudado con 5%. b) Si
un estudiante es Promedio, en el siguiente paso del tiempo puede ser, Rico con un 5%, Promedio con un
20% y Endeudado con 45%. c) Si un estudiante es Endeudado, en el siguietne paso del tiempo puede ser,
Promedio con un 15%, Pobre con un 30% y Enduedado con un 55%. Modela el problema como una cadena
de Markov disvreta y:

a) Dibuja la cadena de Markov correspondiente y obten la matriz estocástica correspondiente.

b) Asumamos que un estudiante empieza sus estudios como “Promedio” ¿Cuál sera la proba-
bilidad que sea rico después de 1,2 y 3 pasos de tiempo?

c) ¿Cuál es el vector de probabilidades de estados estacionarios asociados con esta cadena de

Markov?

Solución 5

a)

La matriz estocástica correspondiente es:

P <- matrix(c(0,0.75, 0.2, 0.05,

0.05, 0.2, 0.3, 0.45,
0.1, 0.4, 0.3, 0.2,
0, 0.15, 0.3, 0.55),
nrow = 4, byrow = TRUE)
rownames(P) <- c("Rico", "Promedio", "Pobre", "Endeudado")
colnames(P) <- c("Rico", "Promedio", "Pobre", "Endeudado")
P

## Rico Promedio Pobre Endeudado

## Rico 0.00 0.75 0.2 0.05
## Promedio 0.05 0.20 0.3 0.45
## Pobre 0.10 0.40 0.3 0.20
## Endeudado 0.00 0.15 0.3 0.55

b)

Si un estudiante empieza como “Promedio”, la probabilidad de ser rico después de 1, 2 y 3 pasos de tiempo
se puede calcular como sigue:

# Probabilidad de ser rico después de 1 paso de tiempo

rico <- c(0, 0, 0, 1)
P_1 <- P %*% rico
names(P_1) <- rownames(P)
P_1["Rico"]

## Rico
## 0.05

14
# Probabilidad de ser rico después de 2 pasos de tiempo
P_2 <- P %*% P %*% rico
names(P_2) <- rownames(P)
P_2["Rico"]

## Rico
## 0.405

# Probabilidad de ser rico después de 3 pasos de tiempo

P_3 <- P %*% P %*% P %*% rico
names(P_3) <- rownames(P)
P_3["Rico"]

## Rico
## 0.3925

c)

Para encontrar
P4 el vector de probabilidades de estados estacionarios, se debe resolver el sistema de ecuaciones:
πP = π y i=1 πi = 1. Esto se puede hacer utilizando la función steadyStates del paquete markovchain.

library(markovchain)

## Package: markovchain
## Version: 0.9.1
## Date: 2023-01-20
## BugReport: https://github.com/spedygiorgio/markovchain/issues

# Crear objeto markovchain a partir de la matriz de transición

mc <- new("markovchain", transitionMatrix = P, name = "Estudiantes")

# Calcular vector de probabilidades de estados estacionarios

steadyStates(mc)

## Rico Promedio Pobre Endeudado

## [1,] 0.04270749 0.2626914 0.2957293 0.3988719

15