Universidad Nacional Autónoma de México.

Facultad de Ciencias.

Procesos Estocásticos I
Semestre 2020-I
Profesora: Dr. María Clara Fittipaldi.
Ayudante: Bruno Daniel Gómez Labra.
Ayudante: Brenda Liliana Tránsito Pimentel
Ayudante: Bruno Daniel Gómez Labra.

Tarea 1: Cadenas de Markov.

Viernes 4 de octubre de 2019.

1. Noé tiene cuatro sombrillas, algunas en casa y el resto en la oficina. Él es un señor aburrido
que sólo va de su casa a su oficina y de su oficina a su casa. Lleva con él un paraguas si y
sólo si llueve. Si no está lloviendo, no carga con sombrilla (la deja en su casa o en la oficina,
según corresponda). A veces, llega a suceder que todos los paraguas se queden en un
solo lugar; mientras que Noé está en el otro, por lo que, si llueve, entonces se moja.
a) Si la probabilidad de que llueva es 𝑝 para un día cualquiera. ¿Cuál es la probabilidad
de que Noé se moje?
b) Estimaciones actuales muestran que la probabilidad de lluvia en la Ciudad de México
es de 𝑝 = 0.6. ¿Cuántas sombrillas debería tener Noé, si se mantiene con la estrategia
descrita, a fin de que la probabilidad de que se moje sea menor que 0.1?

2. Un delincuente que está encerrado en la cárcel tiene tres mil pesos en su poder. Él puede
sobornar a un guardia con ocho mil pesos a fin de que lo libere. Dentro de la penitenciaria,
se realizan apuestas con dinero. Resulta que, si el delincuente en cuestión apuesta una
cantidad 𝐴 (en miles de pesos), gana tal cantidad con probabilidad 0.4 y pierde 𝐴 con
probabilidad 0.6. Encuentra la probabilidad de que él gane los ocho mil pesos antes de
que pierda todo su dinero si:
a) Él apuesta mil pesos cada vez que juega,
b) Él apuesta, cada vez que juega, tanto como le sea posible pero no más de lo necesario
para que tenga los ocho mil pesos, si gana.
c) ¿Qué estrategia le da más posibilidades al delincuente de poder sobornar al guardia?

3. Considere una Cadena de Markov con espacio de estados 𝑆 = {0, … , 𝑁} y probabilidades

de transición de la forma 𝑝𝑖,𝑖+1 = 𝑝 y 𝑝𝑖,𝑖−1 = 𝑞, para 1 ≤ 𝑖 ≤ 𝑁 − 1, donde 𝑝 + 𝑞 = 1,
0 < 𝑝 < 1. Asuma que 𝑝0,1 = 1, 𝑝𝑁, 𝑁−1 = 1.
a) Dibuje el grafo de la cadena de Markov,
b) ¿Es una cadena de Markov irreducible?
c) ¿Es aperiódica?
d) ¿Cuál es el periodo de la Cadena de Markov?
e) Encuentre la distribución estacionaria.

4. Un proceso toma valores en el conjunto de valores {1, 2, 3, 4, 5}. Este comienza en 1 y, en

cada paso sucesivo, se mueve a un entero más grande que su posición presente,
moviéndose con igual probabilidad a cada uno de los enteros remanentes. El estado 5 es
absorbente. Encuentra el número esperado de pasos para alcanzar el estado 5.
5. Considere la siguiente matriz de transición, correspondiente a una Cadena de Markov:

1⁄ 1⁄ 1⁄
2 3 6
𝑃 = (3⁄ 1⁄4)
4 0
0 1 0
a) Muestra que es irreducible y aperiódica,
b) Si el proceso comienza en el estado 1, encuentra la probabilidad de que esté en el
estado 3 luego de dos pasos.
c) Encuentra la matriz que es el límite de 𝑃𝑛 cuando 𝑛 → ∞.

6. Se lanza un dado justo repetidas veces. Sea 𝑆𝑛 la variable aleatoria que denota la suma
total de las salidas del dado hasta el 𝑛-ésimo tiro. Muestra que hay un valor límite para la
proporción de los primeros 𝑛 valores de 𝑆𝑛 que son divisibles entre 7 y calcúlelo.

7. En condiciones de baja productividad, los corporativos llegan a suspender el pago de

dividendos. Suponga que, una vez que se ha pagado un dividendo, la probabilidad de que
el siguiente sea pagado es de 0.9; mientras que, si un dividendo fue suspendido, el
siguiente será también suspendido con probabilidad 0.6. A largo plazo, ¿cuál es la fracción
de dividendos que serán pagados?

8. Considere una caminata aleatoria que sigue el siguiente grafo, formado por dos
dodecaedros anidados.

a) Explique por qué es reversible.

b) Encuentre la distribución estacionaria.
c) Muestre que el tiempo de recurrencia medio a cualquiera de los estados es el mismo
y calcúlelo.
d) Sea 𝑋𝑛 la posición de la cadena en el tiempo 𝑛 (obviamente, toma valores en el
conjunto de los primeros 24 enteros). Sea 𝑍𝑛 = 1, si 𝑋𝑛 está en el dodecaedro interno
y 𝑍𝑛 = 2, si está en el externo. ¿Es 𝑍𝑛 un proceso Markoviano?

9. Considere una cadena de Markov cuyo diagrama esté dado por el siguiente grafo:
 a. ¿Hay estados transitorios? ¿Cuáles son?
b. ¿Hay estados absorbentes? ¿Cuáles son?
c. Encuentre las clases de comunicación.
d. ¿La cadena es irreducible?
e. Encuentre el periodo de cada estado. Verifique que los estados recurrentes
pertenecen a la misma clase de equivalencia.
f. ¿Hay alguna clase de comunicación aperiódica?

10. Considere el siguiente extracto de un grafo que se extiende hasta el infinito:

Como puede notarse, cada estado tiene exactamente tres estados con los que se
comunica (i.e. el grado de cada vértice es tres). Por ende, la probabilidad de moverse
de uno al otro es 1/3.

a. Sea el estado marcado con un “0” el estado central. Definamos 𝐷(𝑖) como la
distancia de cada estado 𝑖 a 0, i.e. el mínimo número de pasos requeridos para
alcanzar el cero desde el estado 𝑖. Entonces, ocurre que: 𝐷(0) = 0; para cada uno
de los vecinos más próximos de 0, 𝐷(𝑖) = 1; etc. Sea 𝑋𝑛 la posición de la cadena al
tiempo 𝑛. Demuestre que los procesos 𝐷𝑛 y 𝑋𝑛 son transitorios.
b. ¿Cuál es el tiempo medio de regreso al estado “0”?

11. Sean 𝜉1 , 𝜉2 , … variables aleatorias independientes e idénticamente distribuidas con

valores en los números enteros y ℙ(𝜉1 = 𝑥) = 𝑝(𝑥). Considere a 𝐴 ∈ ℤ tal que
𝑝(𝑥)
ℙ(𝜉1 ∈ 𝐴) > 0. Sea 𝑇𝐴 = í𝑛𝑓{𝑛 ≥ 1 ∶ 𝜉𝑛 ∈ 𝐴}. Muestre que ℙ(𝜉𝑇𝐴 = 𝑥) = ∑ ,
𝑎∈𝐴 𝑝(𝑎)
𝑥 ∈ 𝐴.

12. Considere una caminata aleatoria simple con probabilidad 𝑝 = 0.7, empezando en cero.
Encuentre la probabilidad de que el estado 2 sea alcanzado antes que el estado −3.
Calcule el número esperado de pasos hasta que la caminata aleatoria alcance el estado 2
o el estado 3 por primera vez.
13. Considere la siguiente matriz de transición de una cierta Cadena de Markov:
0 1 0 0
1 2
𝑃= 0 0
3 3
1 0 0 0
1 1
0 2 2 0

a. Dibuje el grafo asociado,

b. ¿Hay estados absorbentes?
c. ¿Cuáles son las clases de equivalencias?
d. ¿Hay alguna función estacionaria?
e. ¿Cuáles son los periodos de cada estado?
f. ¿Cuáles son los estados recurrentes y cuáles transitorios?
g. ¿Hay estados recurrentes positivos?
h. ¿Hay estados ergódicos?