Prueba 2-(1-2014)

Problema 1. El siguiente proceso de Markov empieza en el estado 1

0 0.5 0.5

Encontrar:
[
P= 0. 4 0 0.6
0 0.2 0.8 ]
a) La probabilidad que el proceso esté en el estado 3 después de tres
transiciones
b) El proceso llegue al estado 3 por primera vez después de n transiciones
c) Si el proceso comienza en cualquier estado, ¿cuál es la probabilidad que
esté en el estado 3 después de 3 transiciones?
d) ¿Existe el vector estacionario? Justifique. Si es así, encuéntrelo e
interprételo.

Problema 2 El Servicio Hidrológico planea construir un embalse para regular la

cuenca de uno de sus ríos con el objetivo de satisfacer los requerimientos de
agua para regadío. La capacidad máxima del embalse previsto será de
4.000.000 m3, (4 unidades de agua (1 unidad de agua = 1.000.000 m 3).
Antes de proceder a la construcción el Servicio desearía tener alguna idea
sobre la efectividad del mismo a largo plazo. Para ello se ha llevado a cabo
un estudio sobre los volúmenes semanales de agua aportados por el río,
encontrándose con que pueden aproximarse por medio de la siguiente
distribución de probabilidad discreta:
Aportación semanal en unidades de 2 3 4 5
agua
Probabilidad 0.3 0.4 0.2 0.1

El Servicio está considerando la posibilidad de contratos de regadío que

requerirán el consumo de 2 unidades de agua por semana, pero
adicionalmente, para mantener los estándares de calidad del agua para otros
usos, deberá dejar salir al menos 1 unidad de agua por semana. Por lo tanto,
el objetivo semanal será dejar salir 3 unidades de agua. Si el estado del
embalse (nivel del embalse) más la aportación de agua del rio es menor que
esta cantidad se tendrá que dejar salir menos agua, afectando la carencia a
los regadíos. Si el embalse está lleno, cualquier exceso será vertido por los
aliviaderos. El nivel mínimo admitido del embalse (estado mínimo) no podrá
ser inferior a una unidad de agua.

a) Representar el diagrama de transiciones, encontrar la matriz de

probabilidades de transición, y comprobar que se trata de un proceso
markoviano.
b) ¿Cuál será el número medio de semanas transcurrido desde que el
embalse se encuentra en el estado con 2 unidades de agua hasta que
esté totalmente lleno?
 c) Supuesto el embalse en el estado mínimo con 1 unidad de agua,
¿Cuantas semanas tardará, en promedio, en volver a estar en la misma
situación?
d) Suponiendo que la primera semana partimos de una situación en la que
se embalsaban 3 unidades de agua ¿Cuál es la probabilidad de que
dos semanas después se encuentre al mínimo?

Problema Adicional Un individuo posee r paraguas, que usa para ir

caminando de su casa a la oficina y viceversa. Si él está en su casa al
comienzo del día y está lloviendo, entonces, si al menos hay un paragua en la
casa, él tomará uno para ir a su oficina. Análogamente, si él está en su oficina,
tomará uno para ir a su casa. Si no está lloviendo no toma ningún paragua.
Suponga, que independiente del pasado, llueve al comienzo(final) del día con
probabilidad p.
a) Defina una cadena de Markov de r+1 estados que ayude a determinar
qué proporción del tiempo el individuo se moja.
b) Encuentre las probabilidades estacionarias.
c) ¿Qué fracción del tiempo (porcentaje de caminatas) el individuo se moja?

Prueba 2-(1-2014)- Recuperativa

Problema 2 El Un ex-ayudante de este curso ha decidido dedicarse a la

música, y junto a unos amigos formó el grupo “Jorge y los Markovianos”.
Actualmente se limitan a tocar los fines de semana en algunos pub
capitalinos, siendo una de tantas bandas desconocidas que existen en el
país.
Cada mes existe una probabilidad q que un empresario de algún sello
musical nacional los escuche y decida apoyarlos para grabar y realizar giras
para cantar en todo el país. Si tal cosa ocurre pasarían a ser una banda
conocida a nivel nacional. Una banda que es conocida a nivel nacional corre
el riesgo de perder el apoyo del sello nacional que la patrocina, con lo cual
volvería a ser una banda desconocida. Cada mes, la probabilidad que esto
ocurra es r. Por otro lado, una banda conocida a nivel nacional puede llegar a
llamar la atención del representante de un sello musical internacional, el cual
podría decidir patrocinarlos. De ser así la banda pasaría a ser conocida a
nivel internacional. Cada mes existe una probabilidad s que esto ocurra (s +r
< 1).
Una banda que es conocida internacionalmente nunca dejará de serlo. Sin
embargo, podemos distinguir dos categorías entre ellas: las que están de
moda y las que no. Una banda internacionalmente conocida que está de
moda en un mes dado seguirá estando de moda al mes siguiente con
probabilidad t. Una banda conocida a nivel internacional que no está de
moda en un mes dado pasará a estar de moda al mes siguiente con
probabilidad u. El primer mes que una banda se hace conocida a nivel
internacional nunca está de moda. Una banda sólo percibe utilidades
(equivalentes a K[$]) en los meses que es conocida internacionalmente y
 está de moda (parte de esas utilidades corresponden a una satisfacción de
su ego).
Hint: Suponga 0 < x < 1 ∀ x ∈ {q, r, s, t, u}.
a) Construya una cadena de Markov que represente la trayectoria de la
banda de Jorge y que permita predecir si en un mes dado percibirán
utilidades o no (defina estados adecuados, dibuje el grafo indicando las
probabilidades de transición o bien escriba la matriz de probabilidades de
transición).
b) ¿Llegarán “Jorge y los Markovianos” a tener éxito algún día?
c) ¿Admite la cadena una ley de probabilidades estacionarias?
d) ¿Qué estados tienen necesariamente una probabilidad estacionaria igual
a 0? Calcule las probabilidades estacionarias.
e) ¿Cuál es (aproximadamente) el valor esperado de las utilidades
percibidas por “Jorge y los Markovianos” en febrero del año 2048?

Prueba 2- (2-2014)

Problema 1. (15 puntos) Consideremos un lote de artículos fabricados en un

proceso productivo, cada uno de los artículos puede estar bueno o defectuoso.
Supongamos que un artículo bueno es seguido de otro bueno con probabilidad
 y es seguido por otro defectuoso con probabilidad 1 - . Similarmente, un
artículo defectuoso es seguido por otro defectuoso con probabilidad  y es
seguido por uno bueno con probabilidad 1 - . Si el primer artículo está bueno,
¿Cuál es la probabilidad que el primer artículo defectuoso sea el quinto
artículo?

Problema 3. (25 puntos) Sea {Xn: n  0 } una cadena de Markov con espacio
de estados S = {1, 2, 3, 4, 5} y con matriz de transición

P=¿( 0.75 0 0.25 0 0¿)( 0.25 0 0 00.75¿)( 0.75 0 0.25 0 0¿)( 0 0.8 0.2 0 0¿) ¿
¿
(a) Clasifique los estados del sistema, justifique.
(b) Obtenga la distribución de probabilidades e n el largo plazo si se
sabe que inicialmente el sistema se encuentra en los estados 3, 4 y 5
con igual probabilidad.
(c) Calcule P{X7 = 3; X5 = 1; X4 = 2; X0 = 4 | X3 = 5}, si se sabe que el
sistema inicialmente se encuentra en los estados 2, 4 y 5 con igual
probabilidad.
(d) Obtenga la distribución de probabilidades del tiempo que demora
volver al estado 2.
(e) ¿Cuál es el tiempo medio que se demora en volver al estado 3?
 Prueba 2-(2-2014)- Recuperativa

Prueba 2-(2-2015)

Problema 1. Un hotel opera en un paraje montañoso de elevado atractivo

turístico. Cada tarde puede llegar un nuevo cliente solicitando una habitación, lo
cual ocurre con probabilidad p, o bien puede no llegar ninguno (con probabilidad q
= 1 − p). Una fracción α de los clientes se queda en el hotel sólo una noche (llegan
una tarde y se van en la mañana siguiente), mientras que una fracción β = 1− α,
decide quedarse una noche más disfrutando del hermoso paisaje (i.e. llegan una
tarde y se van en la mañana del día subsiguiente). Nadie pasa más de 2 noches
en el hotel.
a) ¿Cuál es el máximo número de habitaciones que pueden estar ocupadas
simultáneamente?
b) Modele el estado de ocupación del hotel para cada noche (cuántas
habitaciones están ocupadas) como una cadena de Markov. Defina
adecuadamente los estados, e indique las probabilidades de transición entre
ellos. Justifique la existencia de probabilidades estacionarias y calcúlelas.
c) Suponga que el hotel le cobra a sus clientes $ A por la primera noche de
estadía y $ B por noche adicional (B < A). ¿Cuál es el valor esperado del
ingreso por noche en el largo plazo?
d) ¿Cuál es el número promedio de habitaciones ocupadas?
e) Suponga que el día que un cliente llega al hotel se realiza un sanitizado de la
habitación que ocupará, además se le regala un mapa de la zona y un
pequeño objeto de artesanía típica del lugar (con el logo del hotel), y se le
ofrece una bebida por cuenta de la casa. Todo lo anterior tiene un costo de $
 C. ¿Qué relación deben cumplir A, B y C para que el hotel pueda financiarse
en el largo plazo?
f) Los días en que hay sólo un huésped en el hotel, los dueños se dan el tiempo
de enseñarle a preparar el plato típico de la región. ¿Qué porcentaje de los
clientes se va sin aprender a preparar dicho plato?

Problema 2 Una empresa de transporte cuenta con una flota de 2 camiones

destinados para traslados y fletes. La demanda diaria que enfrenta la empresa es
aleatoria, con la siguiente ley de probabilidades:
Pr[D = 0] = 0,4
Pr[D = 1] = 0,4
Pr[D = 2] = 0,2
Al comienzo del día, se reciben los pedidos por fletes de acuerdo a la distribución
anterior y se debe tener en cuenta que un camión sólo puede atender un pedido
por día. Un camión que durante un día ha realizado un flete tiene una probabilidad
0.5 de requerir mantención después del traslado, en cuyo caso al día siguiente no
estará disponible para realizar fletes. La mantención de un camión demora
exactamente un día y tiene un costo de $10.
(a) Defina Xk como el número de camiones disponibles para realizar
fletes al comienzo del día k. Muestre que Xk (k = 1, 2,...) puede modelarse
como una cadena de Markov. Defina los estados y determine las
probabilidades de transición de un período.
(b) Determine las probabilidades estacionarias.
(c) A partir de la respuesta de la parte anterior, ¿Cuál es el número
esperado de fletes que realizaría esta empresa en estado estacionario? ¿Cuál
es el costo diario promedio por concepto de mantención? ¿Cuánto es lo
mínimo que esta empresa está dispuesta a cobrar por cada flete?

Problema 3 Suponga que el hecho que llueva o nó el día de hoy depende de las
condiciones climáticas (lluvia/ no lluvia) de los últimos tres días.
(a) Muestre cómo se puede analizar esta situación usando una cadena
de Markov. (¿Cuántos estados se requieren?)
(b) Suponga que, si ha llovido en los últimos 3 días, lloverá hoy con
probabilidad 0.8; si no ha llovido en los últimos 3 días, lloverá hoy con
probabilidad 0.2; en cualquier otro caso, la probabilidad que las condiciones
climáticas de hoy sean iguales a las de ayer es de 0.6. Obtenga la matriz de
transición P, y clasifique los estados de esta Cadena de Markov.
(c) Suponga ahora, que no llovió ayer, ni antes de ayer. ¿Cuál es la
probabilidad que llueva hoy?

Problema 4. Sea {X n: n  0 } una cadena de Markov con espacio de estados S =

{1, 2, 3} y con matriz de transición

1 1 1 1 1
P=¿ 3 3 3 ¿ )( 2 0 2 ¿ )¿ ¿¿
(
¿
 Suponga además que P(X0 = 1) =2/5, P(X0 = 2)=2/5, y P(X0 = 3)=1/5
(a) Calcule la distribución de X2.
(b) Si X2 = 3, ¿Cuál es la probabilidad que la cadena partiera
inicialmente del estado i  S?
lim P( X n =i ) para i ∈ S
(c) Calcule n→∞ . ¿Depende este límite del valor
inicial X0? ¿por qué?

Prueba 2-(2-2015)-Recuperativa

Problema 2 Tres bolitas blancas y tres bolitas negras se distribuyen al azar en dos
urnas, de modo que cada urna contiene inicialmente 3 bolitas. Posteriormente se
procede a repetir indefinidamente el experimento consistente en elegir al azar una
bolita de cada urna e intercambiarlas. Sea Xn el número de bolitas blancas en la
primera urna después de repetir n veces el experimento.

a. Explique por qué {Xn} es una cadena de Markov.

b. Encuentre la matriz de transición P y clasifique sus estados.
c. Calcule la fracción de tiempo que la cadena permanece en cada
estado.
d. Repita (a) – (c) si inicialmente hay b bolitas de cada color.

Problema 3 Suponga que el hecho que llueva o nó el día de hoy depende de las
condiciones climáticas (lluvia/ no lluvia) de los últimos tres días.
(d) Muestre cómo se puede analizar esta situación usando una cadena
de Markov. (¿Cuántos estados se requieren?)
(e) Suponga que, si ha llovido en los últimos 3 días, lloverá hoy con
probabilidad 0.8; si no ha llovido en los últimos 3 días, lloverá hoy con
probabilidad 0.2; en cualquier otro caso, la probabilidad que las condiciones
climáticas de hoy sean iguales a las de ayer es de 0.6. Obtenga la matriz de
transición P, y clasifique los estados de esta Cadena de Markov.
(f) Suponga ahora, que no llovió ayer, ni antes de ayer. ¿Cuál es la
probabilidad que llueva hoy?

Problema 4. Sea {X n: n  0 } una cadena de Markov con espacio de estados S y

con matriz de transición
 1 1 1 1
P1=¿ ( 0 2 2¿ 2 )( 0 2 ¿ )¿ ¿¿
¿
¿
¿
Par los procesos P2 y P3, clasifique los estados

Problema 1. (1,5 puntos) Un bosque consta de dos tipos de árboles: jóvenes

(entre 0 y 3 mts de altura) y adultos (más de 3 mts). Cada año, el 30% de los
árboles jóvenes muere, el 10% se vende por $20 cada uno, el 20% se
mantiene entre 0 y 3 mts y el 40% crece superando los 3 mts. Cada año, el
40% de los árboles adultos se vende por $50, el 20% se vende por $20, el
30% permanece en el bosque y un 10% muere.
a) ¿Cuál es la probabilidad de que un árbol joven muera antes de ser
vendido?
b) Si plantar un árbol joven cuesta $5, ¿cuál es el beneficio esperado para
cada árbol joven plantado?

Prueba 2-(2-2015)

Problema 2. Suponga que el hecho que esté soleado o no el día de hoy depende
de las condiciones climáticas (soleado/nublado) del día anterior.
a) (0,5 puntos) Considerando esta situación este hecho, se sabe que al 90%
de los días soleados son seguidos por otro día soleado y el 80% de los días
nublados son seguidos por otro día nublado. Modele este problema como
una cadena de Markov.
b) (1,5 puntos) Suponga ahora que el estado del tiempo en un día cualquiera
depende del estado del tiempo en los últimos dos días, de la siguiente
forma:
 Si los dos últimos días han sido soleados entonces con una
probabilidad de 95% hoy también estará nublado.
 Si ayer estuvo nublado y hoy soleado, hay una probabilidad de un
70% de que mañana esté soleado.
 Si ayer estuvo soleado y hoy nublado entonces 60% de las veces
mañana estará nublado.
 Si han pasado dos días con el cielo cubierto de nubes, hay una
probabilidad de un 80% de que las nubes quieran quedarse un
día más.
 Con esa información:
(g) Modele el estado del tiempo en la ciudad como una cadena de
Markov.
(h) Si ayer estuvo nublado y hoy soleado, ¿Cuál es el número promedio
de días nublados antes del próximo día soleado?
c) (1,5 puntos) Suponga ahora que el estado del tiempo en un día cualquiera
depende de las condiciones climáticas de los últimos tres días. Muestre
cómo se puede analizar esta situación usando una cadena de Markov.
¿Cuántos estados se requieren? Además, se sabe que:
 Si ha estado soleado en los últimos 3 días, seguirá soleado hoy
con probabilidad 0.8;
 Si ha estado nublado en los últimos 3 días, estará soleado hoy
con probabilidad 0.2;
 en cualquier otro caso, la probabilidad que las condiciones
climáticas de hoy sean iguales a las de ayer es de 0.6.
Con esa información:
(a) Obtenga la matriz de transición P, y clasifique los estados de esta
Cadena de Markov.
(b) Suponga ahora, que estuvo nublado ayer y antes de ayer. ¿Cuál es
la probabilidad que esté soleado hoy?

OPCIONAL
(0,5 puntos) Si el tiempo en un día dado dependiera del estado del tiempo en
los últimos n días ¿Cuántos estados se necesitarían para modelar el tiempo
como una cadena de Markov

Prueba 2 (1-2018)

Problema 2 Considere el siguiente proceso de Markov con estados S = {1, 2, 3}, y

que empieza en el estado 1. Su matriz de probabilidades de transición P es:
0.5 2
1 0.4 0.2 0.6
3
0.5 0.8
Encontrar las probabilidades de que:
a) El proceso esté en el estado 3 después de tres transiciones
b) El proceso llegue al estado 3 por primera vez después de n transiciones
c) El proceso no haya llegado aún al estado 2 después de n transiciones
d) Después de la tercera transición desde el estado 3 hasta el 2 las dos
transiciones siguientes sean
e) El proceso entre en el estado 2 exactamente una vez en las tres primeras
transiciones
f) El número esperado de veces que el proceso entrará en el estado 2
durante las tres primeras transiciones.
Problema 3 Una empresa emplea a tres tipos de ingenieros: Principiantes, con
experiencia y socios.
Durante un año cualquiera, hay una probabilidad de 0.15 que un ingeniero
principiante sea ascendido a ingeniero con experiencia y una probabilidad de 0.05
que deje la empresa buscando mejores oportunidades. También se sabe que hay
una probabilidad de 0.20 que un ingeniero con experiencia sea ascendido a socio,
y una probabilidad de 0.10 que deje la empresa sin ser socio.
Se sabe que, por problemas de compatibilidad, el 5% de los socios deja la
empresa
A partir de los antecedentes entregados, determine:

a) ¿Cuántos años en promedio permanece en la empresa un ingeniero recién

contratado?
b) ¿Cuál es la probabilidad de que un ingeniero principiante llegue a ser
socio?
c) ¿Cuántos años promedio permanece un socio en la empresa?