UCB FACULTAD DE INGENIERÍA
DEPARTAMENTO DE CIENCIAS BÁSICAS
MATERIA: INVESTIGACIÓN OPERATIVA II Y LABORATORIO MAT – 252
PRÁCTICA DE CADENAS DE MARKOV
Problema 1
Una partícula se mueve sobre un círculo por puntos marcados 0, 1, 2, 3, 4 (en el
sentido de las manecillas del reloj). La partícula comienza en el punto 0. En cada
paso tiene una probabilidad de 0.25 de moverse un punto en el sentido de las
manecillas del reloj (0 sigue al 4) y una probabilidad de 0.75 de moverse un punto
en el sentido opuesto. Sea 𝑋𝑛 (𝑛 ≥ 0) la localización en el círculo después del paso
n. {𝑋𝑛 } es entonces una cadena de Markov.
a) Encuentre la matriz de transición (de un paso).
b) Determinar la matriz de transición de n pasos P(n) para n = 5, 10, 20, 40, 80.
c) Determinar las probabilidades de estado estable de los estados de la cadena de
Markov mediante las ecuaciones de estado estable.
Problema 2
Dada la siguiente matriz de transición (de un paso), determine las clases de la
cadena de Markov y si son recurrentes o no.
Problema 3
Considere la cadena de Markov que tiene la siguiente matriz de transición (de un
paso).
a) Determine las clases de esta cadena de Markov y, para cada clase, determine
si es recurrente o transitoria.
b) Para cada una de las clases identificadas en el inciso a), determine el periodo
de los estados de esa clase.
Problema 4
En la sección 16.5 se calculó el costo promedio esperado (a largo plazo) por semana
(basado solo en costos de ordenar y costos de la demanda insatisfecha) del ejemplo
del inventario de cámaras de la sección 16.1. Suponga que se cambia la política de
inventarios. Siempre que el número de cámaras al final de la semana sea 0 o 1, se
coloca una orden que aumente este número hasta 3. De otra manera, no se coloca
una orden. Esta vez suponga de la demanda semanal de cámaras tiene una
distribución Poisson de media 0.5 cámaras.
Si se ordena z > 0 cámaras, se incurre en un costo de (10 + 25z) dólares. Si no se
ordenan cámaras, no hay cargos por ordenar. Cada unidad de demanda
insatisfecha (ventas perdidas), tiene un costo de 50 dólares.
Calcule de nuevo el costo promedio esperado (a largo plazo) por semana con esta
nueva política de inventarios.
Problema 5
Un fabricante tiene una máquina que cuando empieza a operar al inicio del día tiene
una probabilidad de 0.05 de descomponerse en algún momento de ese día. Cuando
esto ocurre, la reparación se hace al siguiente día y se termina al finalizar ese día.
a) Formule la evolución del estado de la máquina como una cadena de Markov;
identifique los tres estados posibles al final del día y después construya la matriz
de transición (de un paso).
b) Encontrar las 𝜇𝑖𝑗 (tiempo esperado de primera pasada del estado i al estado j)
para toda i y j. Use estos resultados para identificar la siguiente descompostura
después de que se ha terminado una reparación.
c) Ahora suponga que la maquina tiene ya 20 días sin descomponerse desde la
última reparación. Compare el numero esperado de días completos que, en
adelante, la maquina permanecerá en operación antes de la siguiente
descompostura con el resultado correspondiente del inciso b) cuando se acaba
de completar una reparación. Proporcione una explicación.
Problema 6
Considere el siguiente problema de la ruina de un jugador. Un jugador apuesta 1
dólar en cada jugada. Tiene una probabilidad p = 0.25 de ganar y q = 1 – p = 0.75
de perder. Continuara jugando hasta que quiebre o reúna una fortuna de 4 dólares.
Sea 𝑋𝑛 la fortuna del jugador en la n-ésima jugada. Entonces, {𝑋𝑛 } es una cadena
de Markov. El jugador comienza con X0 dólares, donde X0 es un entero positivo
menor que 4.
a) Determine la matriz de transición (de un paso) de la cadena de Markov.
b) Encuentre las clases de la cadena de Markov y clasifíquelas.
c) Encontrar f10, f20, f30, f14, f24, f34.
Problema 7
Un taller tiene tres máquinas idénticas en operación continua excepto cuando se
descomponen. Como lo hacen con bastante frecuencia, la tarea con más alta
prioridad para la persona de mantenimiento que trabaja tiempo completo es
repararlas cuando sea necesario. El tiempo que se requiere para reparar una
maquina tiene distribución exponencial con media de ⅓ día. Una vez que se termina
la reparación, el tiempo que transcurre hasta la siguiente descompostura tiene
distribución exponencial con media de ½ día. Estas distribuciones son
independientes.
Defina la variable aleatoria 𝑋(𝑡 ′ ) como
𝑋(𝑡 ′ ) = número de máquinas descompuestas en el tiempo 𝑡′,
de forma que los valores posibles de 𝑋(𝑡 ′ ) son 0, 1, 2, 3. Por lo tanto, si se corre el
parámetro 𝑡′ de manera continua desde el tiempo 0, el proceso estocástico de
tiempo continuo {𝑋(𝑡 ′ ): 𝑡′ ≥ 0} proporciona la evolución del número de máquinas
descompuestas. Como tanto el tiempo de reparación como el tiempo hasta la
siguiente descompostura tienen distribuciones exponenciales, {𝑋(𝑡 ′ ): 𝑡′ ≥ 0} es una
cadena de Markov de tiempo continuo con estados 0, 1, 2, 3.
a) Desarrolle un diagrama de tasas de esta cadena de Markov.
b) Construya las ecuaciones de estado estable.
c) Resuelva estas ecuaciones para obtener las probabilidades de estado estable.
