13/12/2024
SIS2610A
TEMA 6
PROCESOS MARKOVIANOS DE DECISIÓN
PROCESOS MARKOVIANOS DE DECISIÓN
1. Introducción
2. Procesos Markovianos de decisión y las cadenas de Markov
3. Modelos de decisión Markovianos
4. Modelo de Programación dinámica de etapa finita
5. Modelo de Programación de etapa infinita
6. Uso del análisis de Markov en el campo empresarial
7. Ejercicios y aplicaciones
1
13/12/2024
PROCESOS MARKOVIANOS DE DECISIÓN
• ¿Cual es la probabilidad de que hoy se vea un arcoiris?
2
1 3
IO 2
4
PROCESOS MARKOVIANOS DE DECISIÓN
• Formulación de los procesos de Markov
• Una proceso de Markov es una serie de eventos, en la cual la
probabilidad de que ocurra un evento si depende del evento
inmediato anterior.
• Los procesos de este tipo: SI tienen memoria. "Recuerdan" el último
evento y esto condiciona las posibilidades de eventos futuros.
• Esta dependencia del evento anterior distingue a los procesos de
Markov de las series de eventos independientes, como tirar una
moneda al aire o un dado.
IO 2
2
13/12/2024
PROCESOS MARKOVIANOS DE DECISIÓN
• Una forma de describir un proceso de
Markov es utilizando de un diagrama de
estados.
• En el ejemplo se ilustra un sistema de
Markov con cuatro estados posibles :
M1, M2 , M3 y M4 .
• La probabilidad condicional o de
transición de moverse de un estado a
otro se indica en el diagrama
IO 2
PROCESOS MARKOVIANOS DE DECISIÓN
• En la teoría de la probabilidad, se conoce
como cadena de Márkov o modelo de
Márkov a un tipo especial de proceso
estocástico discreto en el que la
probabilidad de que ocurra un evento
depende solamente del evento
inmediatamente anterior.
• Esta característica de incluir una memoria
reciente recibe el nombre de propiedad de
Markov en contraste con los eventos
independientes que no tienen memoria de Cadena simple biestable de Markov
ningún evento anterior.
3
13/12/2024
PROCESOS MARKOVIANOS DE DECISIÓN
• Andréi Andréyevich Márkov
• 14 de junio de 1856 — San
Petersburgo, 20 de julio de 1922
• fue un matemático ruso conocido por
sus trabajos en la teoría de los números
y la teoría de probabilidades.
PROCESOS MARKOVIANOS DE DECISIÓN
Cadenas de Markov - Matriz de
transición
• Otra forma de exhibir las
probabilidades de transición es usar
una matriz de transición.
• La matriz de transición para el ejemplo
del diagrama de estados se muestra al
lado.
• Para n = 0, 1, 2, ....
IO 2
4
13/12/2024
PROCESOS MARKOVIANOS DE DECISIÓN
EJEMPLO
• La compañía K, fabricante de un cereal para el
desayuno, tiene un 25% del mercado actualmente.
Datos del año anterior indican que el 88% de los
clientes de K permanecían fieles ese año, pero un
12% cambiaron a la competencia.
• Además, el 85% de los clientes de la competencia le
permanecían fieles a ella, pero 15% de los clientes de
la competencia cambiaron a K.
• Asumiendo que estas tendencias continúen
determine ¿cual es la parte que K aprovecha del
mercado?:
• en 2 años; y
• en el largo plazo.
IO 2
PROCESOS MARKOVIANOS DE DECISIÓN
• Probabilidades de transición de un solo paso
• P(ai -----> aj) es la probabilidad condicional para que el proceso que se encuentra
en el estado ai se mueva al estado aj en un sólo paso, y se designa por Pij .
• Esto recibe el nombre de probabilidad de transición de un sólo paso.
• Si todas estas probabilidades son conocidas para todos los pares de estados se
ordenan en una matriz cuadrada que recibe el nombre de matriz de transición.
P = [pij]
5
13/12/2024
PROCESOS MARKOVIANOS DE DECISIÓN
• Ejemplo:
• Sea una persona sentada en el asiento de
en medio de una fila de cinco asientos
[marcados como A, B, C, D, E] de
izquierda a derecha. Esta persona se
mueve por seis veces de una silla a la
otra, estando sus movimientos
controlados por una moneda que se tira
al aire.
a. Si no está al final de una fila de asientos
se mueve hacia la derecha si sale CARA y
hacia la izquierda si sale CRUZ.
b. Si está al final se quedará donde está
salga lo que salga.
PROCESOS MARKOVIANOS DE DECISIÓN
Propiedad de Markov
• Considerar una secuencia Si,Sj,Sk de un experimento cuyo vector y matriz inicial
son conocidos.
• Entonces la secuencia de probabilidad será:
P( Si,Sj,Sk ) = P( Si) P( Si--->Sj) P( Sj--->Sk)
• Se puede ampliar la regla para cubrir secuencias de cualquier número de
pasos.
• A los procesos a los cuales podemos aplicar esta regla se dicen que tienen la
propiedad de Markov.
6
13/12/2024
PROCESOS MARKOVIANOS DE DECISIÓN
• Para tales procesos la probabilidad de la siguiente dirección
depende del estado presente del proceso y no depende del estado
precedente.
• Ejemplo:
• En el problema de las sillas, calcule la probabilidad de la secuencia.
P[C,D,C,B,A,A,A]
PROCESOS MARKOVIANOS DE DECISIÓN
Cadena de Markov finita y estacionaria.
• Una cadena de Markov es estacionara y finita y queda
completamente definida cuando se conoce:
a. Espacio de estados finito.
b. Una matriz [Pij] de probabilidades de transición de un sólo paso
estacionaria.
c. El vector de probabilidad inicial.
7
13/12/2024
PROCESOS MARKOVIANOS DE DECISIÓN
Ecuaciones de Chapman-Kolmogorov
Teorema: Las probabilidades de transición en n pasos vienen dadas por
la matriz p(n):
M
X j
i, j S , P t n p (n) pik( m ) pkj( n m )
X t i ij
k 0
• Para toda i=0,1,2,…M
• j=0,1,….M y cualquier m=1,2,…n-1
• y cualquier n=m+1, m+2,…
PROCESOS MARKOVIANOS DE DECISIÓN
• Matriz de distribución estacionaria
• Teorema: Sea X una CM irreducible, aperiódica y recurrente.
Entonces:
j S , p j lím qijn
n
• Se dice que una Cadena de Markov alcanza la distribución
estacionaria si existen los límites del teorema anterior y además se
cumple que:
p
jS
j 1
8
13/12/2024
PROCESOS MARKOVIANOS DE DECISIÓN
EJEMPLO
• La compañía K, fabricante de un cereal para el
desayuno, tiene un 25% del mercado actualmente.
Datos del año anterior indican que el 88% de los
clientes de K permanecían fieles ese año, pero un
12% cambiaron a la competencia.
• Además, el 85% de los clientes de la competencia le
permanecían fieles a ella, pero 15% de los clientes de
la competencia cambiaron a K.
• Asumiendo que estas tendencias continúen
determine ¿cual es la parte que K aprovecha del
mercado?:
• en 2 años; y
• en el largo plazo.
IO 2
PROCESOS MARKOVIANOS DE DECISIÓN
• Ejemplo:
Hay tres marcas nacionales de cerveza principales (B,M,S). Piense en el volumen
total (en galones) que se consumieron el año pasado de estas tres cervezas. En
la gráfica se muestra la proporción del total del mercado( o sea, la participación
en el mercado) de cada marca.
A la gerente de la fábrica que produce la cerveza B, le
gustaría recuperar su posición como fabricante de cerveza Marca de Participación
número 1 en la nación. Ella espera cambiar su posición en cerveza en el mercado
el mercado modificando su estrategia de mercado y el
envase. Espera aumentar su participación en el extenso B 0.3
mercado cervecero, en tanto que conserva una ventaja
entre los jóvenes solteros. Sabe que con una nueva M 0.5
campaña ganará y perderá clientes ante sus dos S 0.2
competidores.
Lo que Sharon necesita es una estimación del efecto
global.
9
13/12/2024
PROCESOS MARKOVIANOS DE DECISIÓN
• Una cadena de Markov ofrece a la gerente, un
nuevo modelo para analizar este problema.
• Para usarlo, suponga que se puede describir el
comportamiento de un consumidor individual
mediante una cadena de Markov.
• Los estados del sistema son las marcas de
cerveza que los consumidores podrían
comprar.
• Una probabilidad de transición pij es la
probabilidad de que un cliente que compra
esta vez la marca i cambie a la marca j la
próxima vez.
PROCESOS MARKOVIANOS DE DECISIÓN
• En la tabla siguiente se muestra la
matriz de transición de un paso para
este problema.
• Esta matriz indica que: B M S
1. el 85% de la gente que compró B la B 0.85 0.10 0.05
última vez, la comprará otra vez;
2. el 10% se aficionará a M; M 0.08 0.85 0.07
3. el 5% comprará S. S 0.13 0.17 0.70
Calcule la matriz de probabilidades
estacionarias con las ecuaciones de
Chapman Kolmogorov.
10
13/12/2024
PROCESOS MARKOVIANOS DE DECISIÓN
• Método Algebraico:
• - para evitar cálculos aritméticos largos necesarios para calcular st
para t=1,2,3,... se puede aplicar un atajo algebraico:
• el estado sustentable (estacionario)
st = st-1.
• Entonces como st = st-1P se tiene:
𝑝11 … 𝑝1𝑛
𝑥1 … 𝑥𝑛 = 𝑥1 … 𝑥𝑛 … … …
𝑃𝑛1 … 𝑝𝑛𝑛
IO 2
PROCESOS MARKOVIANOS DE DECISIÓN
• Supuestos
• Se supone que el proceso es estacionario y alcanzará un equilibrio.
• No todos los sistemas alcanzan un equilibrio.
• Adoptando el enfoque algebraico anteriormente para el ejemplo del
cereal K
𝑥1 𝑥2 = 𝑥1 𝑥2 .88 0.12
0.15 0.85
• se tienen las tres ecuaciones siguientes:
x1 = 0.88x1 + 0.15x2
x2 = 0.12x1 + 0.85x2
x1 + x2 = 1
IO 2
11
13/12/2024
PROCESOS MARKOVIANOS DE DECISIÓN
• Haciendo operaciones:
0.12x1 - 0.15x2 = 0
0.12x1 - 0.15x2 = 0
x1 + x2 = 1
• Nótese que la ecuación x1 + x2 = 1 es esencial. Sin ella no se puede
obtener una única solución para x1 y x2.
• Resolviendo conseguimos x1 = 0.56 y x2 = 0.44
• Por lo tanto, en el largo plazo, K comercializa una porción del mercado
del 55.56%.
IO 2
PROCESOS MARKOVIANOS DE DECISIÓN
• EJEMPLO
• El departamento de estudios de mercado de una fábrica estima que el
20% de la gente que compra un producto un mes, no lo comprará el
mes siguiente.
• Además, el 30% de quienes no lo compren un mes lo adquirirá al mes
siguiente.
• En una población de 1000 individuos, 100 compraron el producto el
primer mes. ¿Cuántos lo comprarán al mes próximo? ¿ Y dentro de
dos meses ?.
12
13/12/2024
PROCESOS MARKOVIANOS DE DECISIÓN
• EJEMPLO
• El crecimiento poblacional de una ciudad se comporta de acuerdo al movimiento
migratorio de personas que inmigran y las que emigran. Una ciudad en particular, ha
estimado que su población se distribuye en tres áreas muy marcadas: Área urbana, área
suburbana y área rural.
• El último censo ha mostrado que la migración del área rural al área suburbana es del 10%
y la migración del área rural al área urbana es del 5%.
• Tambien ha mostrado que la migración del área suburbana al área rural es del 30% y al
área urbana es del 15%.
• La población del área urbana no migra al área suburbana, pero el 20% migra al área rural.
• Describa la dinámica migratoria como un proceso markoviano.
• Si el ultimo censo ha mostrado que la población urbana es de 30.000 habitantes, la
suburbana es de 100.000 habitantes y las del área rural es de 20.000 habitantes.
• ¿Cuál será la distribución poblacional en 10 años?, ¿en 20 años?
13
