Cadena de Markov
¿Qué es?
La cadena de Markov, también conocida como modelo de Markov o proceso de Markov,
es un concepto desarrollado dentro de la teoría de la probabilidad y la estadística que
establece una fuerte dependencia entre un evento y otro suceso anterior. Su principal
utilidad es el análisis del comportamiento de procesos estocásticos.
Nomenclatura
Suposiciones Del Modelo De Markov
Las suposiciones del Modelo del Markov son las siguientes:
a) La suma de las filas de la matriz d3e transición puede ser igual a uno y su forma general
está presentado por:
b) Cada elemento de la matriz de transición debe ser no negativo y su forma general está
presentado por:
Según Render las suposiciones del Modelo del Markov son las siguientes:
a) Existe un número limitado o finito de estados posibles.
b) La probabilidad de que los estados cambien permanece igual a lo largo del
tiempo.
c) Se puede predecir cualquier estado futuro a partir del estado anterior y de la
matriz de probabilidades se transición.
d) El tamaño y constitución del sistema (por ejemplo, el número total de
fabricantes y clientes) no cambian durante el análisis. (Render, 2006).
El modelo de Markov tiene la propiedad de que las probabilidades que describen las
formas en que el proceso evolucionara en el futuro dependen solo del estado actual en
que se encuentra el proceso y, por lo tanto, son independientes de los eventos que
ocurrieron en el pasado. Muchos procesos se ajustan a esta descripción, por lo que las
cadenas de Markov constituyen una clase de modelo probabilístico de gran importancia.
¿Para que se utiliza?
Una de las principales utilidades que tiene el modelo de Markov es establecer las
posibilidades de cualquier evento futuro conociendo los eventos pasados. Esto puede y
afecta las decisiones que podríamos tomar basándonos en la incertidumbre que provocan
poseer varios eventos futuros y todos tienen su grado de probabilidad de que sucedan.
Otro de los factores que altera la toma de decisiones es cuando estos posibles eventos
futuros se ven alterados con el paso del tiempo, para evitar este acontecimiento existe
este modelo el cual tiene la propiedad particular de que las probabilidades que describen
la forma en que el proceso evolucionara en el futuro solo dependerán del estado actual en
que se encuentra el proceso y por lo tanto son independientes de los eventos ocurridos en
el pasado.
Tipos de Cadena
Cadenas Irreducibles:
Una cadena de Markov se dice irreducible si se cumple cualquiera de las siguientes
condiciones (equivalentes entre sí):
1- Desde cualquier estado de E se puede acceder a cualquier otro.
2- Todos los estados se comunican entre sí.
3- C(x)=E para algún x∈E.
4- C(x)=E para todo x∈E.
5- El único conjunto cerrado es el total.
Cadenas positivo-recurrentes:
Una cadena de Markov se dice positivo-recurrente si todos sus estados son
positivo-recurrentes. Si la cadena es además irreducible es posible demostrar que
existe un único vector de probabilidad invariante y está dado por:
Cadenas regulares:
Una cadena de Markov se dice regular (también primitiva o ergódica) si existe
alguna potencia positiva de la matriz de transición cuyas entradas sean todas
estrictamente mayores que cero.
Cuando el espacio de estados E es finito, si P denota la matriz de transición de la
cadena se tiene que:
donde W es una matriz con todos sus renglones iguales a un mismo vector de
probabilidad w, que resulta ser el vector de probabilidad invariante de la cadena.
En el caso de cadenas regulares, éste vector invariante es único.
Cadenas absorbentes:
Una cadena de Márkov con espacio de estados finito se dice absorbente si se
cumplen las dos condiciones siguientes:
-La cadena tiene al menos un estado absorbente.
-De cualquier estado no absorbente se accede a algún estado absorbente.
Si denotamos como A al conjunto de todos los estados absorbentes y a su
complemento como D, tenemos los siguientes resultados:
- Su matriz de transición siempre se puede llevar a una de la forma:
donde la submatriz Q corresponde a los estados del conjunto D, I es la matriz
identidad, 0 es la matriz nula y R alguna submatriz.
- esto es, no importa en donde se encuentre la cadena,
eventualmente terminará en un estado absorbente.
