CADENAS DE MARKOV

Lic. Maritza Villa Cabero

INTRODUCCIÓN.
Muchos problemas exigen tomar decisiones a partir de fenómenos o procesos
que tienen asociada a ellos algún grado de incertidumbre, normalmente
generada por la variación inherente aleatoria no posible de controlar, como es
el caso de algunos fenómenos naturales.

Resulta de importancia el análisis de los procesos que evolucionan en el

tiempo de una manera probabilística, llamados procesos estocásticos.
Dentro de estos hay unos de tipo especial llamados cadenas de Markov,
que tienen la propiedad particular de que las probabilidades que
describen la forma en que el proceso evolucionará en el futuro,
únicamente dependen del estado actual en que se encuentra el proceso,
por lo tanto, no dependen de los eventos ocurridos en el pasado. Muchos
procesos se comportan como las cadenas de Markov.

1. PROCESO DE MARKOV.

Un proceso de markov está formado por un conjunto de objetos y un conjunto

de estados tales que:
 i. En cualquier momento dado cada objeto deberá encontrarse en uno de
los estados (diferentes objetos no necesariamente deberán estar en
diferentes estados)

ii. La probabilidad de que un objeto cambie de un estado a otro (el cual

debe ser el mismo que el primer estado) durante un periodo, depende solo
de estos dos estados.
El número entero de periodos transcurridos desde el momento en que el proceso
se inicia, representa las etapas del proceso, las cuales pueden ser finitas o
infinitas; si el número de estados es finito o infinito contable, el proceso
markoviano es una cadena de markov. Una cadena finita de markov es aquella
que tiene un número finito de estados.
2. VECTOR ALEATORIO.

Se define como un vector 𝑷𝟏×𝑵 = (𝑷𝟏 , 𝑷𝟐 , … , 𝑷𝑵 ) , tal que satisface las

condiciones de una distribución probabilística discreta.

1. 𝑷𝒋 ≥ 𝟎

σ 𝑵
2. 𝒋=𝟏 𝑷𝒋 = 𝟏

3. MATRIZ ESTOCÁSTICA.
Se define como una matriz 𝑃𝑁×𝑁 tal que tiene por vectores fila a vectores
probabilísticos.
4. MATRIZ DOBLEMENTE ESTOCÁSTICA.
Se define como una matriz tal que filas y columnas son vectores
probabilísticos.
Ejemplos:
1. Clasificar a los siguientes vectores en aleatorios y no aleatorios.

a) 1, 0, 0 Vector Aleatorio

b) 0.3, 0, 0.7, 0 Vector Aleatorio

1 1
c) − , , 0 Vector No Aleatorio
2 2

1 1 1
d) , , 0, Vector Aleatorio
3 3 3
2. Clasificar las siguientes matrices en estocásticas, doblemente
estocásticas y no estocásticas.

0.5 0 0.5
a) 𝑃 = 1/3 1/3 1/3 Matriz Estocástica
0 1 0

0.2 0.3 0.5

b) 𝑃 = Matriz No Estocástica
0.25 0.4 0.35

1/3 2/3 0
c) 𝑃 = 1/3 0 2/3 Matriz Doblemente Estocástica
1/3 1/3 1/3
 1 0 Matriz Doblemente Estocástica
d) 𝑃 =
0 1

−1 0 1
e) 𝑃 = 0 1 0 Matriz No Estocástica
0 0 1
Teorema.
Sea 𝑝1×𝑁 un vector aleatorio y 𝑃𝑁×𝑁 una matriz estocástica, el producto 𝑝 × 𝑃 = 𝑣
origina un vector probabilístico aleatorio.
Teorema.

Sea 𝑃𝑁×𝑁 una matriz estocástica y 𝑄𝑁×𝑁 otra matriz estocástica, entonces el
producto 𝑃 × 𝑄 = 𝑅 es estocástica.
5. MATRIZ ESTOCASTICA REGULAR.
Una matriz se dice que es regular si a una potencia suficientemente
grande, la matriz 𝑃𝑛 tiene elementos positivos.
EJEMPLOS:

1. Verificar si las siguientes matrices estocásticas son regulares.

0 1 Solución:
a) 𝑃 =
1/3 2/3
0 1
a) 𝑃 =
1/3 2/3
1 0
b) 𝑃 =
1/5 4/5
2 1Τ3 2Τ3 por lo tanto P es
𝑃 = regular
2Τ9 7Τ9
 1 0 1 0
b) 𝑃 = 2
𝑃 =
1/5 4/5 9Τ25 16Τ25

4 1 0
𝑃 = 𝑃8 = ? P no es regular
369Τ625 256Τ625

Teorema.
Si 𝑃𝑁×𝑁 es una matriz estocástica regular y 𝑝1×𝑁 un vector aleatorio
cualquiera, las siguientes afirmaciones se cumplen:

1. 𝑃𝑁×𝑁 tiene un vector de probabilidades fijo y único 𝑡 = (𝑡1 , 𝑡2 , … , 𝑡𝑛 )

denominado vector límite estable.
2. La sucesión 𝑷, 𝑷𝟐 , 𝑷𝟑 , … … ., converge a una matriz 𝑇, denominada
matriz límite cuyas filas son iguales e idénticas al vector t.

3. La sucesión 𝑷𝑷, 𝑷𝑷𝟐 , 𝑷𝑷𝟑 , 𝑷𝑷𝟒 , … . convergen al vector t.

Teorema.
Si 𝑃𝑁×𝑁 es una matriz estocástica regular y t es el vector límite estable de dicha
matriz, entonces la siguiente igualdad se cumple:
𝒕𝑷 = 𝒕
Ejemplos:
0 1
1. Dada la siguiente matriz estocástica regular: 𝑃=
1Τ2 1Τ2
Hallar el vector límite t y la matriz estable límite T estable.
a) Mediante el producto de matrices.

b) Aplicando el teorema de matrices regulares.

Solución:
1 1 3 5 43 85
0 1
a) 𝑃 = 1 1 , 𝑃2 = 2 2
, 𝑃4 = 8 8
, 𝑃8 = 128 128
1 3 5 11 85 171
2 2
4 4 16 16
128 256
1 2
3 3 1 2
𝑃 16
= Por lo tanto: 𝑡= ,
1 2 3 3
3 3 1 2
y 𝑇= 3 3
1 2
3 3
b) 𝒕𝑷 = 𝒕
𝟎 𝟏
𝒙 ,𝟏 − 𝒙 𝟏 𝟏 = (𝒙 , 𝟏 − 𝒙)
𝟐 𝟐
𝟏
𝟏−𝒙 =𝒙 (𝟏) Luego 𝒕 = (𝒙 , 𝟏 − 𝒙)
𝟐

𝟏 𝟏 𝟐
𝒙+ 𝟏−𝒙 =𝟏−𝒙 𝟐 𝒕= ,
𝟐 𝟑 𝟑

De (1) 𝟏 − 𝒙 = 𝟐𝒙 𝟏 𝟐

𝟏
y 𝑻= 𝟑 𝟑
𝟑𝒙 = 𝟏 ⟹ 𝒙= 𝟏 𝟐
𝟑
𝟑 𝟑
2. Dada la siguiente matriz estocástica regular:

0 1 0
𝑃= 0 0 1 Hallar t y T estables.
1Τ2 1Τ2 0
Solución:
𝒕𝑷 = 𝒕
𝟎 𝟏 𝟎
𝟎 𝟎 𝟏
𝒙 ,𝒚 ,𝟏 − 𝒙 − 𝒚 𝟏 𝟏 = 𝒙 ,𝒚 ,𝟏 − 𝒙 − 𝒚
𝟎
𝟐 𝟐
𝟏
𝟏−𝒙−𝒚 =𝒙 (𝟏)
𝟐

𝟏
𝒙+ 𝟏−𝒙−𝒚 =𝒚 (𝟐)
𝟐
 𝟏 𝒙 𝒚
De (2) 𝒙 + − − =𝒚
𝟐 𝟐 𝟐

𝒙 𝟏 𝒚
+ − =𝒚
𝟐 𝟐 𝟐

𝒙 + 𝟏 − 𝒚 = 𝒚𝟐
𝒙+𝟏
𝒙 + 𝟏 = 𝟑𝒚 ⇒ 𝒚=
𝟑

Reemplazando en (1) 𝟏
𝟏−𝒙−𝒚 =𝒙
𝟐

𝟏 𝒙 𝟏 𝒙+𝟏
− − =𝒙
𝟐 𝟐 𝟐 𝟑
𝟏 𝒙 𝒙 𝟏
− − − =𝒙
𝟐 𝟐 𝟔 𝟔
𝟏 𝟏 𝒙 𝒙
− − − =𝒙
𝟐 𝟔 𝟐 𝟔

𝟏 𝟐
− 𝒙 =𝒙
𝟑 𝟑

𝟏 𝟓 𝟏 𝒙+𝟏
= 𝒙 ⇒ 𝒙= Reemplazando en 𝒚 =
𝟑 𝟑 𝟓 𝟑

𝟏
+𝟏 𝟐
𝒚=𝟓 =
𝟑 𝟓
𝟏 𝟐 𝟐
Luego 𝟏 − 𝒙 − 𝒚 = 𝟏 − − =
𝟓 𝟓 𝟓
𝟏Τ𝟓 𝟐Τ𝟓 𝟐Τ𝟓
𝟏 𝟐 𝟐
Por lo tanto 𝒕= , , y 𝑻 = 𝟏Τ𝟓 𝟐Τ𝟓 𝟐Τ𝟓
𝟓 𝟓 𝟓 𝟏Τ𝟓 𝟐Τ𝟓 𝟐Τ𝟓
6. CADENAS DE MARKOV.
Consideremos ahora una cadena de pruebas cuyas componentes sean
𝑥1 , 𝑥2 , 𝑥3 , … . que satisfacen las siguientes propiedades:

1) El sistema garantiza que en cualquier instante se encuentra en uno de los

estados definidos 𝐸1 , 𝐸2 , 𝐸3 , … . , 𝐸𝑁
2) La realización del sistema en una etapa 𝑛 + 1 dadas las realizaciones en
fechas 1, 2, 3, … . , 𝑛 dependen solamente de la última realización 𝑛 del sistema y
no de las otras.
7. MATRIZ DE TRANSICIÓN.
Se define como una matriz estocástica asociada a una cadena de markov, esta
se la representa como:
 𝑷𝟏𝟏 ⋯ 𝑷𝟏𝑵
𝑷= ⋮ ⋱ ⋮
𝑷𝑵𝟏 ⋯ 𝑷𝑵𝑵

Donde 𝑃𝑖𝑗 representa la probabilidad de transición del sistema del estado 𝐸𝑖 al

estado 𝐸𝑗 en un paso, y es una probabilidad condicional.

𝑷𝒊𝒋 = 𝑷 𝒙𝟏 = 𝑬𝒋 Τ𝒙𝟎 = 𝑬𝒊

8. PROBABILIDAD DE TRANSICIÓN SUPERIOR.

(𝑛)
Representadas por 𝑃𝑖𝑗 , son componentes de la matriz 𝑃𝑛 , que representa que estando

inicialmente el sistema en el estado 𝐸𝑖 después de n etapas o pasos se encuentra en el estado

𝐸𝑗 .
Teorema.
Si 𝑃𝑁𝑁 es una matriz de transición de una cadena de markov y si 𝑝1𝑁 es la
distribución de probabilidades del sistema para un tiempo arbitrario, el
producto 𝑝𝑃 origina la distribución probabilística del sistema un paso más
adelante y 𝑝𝑃𝑛 será la distribución de probabilidades del sistema n pasos
más adelante.

0 0 0 0
Si 𝑝(0) = 𝑝1 , 𝑝2 , 𝑝3 , … , 𝑝𝑁 representa el vector inicial del sistema,

entonces las distribuciones probabilísticas para fechas posteriores, se

determinan como:

𝟏 𝟎
𝒑 =𝒑 𝑷
 𝟐 𝟏 𝟎 𝟎
𝒑 =𝒑 𝑷=𝒑 𝑷𝑷 = 𝒑 𝑷𝟐

𝒑(𝟑) = 𝒑(𝟐) 𝑷 = 𝒑(𝟎) 𝑷𝟐 𝑷 = 𝒑(𝟎) 𝑷𝟑

𝒑(𝒏) = 𝒑(𝟎) 𝑷𝒏

9. CONJUNTOS CERRADOS.
Decimos que un conjunto 𝐶 ≠ ∅ de estados 𝐸 es cerrado si ∀ 𝑒𝑠𝑡𝑎𝑑𝑜 𝐸𝑗 ∈ 𝐶 y
(𝑛)
∀ 𝑒𝑠𝑡𝑎𝑑𝑜 𝐸𝑘 ∉ 𝐶 las probabilidades de transición superior 𝑝𝑗𝑘 = 0, 𝑛 = 1, 2, … .
10. ESTADOS ABSORVENTES.
Un estado 𝐸𝑖 de una cadena de markov es absorvente si es que el sistema
entra a dicha estado y su salida de esta es imposible, dichos estados se
reconocen siempre que en la diagonal principal 𝑝𝑖𝑖 = 1.

11. CADENA DE MARKOV IRREDUCIBLE.

Una cadena es irreducible si todo estado 𝐸𝑗 puede ser alcanzado a partir de
otro estado 𝐸𝑖 en un numero finito de etapas, en otras palabras, si toda la
matriz forma un solo conjunto cerrado.
12. PERIODICIDAD DE UN ESTADO.
Los estados se pueden clasificar según su periodicidad en aperiódicos (sin un
periodo o de periodo 1) y periódicos (con periodos o de periodos ≥ 2)
La periodicidad de un estado se calcula como el máximo común divisor de
las potencias de las probabilidades de transición superior que sean positivas
para dicho estado.
𝒏
𝒅𝒋 = 𝑴𝑪𝑫 𝒏Τ 𝒏 𝒆𝒔 𝒑𝒐𝒕𝒆𝒏𝒄𝒊𝒂 𝒑𝒋𝒋 > 𝟎
Teorema.

Un estado es aperiódico, si es que este esta relacionado consigo mismo en una

etapa, se reconocen siempre que en su diagonal principal exista una
probabilidad positiva, es decir presente bucle.
Teorema.
Si 𝑃𝑁𝑁 es una matriz estocástica diagonizable, entonces: 𝑷𝒏 = 𝑯∆𝒏 𝑯−𝟏
 Donde:
𝑯 = 𝑴𝒂𝒕𝒓𝒊𝒛 𝒅𝒆 𝒂𝒖𝒕𝒐𝒗𝒆𝒄𝒕𝒐𝒓𝒆𝒔
∆= 𝑴𝒂𝒕𝒓𝒊𝒛 𝒅𝒆 𝒗𝒂𝒍𝒐𝒓𝒆𝒔 𝒑𝒓𝒐𝒑𝒊𝒐𝒔
13. TIEMPO DE PRIMER REGRESO.
Dado que un sistema está en un estado 𝐸𝑗 , se puede regresar al estado por
primera vez sí: 𝒏−𝟏
𝒏 𝒏 𝒎 𝒏−𝒎
𝒇𝒋𝒋 = 𝒑𝒋𝒋 − ෍ 𝒇𝒋𝒋 𝒑𝒋𝒋
𝒎=𝟏

Se denomina probabilidad de primer retraso, si el regreso es un suceso seguro,

entonces el estado se denomina recurrente.
 ∞
𝒏
𝝁𝒋 = 𝝁𝒋𝒋 = 𝑬 𝒏 = ෍ 𝒏𝒇𝒋𝒋 Tiempo medio de recurrencia
𝒏=𝟏

∞ ∞ 𝟐
𝒏 𝒏 Varianza del Tiempo Medio de
𝟐
𝑽 𝒏 = ෍𝒏 𝒇𝒋𝒋 − ෍ 𝒏𝒇𝒋𝒋 Recurrencia.
𝒏=𝟏 𝒏=𝟏

➢ Si 𝝁𝒋 < ∞, el estado 𝑬𝒋 se llama estado recurrente no nulo.

➢ Si 𝝁𝒋 = ∞, el estado 𝑬𝒋 se llama estado recurrente nulo.

14. ESTADO ERGODICO.

Un estado 𝑬𝒋 es ergódico si es recurrente no nulo y aperiódico.

15. TIEMPO DE PRIMER PASO.
Dado de que el sistema está inicialmente en un estado 𝐸𝑖 y que después de
n pasos o etapas se pasa por primera vez al estado 𝐸𝑗 , 𝑛 ≥ 1, entonces se
define la probabilidad de primer paso del sistema del estado 𝐸𝑖 al estado 𝐸𝑗
como: 𝒏−𝟏
𝒏 𝒏 𝒎 𝒏−𝒎
𝒇𝒋𝒋 = 𝒑𝒋𝒋 −෍ 𝒇𝒋𝒋 𝒑𝒋𝒋
𝒎=𝟏
Si el paso del sistema del estado 𝐸𝑖 al estado 𝐸𝑗 es un suceso seguro,
entonces 𝐸𝑖 se denomina estado transiente y:
∞
𝒏 𝟎
𝝁𝒋𝒋 = 𝑬 𝒏 = ෍ 𝒏𝒇𝒋𝒋 , 𝒄𝒐𝒏 𝒇𝒋𝒋 = 𝟎
𝒏=𝟏
Se llama tiempo medio de transición.
 ∞ ∞ 𝟐
𝟐 𝒏 𝒏 Varianza del tiempo medio de
𝑽 𝒏 = ෍𝒏 𝒇𝒋𝒋 − ෍ 𝒏𝒇𝒋𝒋
Transición
𝒏=𝟏 𝒏=𝟏

TEOREMA LÍMITE DE MARKOV 1.

1) Sea 𝐸𝑗 un estado arbitrario de una cadena de markov y esta se considera

transiente si y solo si:
∞ ∞
𝒏 𝒏
෍ 𝑷𝒋𝒋 < ∞ ෍ 𝒑𝒋𝒋 < ∞
𝒏=𝟏 𝒏=𝟏
2) El estado 𝐸𝑗 es recurrente si y solo si:
∞
∞
𝒏
෍
𝒏
𝑷𝒋𝒋 =∞ ෍ 𝒑𝒋𝒋 = ∞
𝒏=𝟏
𝒏=𝟏
Ejemplo:
1. La región de ventas de un vendedor está compuesta por 3 ciudades La
Paz, Cochabamba y Santa Cruz. Nunca vende en la misma ciudad dos días
seguidos; si vende en La Paz, al día siguiente vende en la ciudad de
Cochabamba, sin embargo, si vende en alguna de las otras ciudades
Cochabamba o Santa Cruz, al día siguiente está en el doble de posibilidad de
vender en La Paz que en otra ciudad.
a) Formula la matriz de transición.

b) A la larga con qué frecuencia vende en cada ciudad.

c) Si se sabe que originalmente se vendía en la ciudad de Cochabamba. ¿Cuál

es la probabilidad de que al tercer día se venda en la ciudad de Santa Cruz?
Solución:
𝟏
a) 𝒙+ 𝟏−𝒙−𝒚 =𝒚 (𝟐)
𝟑

𝟏 𝒙 𝒚
𝒙+ − − =𝒚
𝟑 𝟑 𝟑

𝟐𝒙 𝒚 𝟏
b) 𝒕𝑷 = 𝒕 − −𝒚=−
𝟎 𝟏 𝟎 𝟑 𝟑 𝟑
𝟐 𝟏
𝟎
𝒙 ,𝒚 ,𝟏 − 𝒙 − 𝒚 𝟑 𝟑 = 𝒙 ,𝒚 ,𝟏 − 𝒙 − 𝒚 𝟐 𝟒 𝟏
𝟐 𝟏 𝒙− 𝒚=−
𝟎 𝟑 𝟑 𝟑
𝟑 𝟑
𝟏 𝟐 𝟐 𝟏
𝒚 + 𝟏−𝒙−𝒚 =𝒙 (𝟏) 𝒙 − 𝟐𝒚 = −
𝟐 𝟑 𝟑 𝟑
 𝟏
𝒙 − 𝟐𝒚 = − Luego:
𝟐
𝟏 𝟐𝒙 + 𝟏 𝟐 𝟐Τ𝟓 + 𝟏 𝟗
𝟐𝒚 = 𝒙 + ⇒ 𝒚= 𝒚= =
𝟐 𝟒 𝟒 𝟐𝟎
Reemplazando en (1)
Por lo tanto:
2 2𝑥 + 1 2 2 2 2𝑥 + 1 𝟐 𝟗 𝟑
+ − 𝑥− =𝑥 𝟏−𝒙−𝒚=𝟏− − =
3 4 3 3 3 4 𝟓 𝟐𝟎 𝟐𝟎

2 2 2 Así 𝒕 = (𝟐/𝟓 ; 𝟗/𝟐𝟎 ; 𝟑/𝟐𝟎)

− 𝑥=𝑥 ⇒ 𝑥=
3 3 5 𝒕 = (𝟎, 𝟒 ; 𝟎, 𝟒𝟓 ; 𝟎, 𝟏𝟓)
 Por lo tanto, el 40% de las veces vende en La Paz

45% de las veces vende en Cochabamba

15% de las veces vende en Santa Cruz

c) Método 1
𝟑
𝟎 𝟏 𝟎 𝟐Τ𝟗 𝟕Τ𝟗 𝟎
𝑷𝟑 = 𝟐Τ𝟑 𝟎 𝟏Τ𝟑 = 𝟏𝟒Τ𝟐𝟕 𝟐Τ𝟗 𝟕Τ𝟐𝟕
𝟐Τ𝟑 𝟏Τ𝟑 𝟎 𝟏𝟒Τ𝟐𝟕 𝟕Τ𝟐𝟕 𝟐Τ𝟗

𝟑 𝟕
𝒑𝟐𝟑 = 𝟎 𝟏 𝟎
𝟐𝟕
Método 2 𝒑(𝟏) = 𝒑(𝟎) 𝑷 = (𝟎 ; 𝟏 ; 𝟎) 𝟐/𝟑 𝟎 𝟏/𝟑
𝟐/𝟑 𝟏/𝟑 𝟎
𝒑 𝟎 = 𝟎 𝟏𝟎
= (𝟐/𝟑 ; 𝟎 ; 𝟏/𝟑)
 𝒑(𝟐) = 𝒑(𝟏) 𝑷
𝟎 𝟏 𝟎
= (𝟐/𝟑 ; 𝟎 ; 𝟏/𝟑) 𝟐/𝟑 𝟎 𝟏/𝟑
𝟐/𝟑 𝟏/𝟑 𝟎
= (𝟐/𝟗 ; 𝟕/𝟗 ; 𝟎)

𝒑(𝟑) = 𝒑(𝟐) 𝑷
𝟎 𝟏 𝟎
= (𝟐/𝟗 ; 𝟕/𝟗 ; 𝟎) 𝟐/𝟑 𝟎 𝟏/𝟑
𝟐/𝟑 𝟏/𝟑 𝟎
= (𝟏𝟒/𝟐𝟕 ; 𝟐/𝟗 ; 𝟕/𝟐𝟕)

La probabilidad de que venda en la ciudad de Santa Cruz es 7/27=0,2592

TEOREMA LÍMITE DE MARKOV 2.
𝟏
Sea 𝐸𝑗 un estado recurrente tal que = 𝟎, cuando 𝝁𝒋 = ∞, entonces los
𝝁𝒋

siguientes limites se cumplen:

1) Si 𝐸𝑗 es aperiódico (𝑑𝑗 = 1)

𝒏 𝟏 𝟏 𝟏
𝒍𝒊𝒎 𝒑𝒊𝒋 = ⇒ 𝝁𝒋 = 𝒏
=
𝒏→∞ 𝝁𝒋 𝐥𝐢𝐦 𝒑𝒊𝒋 𝒕𝒊
𝒏→∞

2) Si 𝐸𝑗 es periódico (𝑑𝑗 > 1)

𝒏 𝒅𝒋 𝒅𝒋
𝒍𝒊𝒎 𝒑𝒊𝒋 = ⇒ 𝝁𝒋 = 𝒏
𝒏→∞ 𝝁𝒋 𝐥𝐢𝐦 𝒑𝒊𝒋
𝒏→∞
16. PROBABILIDAD Y TIEMPOS MEDIOS DE ABSORCIÓN.

De existir estados absorbentes o subconjuntos de estados cerrados en una

cadena, se puede determinar la matriz de absorción como:
−𝟏
𝑭= 𝑰−ℚ ℝ
Y los tiempos medios de absorción como:
−𝟏
𝒎= 𝑰−ℚ 𝟏

Donde ℚ es la matriz de probabilidades de transición de estados transientes

y ℝ una matriz de probabilidades transientes de estados transientes a
conjunto de estados cerrados y 1 es un vector unitario.
Ejemplo:

2. Dada la siguiente matriz de transición de una cadena de markov con

los siguientes estados:

a) Analizar si es ergódica.

b) Hallar la matriz 𝑷𝒏

c) Hallar t y T utilizando 𝑷𝒏

d) Hallar los tiempos medios de recurrencia

(3) (3)
e) Hallar 𝑓22 y 𝑓12
Solución:
a) Analizando si es ergódica
Para 𝑬𝟏
𝟏 𝟐 𝟑 𝟒
𝒑𝟏𝟏 >𝟎, 𝒑𝟏𝟏 >𝟎 , 𝒑𝟏𝟏 >𝟎 , 𝒑𝟏𝟏 > 𝟎 ,……

𝒅𝟏 = 𝑴𝑪𝑫 𝟏, 𝟐, 𝟑, … = 𝟏 ⇒ 𝑬𝟏 𝒆𝒔 𝒂𝒑𝒆𝒓𝒊ó𝒅𝒊𝒄𝒐
Para 𝑬𝟐
𝟏 𝟐 𝟑 𝟒
𝒑𝟐𝟐 =𝟎, 𝒑𝟐𝟐 >𝟎 , 𝒑𝟐𝟐 >𝟎 , 𝒑𝟐𝟐 > 𝟎 ,……

𝒅𝟐 = 𝑴𝑪𝑫 𝟐, 𝟑, 𝟒, … = 𝟏 ⇒ 𝑬𝟐 𝒆𝒔 𝒂𝒑𝒆𝒓𝒊ó𝒅𝒊𝒄𝒐
∴ 𝑃 𝑒𝑠 𝑎𝑝𝑒𝑟𝑖ó𝑑𝑖𝑐𝑜
Ahora se debe probar si P es recurrente no nulo
P es recurrente no nulo porque forma un solo conjunto cerrado, por lo
tanto, es recurrente no nulo.
∴ 𝑷 𝒆𝒔 𝒆𝒓𝒈ó𝒅𝒊𝒄𝒂

𝜆 − 1/3 −2/3
b) 𝜆𝐼 − 𝑃 =
−1 𝜆
1 2
𝜆 𝜆− − =0
3 3

2
𝜆 2
𝜆 − − =0 𝝀𝑰 − 𝑷 𝒙 = 𝟎
3 3
2
𝜆1 = 1 , 𝜆2 = −
3
Para 𝝀𝟏 = 𝟏

2 Τ3 − 2Τ3 𝑥1 0
−1 1 𝑥2 = 0

2 2 2 2
𝑥1 − 𝑥2 = 0 𝑥1 = 𝑥2
3 3 3 3
−𝑥1 + 𝑥2 = 0 𝑥1 = 𝑥2 ⇒ 𝑥1 = 𝑡

𝑥1 = 𝑥2 ; 𝑠𝑒𝑎 𝑥2 = 𝑡 𝑥1 𝑡 1
𝑥2 = 𝑡 = 𝑡 1
𝑥1 = 𝑡
 𝟐
Para 𝝀𝟐 = −
𝟑

−1 − 2Τ3 𝑥1 0
𝑥2 =
−1 − 2Τ3 0

𝟐
−𝒙𝟏 − 𝒙𝟐 = 𝟎
𝟑
𝒙𝟏 − 𝟐Τ𝟑 𝒕 − 𝟐Τ𝟑
𝟐 𝒙𝟐 = 𝒕
=𝒕
𝟏
, 𝒔í 𝒕 = 𝟑
−𝒙𝟏 − 𝒙𝟐 = 𝟎
𝟑
𝒙𝟏 −𝟐
𝟐 𝒙𝟐 =
𝒙𝟏 = − 𝒙𝟐 ; 𝒔𝒆𝒂 𝒙𝟐 = 𝒕 𝟑
𝟑

𝟐
𝒙𝟏 = − 𝒕
𝟑
 1 −2 −1 3/5 2/5
Luego 𝐻= ; 𝐻 =
1 3 −1/5 1/5

𝑷 = 𝑯∆𝑯−𝟏
Para la matriz 𝑃𝑛
𝑷𝒏 = 𝑯∆𝒏 𝑯−𝟏
𝟏 −𝟐 𝟏 𝟎 𝟑Τ𝟓 𝟐Τ𝟓
= 𝒏
𝟏 𝟑 𝟎 − 𝟐Τ𝟑 − 𝟏Τ𝟓 𝟏Τ𝟓
1 −2 − 2Τ3 𝑛 3Τ5 2Τ5
=
1 3 − 2Τ3 𝑛 − 1Τ5 1Τ5

Luego la matriz 𝑃𝑛 será:

 𝒏 𝒏
𝟑 𝟐 𝟐 𝟐 𝟐 𝟐
+ − − −
𝟓 𝟓 𝟑 𝟓 𝟓 𝟑
𝑷𝒏 = 𝒏 𝒏
𝟐 𝟐 𝟐 𝟐 𝟐 𝟐
− − − −
𝟓 𝟓 𝟑 𝟓 𝟓 𝟑
3/5 2/5
c) 𝑇 = lim 𝑃 =
𝑛
∴ 𝑡 = 3Τ5 2Τ5
𝑛→∞ 3/5 2/5

1
d) P es aperiódico 𝜇𝑗 =
𝑡𝑖

1 1 5 1 1 5
𝜇1 = = = <∞ 𝜇2 = = = <∞
𝑡1 3Τ5 3 𝑡2 2Τ5 2

Por lo tanto, P es recurrente no nulo

e) Ejercicio

3) El funcionamiento de un automóvil puede considerarse como una

cadena de markov finita, con los siguientes estados y matriz de
transición:

E: Excelente funcionamiento.

B: Buen funcionamiento.

R: Regular funcionamiento.

N: No funciona.

a) Determine la matriz de probabilidad de absorción.

b) Determine los tiempos medios de absorción.

Solución:

a)
𝑻 = {𝐄, 𝐁, 𝐑}

𝑪= 𝑵

Matriz de
Matriz de estados probabilidades
transientes transientes
Se debe hallar F y m

−𝟏 −𝟏
𝑭= 𝑰−ℚ ℝ 𝒎= 𝑰−ℚ 𝟏

𝟓 𝟕Τ𝟑 𝟒Τ𝟑 𝟓 𝟕Τ𝟑 𝟒Τ𝟑 𝟎 𝟏

−𝟏
𝑰−ℚ = 𝟎 𝟕Τ𝟑 𝟒Τ𝟑 𝑭 = 𝟎 𝟕Τ𝟑 𝟒Τ𝟑 𝟏Τ𝟕 = 𝟏
𝟎 𝟎 𝟐 𝟎 𝟎 𝟐 𝟏Τ 𝟐 𝟏

b) 5 7Τ3 4Τ3 1 26Τ3 8,67 𝐸

𝑚 = 0 7Τ3 4Τ3 1 = 11Τ3 = 3,67 = 𝐵
0 0 2 1 2 2 𝑅

Tarea!!! Interpretar los resultados