UNIVERSIDAD DE EL SALVADOR EN LÍNEA

FACULTAD DE INGENIERÍA Y ARQUITECTURA

MÉTODOS PROBABILÍSTICOS
Página 1 de 10

MÉTODOS PROBABILÍSTICOS
UNIDAD III: Introducción a los procesos estocásticos.
Temas
3.8 Cadenas de Markov con estados ergódicos.

OBJETIVO DE LA UNIDAD
Calcular diversas probabilidades de los procesos estocásticos usando una
herramienta computacional.

INTRODUCCIÓN
En esta oportunidad estudiamos el caso de cadenas de Markov, con estados
pertenecientes a una sola clase, en la que todos los estados se comunican consigo
mismos. Las implicaciones inmediatas son que, dado que solo hay una clase, el proceso
nunca la abandona. Sin embargo, surgen casos muy interesantes de estudiar, como el de
considerar uno de los estados de la clase como recurrente para investigar probabilidades
de primera pasada. Y se estudia también un método alternativo de calcular la matriz de
probabilidades de transición en n pasos.

3.8. CADENAS DE MARKOV CON ESTADOS ERGÓDICOS

Para iniciar el tema introducimos un ejemplo:

Suponga que un proceso estocástico tiene la siguiente matriz de probabilidades

de transición:
0 1 2
0 0.2 0.2 0.6
𝑃 = 1 [0.3 0.4 0.3]
2 0.3 0.5 0.2

Resulta evidente que el Chibolograma es el siguiente:

0 1 2

Este material ha sido proporcionado al estudiante en el marco de su formación a través de una carrera en
línea en la Universidad de El Salvador. Se han respetado los derechos de autor para su elaboración. El debido uso del
mismo es responsabilidad del estudiante.
 UNIVERSIDAD DE EL SALVADOR EN LÍNEA
FACULTAD DE INGENIERÍA Y ARQUITECTURA
MÉTODOS PROBABILÍSTICOS
Página 2 de 10

Como puede verse todos los estados se comunican entre sí y, además, cada
estado tiene retorno sobre sí mismo. Esto hace que los estados sean aperiódicos, y por
ende la clase también lo es. Y al ser un proceso estocástico con una sola clase, es
irreducible. Que son todas las características requeridas para que se denomine clase
“ergódica”.

Definición de cadena de Markov finita irreducible y con estados ergódicos:

Una cadena de Markov es finita si su espacio de estados es finito, es irreducible si solo
cuenta con una sola clase de equivalencia y es ergódica si es tal que cada estado es
aperiódico y no posee ni estados transitorios, ni absorbentes.

Uno de los primeros resultados es tratar de obtener la matriz 𝑃(𝑛) .

Lo inmediato usando Scilab, es realizar el producto matricial, por ejemplo, en

el caso anterior, si deseamos obtener 𝑃(3) , 𝑃(5) , 𝑃(12) .

Usando Scilab se tendría que emitir los siguientes comandos:

--> p=[0.2,0.2,0.6;0.3,0.4,0.3;0.3,0.5,0.2]
p=

0.2 0.2 0.6

0.3 0.4 0.3
0.3 0.5 0.2

--> p3=p^3
p3 =

0.272 0.374 0.354

0.273 0.382 0.345
0.273 0.383 0.344

--> p5=p^5
p5 =

0.27272 0.38006 0.34722

0.27273 0.3802 0.34707
0.27273 0.38021 0.34706

Este material ha sido proporcionado al estudiante en el marco de su formación a través de una carrera en
línea en la Universidad de El Salvador. Se han respetado los derechos de autor para su elaboración. El debido uso del
mismo es responsabilidad del estudiante.
 UNIVERSIDAD DE EL SALVADOR EN LÍNEA
FACULTAD DE INGENIERÍA Y ARQUITECTURA
MÉTODOS PROBABILÍSTICOS
Página 3 de 10

--> p12=p^12
p12 =

0.2727273 0.3801653 0.3471074

0.2727273 0.3801653 0.3471074
0.2727273 0.3801653 0.3471074

Existe un procedimiento alternativo, usando la teoría matemática que sustenta

estos tópicos.

Definición de eigenvalores: Si 𝑃 es una matriz de orden 𝑚 × 𝑚, se definen los

eigenvalores de 𝑃, como aquellos números 𝜆, para los cuales la ecuación característica
𝑃𝑋 = 𝜆𝑋 tiene una solución 𝑋 ≠ 0.
Definición de eigenvector derecho: El vector columna 𝑋 se llama el eigen
vector derecho perteneciendo al eigenvalor 𝜆, basados en el hecho que la 𝑋 multiplica
por el lado derecho en 𝑃𝑋 = 𝜆𝑋.
Definición de eigenvalor izquierdo: Se define el vector fila 𝑌, el eigenvector
izquierdo perteneciendo al eigenvalor 𝜆, basados en el hecho que la 𝑌 multiplica por
el lado izquierdo en 𝑌𝑃 = 𝜆𝑌.
Los eigenvalores se obtiene resolviendo la ecuación determinante:
|𝜆𝐼 − 𝑃| = 0
Cuando los 𝑚 eigenvalores de 𝑃 son todos distintos entre sí, se pueden
obtener 𝑚 eigenvectores independientes y 𝑚 eigenvectores izquierdos linealmente
independientes perteneciendo a dichos eigenvalores distintos.

Sea 𝑄 la matriz no singular [𝑋1 , 𝑋2 , … , 𝑋𝑚 ], formada de todos los 𝑚 vectores

columna eigenvectores derechos pertenecientes a los 𝑚 eigenvalores 𝜆1 , 𝜆2 , ⋯ , 𝜆𝑚 .

Entonces se puede escribir: 𝑃𝑋𝑗 = 𝜆𝑗 𝑋𝑗 de tal forma que 𝑃𝑄 = 𝑄Λ y

𝜆1 ⋯ 0
−1
𝑄 𝑃𝑄 = Λ donde Λ es la matriz diagonal [ ⋮ ⋱ ⋮ ]
0 ⋯ 𝜆𝑚
Resulta ser que 𝑄 −1 es la matriz no singular compuesta de los 𝑚 eigenvectores
izquierdos linealmente independientes 𝑌1 , 𝑌2 , ⋯ , 𝑌𝑚 como vectores fila.

Cuando se cumple 𝑄 −1 𝑃𝑄 = Λ se dice que la matriz 𝑃 esta diagonalizada.

De esta última relación se obtiene que 𝑃 = 𝑄Λ𝑄 −1.
Si continuamos multiplicando se obtiene: 𝑃2 = (𝑄Λ𝑄 −1 )(𝑄Λ𝑄−1 ) = 𝑄Λ2 𝑄 −1.
Y así sucesivamente hasta que concluimos que 𝑃𝑛 = 𝑄Λ𝑛 𝑄 −1
Aquí,
Este material ha sido proporcionado al estudiante en el marco de su formación a través de una carrera en
línea en la Universidad de El Salvador. Se han respetado los derechos de autor para su elaboración. El debido uso del
mismo es responsabilidad del estudiante.
 UNIVERSIDAD DE EL SALVADOR EN LÍNEA
FACULTAD DE INGENIERÍA Y ARQUITECTURA
MÉTODOS PROBABILÍSTICOS
Página 4 de 10

𝜆1𝑛 ⋯ 0
Λ𝑛 = [ ⋮ ⋱ ⋮ ].
0 ⋯ 𝜆𝑛𝑚

Resumiendo los pasos anteriores se tiene el siguiente algoritmo:

1. Se Determinan los eigenvalores de 𝑃 resolviendo la ecuación determinante

|𝜆𝐼 − 𝑃| = 0
Si los eigenvalores son todos distintos, seguimos, de otra manera, paramos
(en este último caso se deberá usar la forma canónica de Jordan, contenido
que no se estudia en este curso).

2. Si los 𝜆𝑖 (𝑖 = 1, 2, … , 𝑚) son distintos, entonces se obtienen los 𝑚

vectores columna 𝑋1 , 𝑋2 , ⋯ , 𝑋𝑚 correspondientes a los 𝑚 eigenvalores
resolviendo las ecuaciones del tipo 𝑃𝑋 = 𝜆𝑋 . Y determinando de esta
forma:
𝑄 = [𝑋1 , 𝑋2 , ⋯ , 𝑋𝑚 ]
−1
3. Obtener 𝑄 .
4. Obtener 𝑃𝑛 = 𝑄Λ𝑛 𝑄 −1.

Se ilustra este proceso por medio de un ejemplo de un caso de orden 2 × 2:

0.0 1.0
Sea 𝑃 = [ ] Encuentre un formato general para el cálculo de 𝑃(𝑛)
0.5 0.5
usando la teoría de los eigenvalores y eigenvectores, dejando su respuesta en términos
de 𝑛.
Usando Scilab se usa la función spec() para el cálculo de los eigenvalores:

--> P = [0.0,1.0;0.5,0.5]
P=
0.0 1.0
0.5 0.5

--> L=spec(P)
L=
-0.5
1.

La forma tradicional usando las transformaciones de las matrices relaciones

resulta de resolver la ecuación característica:
𝜆 0 0.0 1.0
|[ ]−[ ]| = 0
0 𝜆 0.5 0.5

Este material ha sido proporcionado al estudiante en el marco de su formación a través de una carrera en
línea en la Universidad de El Salvador. Se han respetado los derechos de autor para su elaboración. El debido uso del
mismo es responsabilidad del estudiante.
 UNIVERSIDAD DE EL SALVADOR EN LÍNEA
FACULTAD DE INGENIERÍA Y ARQUITECTURA
MÉTODOS PROBABILÍSTICOS
Página 5 de 10

Resultando 𝜆2 − 0.5𝜆 − 0.5 = 0, que al resolverla nos genera los eigenvalores

cuyos valores son 𝜆1 = 1 y 𝜆2 = −0.5.

Ahora se procede a encontrar los eigenvectores derechos, los cuales tendrán

en este caso de orden 2 × 2 las formas siguientes:
𝑥11 𝑥21
𝑋1 = [𝑥 ] y 𝑋2 = [𝑥 ].
12 22

Para lo cual se usa la fórmula: 𝑃𝑋𝑗 = 𝜆𝑗 𝑋𝑗 para cada eigenvalor, así, cuando
𝑗 = 1:
0.0 1.0 𝑥11 𝑥11
[ ] [𝑥 ] = 1 ∗ [𝑥 ]
0.5 0.5 12 12
Resultando que los valores 𝑥11 = 𝑥12 . En este caso la solución viene de asignar
un valor a una variable e inmediatamente por defecto la otra variable toma el mismo
valor. Por ejemplo, si se asigna 𝑥11 = 1
El valor de 𝑥12 = 1.

Para el caso de 𝜆2 = −0.5, se resuelve el sistema:

0.0 1.0 𝑥21 𝑥21

[ ] [𝑥 ] = −0.5 [𝑥 ]
0.5 0.5 22 22

𝑂𝑏𝑡𝑒𝑛𝑖é𝑛𝑑𝑜𝑠𝑒: 𝑥22 = −0.5𝑥21 como la única ecuación. De nuevo se obtiene

una ecuación y dos incógnitas, por lo que el sistema solo es soluble si le da valor a una
variable y luego a partir de allí se encuentra el valor de la otra variable.
Si 𝑥21 = 1, entonces 𝑥22 = −0.5.

Pasamos a hora a formar el vector 𝑄:

𝑥11 𝑥21 1 1
𝑄 = [𝑥 𝑥22 ] = [1 ]
12 −0.5

Obteniéndose entonces 𝑄 −1 como sigue:

--> q = [1,1;1,-0.5]
q=
1. 1.
1. -0.5

--> qi = inv(q)
qi =

Este material ha sido proporcionado al estudiante en el marco de su formación a través de una carrera en
línea en la Universidad de El Salvador. Se han respetado los derechos de autor para su elaboración. El debido uso del
mismo es responsabilidad del estudiante.
 UNIVERSIDAD DE EL SALVADOR EN LÍNEA
FACULTAD DE INGENIERÍA Y ARQUITECTURA
MÉTODOS PROBABILÍSTICOS
Página 6 de 10

0.3333333 0.6666667
0.6666667 -0.6666667

Procedemos entonces a calcular 𝑃𝑛 = 𝑄Λ𝑛 𝑄 −1.

1 1 (1)𝑛 0 0.3333333 0.6666667
𝑃(𝑛) = [ ][ 𝑛] [ ]
1 −0.5 0 (−0.5) 0.6666667 −0.6666667

Así en los casos de 𝑛 = 3 , 𝑛 = 7 𝑦 𝑛 = 12 se tiene:

--> 𝑝3 = 𝑞 ∗ 𝐿𝑛 ∗ 𝑞𝑖
p3 =
0.25 0.75
0.375 0.625

Que resulta ser el mismo resultado de elevar la matriz 𝑃 al cubo (verifíquelo en

Scilab).
Entonces en el cálculo para cuando 𝑛 = 7 y cuando 𝑛 = 12 solo se debe
sustituir en la matriz 𝐿𝑛, por el valor de 𝑛 respectivo. Se le deja como ejercicio que
realice los cálculos y que verifique sus resultados en Scilab elevando la matriz 𝑃 a la
potencia calculada.
Esta teoría es aplicable a cualquier matriz irreducible y aperiódica de cualquier
orden.

Ahora supongamos que se desea en una matriz de este tipo, donde solo hay
una clase y que todos los estados se comunican entres í, cual es la probabilidad de
pasar por primera vez a un estado de la clase en particular.

Esto se conoce como probabilidades de primera pasada a dicho estado. Como

ya se vio en la teoría donde se presenta clases transitorias y recurrentes, una vez que
se abandona la clase transitoria ya no se vuelve a ella, y si la clase recurrente a la que
se pasa es un estado absorbente, entonces ya no se sale de él. Este hecho se puede
usar en los caos donde solo hay una sola clase, simulando que el estado al cual se desea
examinar las probabilidades de transición por primera vez a él, sea considerado como
si fuera un estado absorbente.

Para hacer esto se hace necesario cambiar la fila de las probabilidades que
corresponden a dicho estado únicamente y, convertir a dicho estado en un estado
absorbente, haciendo que el resto de estados de la matriz se conviertan en
transitorios.

Al realizar este cambio, ya se puede aplicar la teoría de casos con dos o más
clases de equivalencia (con estados recurrente y transitorios) y proceder al cálculo de
Este material ha sido proporcionado al estudiante en el marco de su formación a través de una carrera en
línea en la Universidad de El Salvador. Se han respetado los derechos de autor para su elaboración. El debido uso del
mismo es responsabilidad del estudiante.
 UNIVERSIDAD DE EL SALVADOR EN LÍNEA
FACULTAD DE INGENIERÍA Y ARQUITECTURA
MÉTODOS PROBABILÍSTICOS
Página 7 de 10

la matriz 𝐹 = 𝑀 × 𝑅, siendo 𝑀 la matriz fundamental y 𝑅la matriz de probabilidades

que transitan de los transitorios a los recurrentes (al único estado absorbente en este
caso).

Haremos la presentación de este artificio, con el siguiente ejemplo:

Ejemplo: Con frecuencia, los sistemas aumentan su confiabilidad usando

componentes redundantes. Considere un sistema mantenido, que contiene cuatro
componentes en paralelo. Asumamos que para que el sistema sea exitoso, al menos
uno de los cuatro componentes debe estar funcionando. El sistema se inspecciona
cada 5 minutos, y si en dicho punto se detecta una falla en cualquiera de sus
componentes, se inicia inmediatamente la reparación. Dado que el sistema se
inspecciona cada 5 minutos por simplicidad omitimos el hecho que un componente
que se repara en dicho período pueda volver a fallar dentro del mismo período.
Suponga que las condiciones son tales que se pueda establecer una cadena de Markov
con el número de componentes operando como el espacio de estados y los puntos de
observación como ya se dijo cada 5 minutos. Suponga además que de la observación
del sistema por un largo período de tiempo, se tiene la siguiente matriz de
probabilidades de transición:

0 1 2 3 4
0 0.13 0.34 0.35 0.15 0.03
1 0.02 0.24 0.42 0.26 0.06
𝑃 = 2 0.00 0.07 0.38 0.42 0.13
3 0.00 0.03 0.15 0.53 0.29
4 [0.00 0.00 0.05 0.29 0.66]

Note que el espacio de estado incluye el estado 0, que significa que ningún
componente está trabajando. Al observar la matriz de probabilidades de transición se
observa que todos los estados se comunican entre sí y que forman una sola clase de
equivalencia, es decir, que se tiene una cadena de Markov irreducible y aperiódica, por
ende, de estados ergódicos.

Ahora suponga que se está interesado en conocer la probabilidad de quedarse

sin funcionar el sistema por primera vez.

Entonces se convierte el estado 0, a ser un estado absorbente, dejando todos

los demás estados con sus respectivas probabilidades. Así, se puede aplicar la teoría y
usar la matriz 𝐹 = 𝑀 × 𝑅 , siendo 𝑀 la matriz fundamental y 𝑅 la matriz de
probabilidades que transitan de los transitorios al único estado absorbente en este
caso. Se tendría la siguiente matriz escrita en forma canónica:

Este material ha sido proporcionado al estudiante en el marco de su formación a través de una carrera en
línea en la Universidad de El Salvador. Se han respetado los derechos de autor para su elaboración. El debido uso del
mismo es responsabilidad del estudiante.
 UNIVERSIDAD DE EL SALVADOR EN LÍNEA
FACULTAD DE INGENIERÍA Y ARQUITECTURA
MÉTODOS PROBABILÍSTICOS
Página 8 de 10

0 1 2 3 4
0 1.00 0.00 0.00 0.00 0.00
1 0.02 0.24 0.42 0.26 0.06
𝑃(𝐶𝐴𝑁) = 2 0.00 0.07 0.38 0.42 0.13
3 0.00 0.03 0.15 0.53 0.29
4 [0.00 0.00 0.05 0.29 0.66]

En este caso, se debe encontrar la matriz fundamental 𝑀 a partir de la matriz

𝑄 identificada de la matriz anterior. Y luego calcular 𝐹 = 𝑀 × 𝑅.

Así: 1 2 3 4
1 0.24 0.42 0.26 0.06
𝑄 = 2 [0.07 0.38 0.42 0.13]
3 0.03 0.15 0.53 0.29
4 0.00 0.05 0.29 0.66

0
1 0.02
𝑅 = 2 [0.00]
3 0.00
4 0.00
1 2 3 4
1 50.0 246.61 657.91 664.27
𝑀 = (𝐼 − 𝑄)−1 = 2 [50.0 253.68 674.75 681.34]
3 50.0 252.73 676.97 682.87
4 50.0 252.87 676.66 685.59

0
1 1
𝐹 = 2 [1]
3 1
4 1

Como puede verse, la probabilidad de que del estado 1, el 2, el 3 y el 4 pase al

estado 0 es 1. Lo que significa que es cierta la probabilidad de pasar del estado 1, 2 3,
ó 4 al estado 0.
Cuando una probabilidad es 1, se dice que es cierta (que siempre se da), cuando
una probabilidad es 0, se dice que es nula o que no se puede dar.
Este mismo artificio se puede usar para evaluar cualquier conjunto de estados
de una clase ergódica irreducible.

Este material ha sido proporcionado al estudiante en el marco de su formación a través de una carrera en
línea en la Universidad de El Salvador. Se han respetado los derechos de autor para su elaboración. El debido uso del
mismo es responsabilidad del estudiante.
 UNIVERSIDAD DE EL SALVADOR EN LÍNEA
FACULTAD DE INGENIERÍA Y ARQUITECTURA
MÉTODOS PROBABILÍSTICOS
Página 9 de 10

3.9. SECCIÓN DE EJERCICIOS.

1. Dependiendo del nivel de agua en un reservorio, los prospectos para suplir agua a partir de
él se clasifican como sigue:
a. Menos de ¼ de lleno Nivel crítico (C).
b. Entre ¼ y ½ de lleno Nivel Bajo (B).
c. Entre ½ y ¾ de lleno Nivel Medio (M).
d. Entre ¾ y 19/20 de lleno Nivel Excelente (E).
e. Más de 19/20 Nivel Abundante (A).

De datos existente se conoce que la siguiente matriz de probabilidades de transición

representa la situación sobre un período de observación:

C B M E A
𝐶 0.1 0.1 0.3 0.5 0.0
𝐵 0.3 0.2 0.2 0.2 0.1
𝑃 = 𝑀 0.1 0.2 0.4 0.2 0.1
𝐸 0.0 0.1 0.2 0.4 0.3
𝐴 [0.0 0.1 0.1 0.4 0.4]

Calcular la probabilidad de llegar al nivel crítico por primera vez.

2. Para la matriz de probabilidades de transición dada al inicio de la sección 3.8, página 1, use
la metodología de los eigenvalores y eigenvectores para calcular los valores de 𝑃3 , 𝑃5 , 𝑃12 y
compárelos con los resultados mostrados en las páginas 2 y 3.

3.10. BIBLIOGRAFÍA
1. Solomon. F. (1987) Probability and Stochastic Processes. New Jersey, USA. Prentice Hall
Inc.
2. Bhat, U.N. & Miller, G. K. (2002) Elements of applied Stochastic Processes. New York, USA.
Wiley-Interscience, John Wiley & Sons, Inc.
3. Bailey, N. T. J. (1964) The Elements of Stochastic Processes, with applications to the
natural sciences. New York, USA. John Wiley & Sons, Inc.
4. Žitkcović, G. (2010) Introduction to Stochastic Processes – Lecture Notes. Austin, Texas,
USA. Department of Mathematics. The University of Texas.
5. Taylor, H.M. & Karlin, S. (1998) An Introduction to Stochastic Modeling. New York, USA.
Academic Press.
Este material ha sido proporcionado al estudiante en el marco de su formación a través de una carrera en
línea en la Universidad de El Salvador. Se han respetado los derechos de autor para su elaboración. El debido uso del
mismo es responsabilidad del estudiante.
 UNIVERSIDAD DE EL SALVADOR EN LÍNEA
FACULTAD DE INGENIERÍA Y ARQUITECTURA
MÉTODOS PROBABILÍSTICOS
Página 10 de 10

6. Knill, O. (2009) Probability and Stochastic Processes with Applications. New Delhi, India.
Overseas Press India Private Limited.
7. Ross S. M. (1996) Stochastic Processes. New York, USA, John Wiley and Sons, Inc.
8. Wolf, R. W. (1989) Stochastic Modeling and the Theory of Queues. New Jersey, USA.
Prentice Hall Inc.
9. Yates, R. D. & Goodman, D. J. (1983) Probability and Stochastics Processes. New York,
USA. John Wiley and Sons, Inc.

GLOSARIO

Definición de eigenvalores: Si 𝑃 es una matriz de orden 𝑚 × 𝑚, se definen los eigenvalores

de 𝑃, como aquellos números 𝜆, para los cuales la ecuación característica 𝑃𝑋 = 𝜆𝑋 tiene una
solución 𝑋 ≠ 0.
Definición de eigenvector derecho: El vector columna 𝑋 se llama el eigen vector derecho
perteneciendo al eigenvalor 𝜆, basados en el hecho que la 𝑋 multiplica por el lado derecho en
𝑃𝑋 = 𝜆𝑋.
Definición de eigenvalor izquierdo: Se define el vector fila 𝑌 , el eigenvector izquierdo
perteneciendo al eigenvalor 𝜆, basados en el hecho que la 𝑌 multiplica por el lado izquierdo
en 𝑌𝑃 = 𝜆𝑌.
Definición de cadena de Markov finita irreducible y con estados ergódicos: Una cadena de
Markov es finita si su espacio de estados es finito, es irreducible si solo cuenta con una sola clase
de equivalencia y es ergódica si es tal que cada estado es aperiódico y no posee ni estados
transitorios, ni absorbentes.

Este material ha sido proporcionado al estudiante en el marco de su formación a través de una carrera en
línea en la Universidad de El Salvador. Se han respetado los derechos de autor para su elaboración. El debido uso del
mismo es responsabilidad del estudiante.