Cadena de Markov

Cadena de Markov
Ebert Brea*
Investigación de Operaciones

Escuela de Ingeniería Industrial, Facultad de Ingeniería

Universidad Católica Andrés Bello.

Caracas, 10 de junio de 2019

Resumen
Los sistemas en general son estructuras muy complejas, los cuales están sometidos, por su
complejidad, a procesos que modifican sus cantidades con el transcurrir del tiempo, y a procesos
aleatorios. Estos procesos combinados son los denominados procesos estocásticos. Este artículo,
presenta una muy breve introducción a los procesos estocásticos definidos en el dominio discreto, el
cual su contexto podría representar el tiempo discreto o iteraciones de un proceso computacional, en
donde sus iteraciones podrían ser vista como eventos aleatorias que son definidos en cada iteración,
obviamente en el dominio discreto.
Palabras claves: cadena de Markov, cadena estocástica, proceso estocásticos.

Contenido
Introducción 2

1. Definiciones preliminares 2

2. Cadena de Markov 3

3. Taxonomía de estados en una cadena 5

4. Probabilidad absoluta 5

5. Un no trivial simple ejemplo 6

6. Ejercicios para el lector 9

Referencias 10

* Email: [email protected]

1
 Ebert Brea

Introducción
El estudio de los procesos estocásticos y de las cadenas estocásticas exige por parte del lector, un
sólido conocimiento de probabilidades, debido al hecho de que son sistemas cuyas cantidades están
definidas por medio de probabilidades de eventos.
Este documento, presenta una muy breve introducción a las cadenas de Markov, y en particular,
cadenas de Markov con probabilidades de transición homogéneas o también conocido como estacio-
narias, es decir, las probabilidades de ir de un estado a otro, o al mismo estado son independientes del
instante discreto n ∈ Z en que ocurren (Hoel etãl., 1972). No obstante, existen situaciones en donde los
sistemas deben ser estudiado bajo en enfoque de cadenas de Markov no homogéneas. Un ejemplo de
aplicación en estas situaciones se puede apreciar en los trabajos de Brea (2015, 2016), quien presenta
un estudio riguroso de su algoritmo, llamado Mixed Integer Randomized Pattern Search Algorithm, a
través de una cadena de Markov con probabilidades de transición no homogéneas.
La estructura de este breve artículo es la siguiente: en la Sección 1 se presentan un conjunto de
definiciones básicas, las cuales permitirá al lector a introducirse en el tema; la Sección 2 presenta de
modo muy resumido el significado de cadena de Markov; una básica taxonomía de los estados que
pueden estar presente en una cadena estocástica es presentada en la Sección 3; en la Sección 4 se
define el significado de probabilidad absoluta o llanada también probabilidad total; un simple ejemplo,
pero no trivial es mostrado en la Sección 5 con el propósito de mostrar los cálculos y conceptos que
deben ser aplicados en el estudio de cadenas de Markov; finalmente, el autor propone en la Sección
6 dos problemas muy básicos de una cadena de Markov de tres estados, con el propósito de que sean
desarrollados por el lector.

1. Definiciones preliminares
En esta sección se enunciarán un conjunto de definiciones que permitirán introducir al lector en el
tema de cadena estocásticas, y en particular cadena de Markov. Algunos de estas definiciones fueron
tomadas de Hoel etãl. (1972).

Definición 1 (Variable de estado) Se dice que una variable de un sistema constituye ser una variable
de estado, si ésta permite definer o caracterizar el sistema.

Definición 2 (Estado de sistema) Sea un sistema S, el cual puede ser descrito por un conjunto de
variables de estado, y cuyos valores permiten definir el sistema. Entonces, los valores que pueden
tomar las variables de estado definen el estado del sistema.

Definición 3 (Proceso estocástico) Sea X(ξ,t) una variable aleatoria, la cual depende de: eventos ξ
y de una variable t ∈ R. Entonces, se dice que la cantidad X(ξ,t) representa un proceso estocástico,
y que usualmente es denotada por X(t) ó Xt .

Definición 4 (Cadena estocástica) Se dice que un proceso estocástico es considerado una cadena
estocástica si su variable aleatoria X(ξ,t) está definida en instantes discretos de t, es decir, si t ∈ Z.
Es este caso, la cadena suele denotarse por X(n) ó Xn , es decir, su colección conforma un conjunto
numerable o contable, finito o infinito de estados.

La Definición 4 establece entonces, que una cadena puede estar definida por un conjunto {Xn }Nn=0 ,
donde N un número finito, o en el caso de ser un número infinito de estados, se denota por {Xn }∞
n=0 .

2
 Ebert Brea

Definición 5 (Distribución de primer orden) Se dice que para cada instante t ∈ R ó t ∈ Z, la variable
aleatoria X(ξ,t) tiene asociada una distribución probabilística llamada distribución de primer orden,
con función de densidad de probabilidad de primer orden fX(t) (x;t), la cual cumple con todas las
propiedades definidas para una función de densidad de probabilidad, esto es:

a) fX(t) (x;t) es de rango no negativo, es decir, fX(t) (x;t) ≥ 0;

R∞
b) el área bajo la función fX(t) (x;t) converge a uno, es decir, −∞ f X(t) (x;t)dx = 1.

Es oportuno apuntar que X(t), escrita con X mayúscula, representa la variable aleatoria, y x, escrita
con minúscula, la variable determinista, lo que permite definir la función de distribución acumulativa
de probabilidad, como

FX(t) (x;t) = P{X(t) ≤ x(t)}, ∀ − ∞ < x(t) < ∞; −∞ < t < ∞. (1)

Definición 6 (Distribución de n-ésino orden) Denote a X(ξ,t) como Xt para todo t ∈ R, si se describe
un proceso estocástico, o para todo t ∈ Z si se refiere de una cadena estocástica. Entonces, se dice que

fXt1 ,Xt2 ,...,Xtn (xt1 , xt2 , . . . , xtn ;t1 ,t2 , . . . ,tn ) : Rn × Rn → R, (2)

representa una distribución de n-ésino orden.

Observación 1 (Distribución de m-ésino orden en una cadena estocástica) Note que al referirse de
una cadena estocástica, ésta es denotada por Xn para todo n ∈ Z, y en consecuencia la distribución
probabilística de m-ésino orden, en la cadena estocástica es expresada por

fX1 ,X2 ,...,Xm (x1 , x2 , . . . , xm ; n1 , n2 , . . . , nm ) : Rm × Zm → R, (3)

Observación 2 (Propiedades de distribución de m-ésino orden) Note que todas las distribuciones
de m-ésino orden satisfacen las propiedades:

a) su función de densidad conjunta de las variables Xt1 , Xt2 , . . . , Xtm es de rango no negativo;

b) el hipervolumen bajo la función de densidad conjunta de las variables Xt1 , Xt2 , . . . , Xtm converge a
uno, es decir,
Z ∞ Z ∞ Z ∞
... fXt1 ,Xt2 ,...,Xtm (xt1 , xt2 , . . . , xtm ;t1 ,t2 , . . . ,tm )dxt1 dxt2 , . . . , dxtm = 1 (4)
Xt1 =−∞ Xt2 =−∞ Xtm =−∞

2. Cadena de Markov
Definición 7 (Cadena de Markov) Sea S = {Xn = xn }n∈Z una cadena estocástica. Se dice que S es
una cadena de Markov, si la probabilidad de visitar un estado en el actual instante discreto, únicamente
depende del estado próximo pasado. En términos matemáticos se tiene entonces que una cadena de
Markov cumple con

P{Xn = xn |Xn−1 = xn−1 , Xn−2 = xn−2 , . . . , X0 = x0 } = P{Xn = xn |Xn−1 = xn−1 }, ∀n ∈ Z. (5)

3
 Ebert Brea

La llanada probabilidad de transición, que en el caso de una cadena de Markov de un número finito
de estados {Xn }Nn=0 , significa la probabilidad de visitar el estado j en el instante discreto n, desde el
estado i, lo que ocurrió en el instante discreto n − 1, y que puede ser denotada por
(i j)
pn−1,n = P{Xn = j|Xn−1 = i}, ∀i ∈ {1, 2, . . . , n}, j ∈ {1, 2, . . . , n}, n ∈ {0, 1, . . . , N}. (6)

p(1,2) p(2,3) p(3,4) p(N−1,N)

1 2 3 4 ··· N −1 N

p(2,1) p(3,2) p(4,3) p(N,N−1)

p(1,1) p(2,2) p(3,3) p(4,4) p(N−1,N−1) p(N,N)

Figura 1. Representación en grafo de una cadena de Markov de N estados

En algunas oportunidades, la probabilidad de transición definida por la Ec. (6), será denotada, sin
que esto implique una pérdida de la generalidad que representa, como,

(i j)
pn = P{Xn = j|Xn−1 = i}, ∀i ∈ {1, 2, . . . , n}, j ∈ {1, 2, . . . , n}, n ∈ {0, 1, . . . , N}. (7)

Esta simplificación en la notación es debido a que en los procesos discretos, los eventuales cambios
en el sistema ocurren con incrementos del tiempo discreto de uno en uno.

Definición 8 (Matriz de transición) Sea una cadena de Markov de un número finito estados {Xn }Nn=1 .
Entonces, se define la matriz de transición de la cadena de Markov como
 (11) (12) (1N) 
pn,n+1 pn,n+1 · · · pn,n+1
 (21) (22) (2N) 

(i j)
 p
 n,n+1 pn,n+1 · · · p n,n+1 
Pn,n+1 = [pn,n+1 ]1≤i≤N,1≤ j≤N =  .. .. .
 , ∀n ∈ Z. (8)
 . . . 
 . . . . 
 
(n1) (n2) (NN)
pn,n+1 pn,n+1 · · · pn,n+1

Note que la matriz Pn,n+1 ∈ RN×N , puede en general ser variable del instante discreto n ∈ Z,
lo que implicaría que la cadena estocástica tiene probabilidades de transición no homogénea o no
estacionarias.

Definición 9 (Matriz de transición estacionaria) Una cadena estocástica homogénea posee una ma-
trix de transición estacionaria en sentido estricto, si

Pn,n+1 = [p(i j) ]1≤i≤N,1≤ j≤N ∀n ∈ Z, (9)

es decir, si sus probabilidades de transición no depende del instante discreto n.

4
 Ebert Brea

Observación 3 (Propiedades de la matriz P) Es preciso señalar que toda matriz de transición es tal
que:
N
∑ pn,n+1 = 1,
(i j)
∀i ∈ {1, 2, . . . , N}, n ∈ Z; (10a)
j=1

(i j)
pn,n+1 ≥ 0, ∀i, j ∈ {1, 2, . . . , N}, n ∈ Z. (10b)
Además, una cadena de Markov de infinitos estados tiene también de una matriz de transición
asociada de dimensión infinita.

3. Taxonomía de estados en una cadena

Los estados de una cadena estocástica o en general de un proceso estocástico pueden ser clasificados
de acuerdo con las características de las probabilidades de transición. En consecuencia, se tiene que
para una cadena estocástica de un número finito contable de estados N, esto es, S = {Xn = ℓ}Nn=0 , o de
un número infinito contable de estados, S = {Xn = ℓ}∞ n=0 , para todo ℓ ∈ Z, se puede afirmar que:

a) un estado ℓ ∈ S es considerado absorbente, si existe al menos un estado i ∈ S tal que la probabilidad

de visitar el estado ℓ es segura, esto es p(iℓ) = 1 para al menos un i ∈ S;

b) un estado ℓ ∈ S se dice ser transitorio, si se puede visitar otro estado i 6= ℓ, pero no se puede regresar
desde otro estado;

c) un estado ℓ ∈ S se dice ser recurrente, si la probabilidad de revisitar el estado ℓ es 1.

d) un estado ℓ ∈ S se dice ser periódico, y con período T > 0, si se puede revisitar el esta ℓ en instantes
(ℓℓ)
T, 2T, 3T, . . . , es decir, pn > 0, para todo n = kT , con k ∈ N.

Definición 10 (Conjunto cerrado) Sea una cadena estocástica de un número finito de estados nu-
merables N, esto es, S = {Xn = xn }Nn=0 , o de un número infinito de estados, S = {Xn = xn }∞ n=0 . Una
conjunto de estados en Sc ⊂ S, se dice ser cerrado, si al visitar un estado ℓ ∈ Sc , la probabilidad de
visitar un estado i ∈
/ Sc desde cualquier estado ℓ ∈ Sc es nula. En términos matemático,
(ℓi)
pn,n+1 = 0, ∀ℓ ∈ Sc , i ∈
/ Sc . (11)

La Definición 10 establece que Sc es un conjunto de estados absorbentes.

4. Probabilidad absoluta
Definición 11 (Probabilidad absoluta) Sea una cadena estocástica de un número finito y numerables
de estados N, esto es, S = {Xn = xn }Nn=0 , o de número infinito y numerables de estados, S = {Xn = xn }∞
n=0 .
Se define la probabilidad absoluta como la probabilidad de que la cadena permanezca en cada ℓ-ésimo
estado en el instante discreto η, lo que implica,

πη (ℓ) = p{Xη = ℓ} = ∑ p{Xη = ℓ, Xη−1 = i}, ∀n ∈ Z, ℓ ∈ S. (12)

i∈S

5
 Ebert Brea

Proposición 1 Sea S = {Xn = ℓ}Nℓ=1 una cadena de Markov de N finitos estados, y sea además
πn = (πn (1), . . . , πn (N))t definido en [0, 1]N el vector de probabilidad absoluta o también llamado
vector de probabilidad total. Entonces,

πtn = πtn−1 Pn , ∀n ∈ N, (13)

donde Pn representa la matriz de probabilidades de transición, y simplificando la notación sin que esto
pierda su significación, es definida por
h i
(i j)
Pn = pn , (14)
N×N

donde
(i j)
pn = p{Xn = j|Xn−1 = i}, ∀n ∈ N, (15)

Demostración. Sabemos que la probabilidad absoluta para cada ℓ-ésimo estado viene dada por
N N
πn (ℓ) = ∑ p{Xn = ℓ, Xn−1 = i} = ∑ p{Xn = ℓ|Xn−1 = i}p{Xn−1 = i}, (16)
i=1 i=1

lo que nos permita reescribirla como

N
πn (ℓ) = ∑ pn πn−1 (i),
(i j)
∀ℓ ∈ {1, . . . , N}, n ∈ N. (17)
i=1

Ecuación (16) nos permita entonces asegurar que πtn = πtn−1 Pn para todo n ∈ N.
La Definición 11 de la página 5, implica entonces que

πtη = (πη (xn1 ), πη (xn2 ), . . . , πη (xnk ), . . . ), ∀nk ∈ Z, k ∈ Z, ℓ ∈ S. (18)

La estimación de la probabilidad absoluta puede ser expresada entonces para una cadena de Markov
homogénea, mediante la ecuación de Chapman-Kolmogorov (Taha, 2012), la cual estable que

πt1 = πt0 P;
πt2 = πt1 P = πt0 P2 ;
πt3 = πt2 P = πt0 P3 ; (19)
..
.
πtn = πt0 Pn ,

donde Pn ∈ RN×N , para todo N ∈ N, es la llamada matriz de transición de n pasos, la cual puede ser
calculada mediante,
Pn = Pn−k Pk , ∀n ∈ N, 0 < k < n. (20)

5. Un no trivial simple ejemplo

Ejemplo 1 Considere la cadena de Markov definida por un conjunto de sólo dos estados, esto es,
S = {Xn = i, Xn = j}, la cual representa los dos posibles estados de un sistema: no funcionamiento
(estado Xn = 0) y funcionamiento (estado Xn = 1), para todo n ∈ Z. Estos estados pueden representar

6
 Ebert Brea

las condiciones de falla y funcionamiento de un equipo, en el cual el equipo tiene una probabilidad
de permanecer el falla, es decir, Xn = 0, en el instante n, y éste tiene una probabilidad de estar en
funcionamiento, Xn = 1, en ese mismo instante n.

p(0,1)

p(1,1)

0 1

p(0,0)

p(1,0)

Figura 2. Representación en grafo de una cadena de Markov de dos estados

(0,1)
La Fig. 2 muestra a través de un grafo una cadena de dos estados de Markov. Si la pn = α y la
(1,0)
pn = β para todo n ∈ Z, donde 0 < α < 1; y 0 < β < 1. Entonces, para la cadena de Markov de la
figura, se pide:

I) la matriz de transición de la cadena;

II ) probabilidad absoluta para cada estado y para todo n ∈ N empleando para eso la definición de
probabilidad total;

III ) probabilidad absoluta para cada estado y para todo n ∈ N empleando la matriz de transición.

Solución. Parte i) De acuerdo con la Observación 3 de la página 4, se puede afirmar que

(0,0) (0,1)
pn,n+1 + pn,n+1 = 1, ∀n ∈ Z; (21a)

(1,1) (1,0)
pn,n+1 + pn,n+1 = 1, ∀n ∈ Z. (21b)
En consecuencia, de las Ecs. 20, se obtiene que

1−α α
µ ¶
Pn,n+1 = , ∀n ∈ Z, (22)
β 1−β

lo que implica que para este específico problema, la cadena de Markov tiene probabilidad de transición
estacionaria, por cuanto la matriz de transición Pn,n+1 es invariante del instante discreto n ∈ Z.

Parte ii) Aplicando la definición de probabilidad absoluta o total, se tiene que

1
[
{Xn+1 = j} = {Xn = i, Xn+1 = j}, ∀ j ∈ {0, 1}, n ∈ Z (23)
i=0

7
 Ebert Brea

Como {Xn = i, Xn+1 = j} para cada i ∈ {0, 1}, y para todo j ∈ {0, 1} son mutuamente excluyentes,
se puede afirmar que
1
p{Xn+1 = j} = ∑ p{Xn = i, Xn+1 = j}, ∀ j ∈ {0, 1}, n ∈ Z, (24)
i=0

lo que arroja
1
p{Xn+1 = j} = ∑ p{Xn+1 = j|Xn = i}p{Xn = i}, ∀ j ∈ {0, 1}, n ∈ Z. (25)
i=0

(i, j)
Debido al hecho de que p{Xn+1 = j|Xn = i} = pn,n+1 , se tiene entonces que para todo n ∈ Z,

1 − α, ∀i = 0;
(
p{Xn+1 = 0|Xn = i} = (26a)
β, ∀i = 1,

α,
(
∀i = 0;
p{Xn+1 = 1|Xn = i} = (26b)
1 − β, ∀i = 1,
Al evaluar, la Ec. (24) con j = 0, se obtiene que

p{Xn+1 = 0} = p{Xn+1 = 0|Xn = 0}p{Xn = 0} + p{Xn+1 = 0|Xn = 1}p{Xn = 1} ∀n ∈ Z, (27)

que al aplicar la Ec. (25a), en la Ec. (26), se obtiene

p{Xn+1 = 0} = (1 − α)p{Xn = 0} + βp{Xn = 1} ∀n ∈ Z. (28)

Ahora, debido al hecho de que

p{Xn = 0} + p{Xn = 1} = 1 ∀n ∈ Z, (29)

se obtiene de la Ec. (27)

p{Xn+1 = 0} = (1 − α − β)p{Xn = 0} + β ∀n ∈ Z. (30)

Por inducción de la Ec. (29), se consigue

k
p{Xn+k = 0} = (1 − α − β)k p{Xn = 0} + β ∑ (1 − α − β)k−i ∀n ∈ N, k ∈ N. (31)
i=1

Por otra parte al emplear, la Ec. (24) con j = 1, se obtiene que

p{Xn+1 = 1} = p{Xn+1 = 1|Xn = 0}p{Xn = 0} + p{Xn+1 = 1|Xn = 1}p{Xn = 1} ∀n ∈ Z, (32)

que al aplicar la Ec. (25b), en la Ec. (31), se obtiene

p{Xn+1 = 1} = αp{Xn = 0} + (1 − β)p{Xn = 1} ∀n ∈ Z, (33)

8
 Ebert Brea

Ahora, tomando en cuenta la Ec. (28), se obtiene

p{Xn+1 = 1} = (1 − α − β)p{Xn = 1} + α ∀n ∈ Z, (34)

lo que al aplicar inducción, se llega a

k
p{Xn+k = 1} = (1 − α − β)k p{Xn = 1} + α ∑ (1 − α − β)k−i ∀n ∈ N, k ∈ N. (35)
i=1

Luego de un elemental procedimiento matemático, se tiene que

k
1 − (1 − α − β)k
∑ (1 − α − β)k−i = α+β
. (36)
i=1

Al aplicar, la Ec. (35) a las Ecs. (30) y (34), finalmente se obtiene

β
p{Xn+k = 0} = (1 − α − β)k p{Xn = 0} + (1 − (1 − α − β)k ) ∀n ∈ N, k ∈ N; (37a)
α+β
α
p{Xn+k = 1} = (1 − α − β)k p{Xn = 1} + (1 − (1 − α − β)k ) ∀n ∈ N, k ∈ N. (37b)
α+β
Note que p{Xn+k = 0} + p{Xn+k = 1} = 1 para todo n ∈ N, y k ∈ N, hecho que puede ser verificado
fácilmente al sumar las Ecs. (36a) y (36b).
Finalmente, al denotar la probabilidad absoluta o total de estar en el estado ℓ en el instante discreto
η como πη (ℓ) = p{Xη = ℓ}, se puede reexpresar las Ecs. (36), lo que arroja:

β
πn+k (0) = (1 − α − β)k πn (0) + (1 − (1 − α − β)k ) ∀n ∈ N, k ∈ N; (38a)
α+β
α
πn+k (1) = (1 − α − β)k πn (1) + (1 − (1 − α − β)k ) ∀n ∈ N, k ∈ N. (38b)
α+β

parte iii)
Sea π0 el vector de probabilidad absoluta, es decir,

πt0 = (p{X0 = 0}, p{X0 = 1}) = (π0 (0), 1 − π0 (0)). (39)

Por otra parte, sea P ∈ R2×2 la matriz de transición dada por

1−α α
µ ¶
P= . (40)
β 1−β

Entonces, al emplear la ecuación de Chapman-Kolmogorov, se tiene que para el instante discreto

n=1
1−α α
µ ¶
π1 = π0 P = (π0 (0), 1 − π0 (0))
t t
, (41)
β 1−β
lo que arroja al tomar en cuenta que π0 (0) + π0 (1) = 1

πt1 = πt0 P = (1 − α − β)π0 (0) − β , (1 − α − β)π0 (1) − α

¡ ¢
(42)

9
 Ebert Brea

Para obtener la probabilidad absoluta en el instante discreto n = 2, se debe aplicar πt2 = πt1 P, lo
que implica
¢ 1−α α
µ ¶
π2 = (1 − α − β)π0 (0) − β , (1 − α − β)π0 (1) − α
t
¡
, (43)
β 1−β

lo que permite comprobar los resultados mostrados en las Ecs. (37).

⊲⊳

6. Ejercicios para el lector

Sea una cadena de Markov de tres estados denotados como S = {ℓ}3ℓ=1 , la cual es mostrada en la
Fig. 3.

p(3,3)

p(1,3) p(3,2)

p(3,1) p(2,3)

p(1,2)

p(1,1) 1 2 p(2,2)

p(2,1)

Figura 3. Representación en grafo de una cadena de Markov de tres estados

Ejercicio 1 Para la cadena de Markov de la Fig. 3, estime las probabilidades absolutas, es decir, el
vector πn , si la matriz de transición viene dada por

α 1−α
 
0
P= β 0 1−β , (44)
γ 1−γ 0

donde 0 < α < 1; 0 < β < 1; y 0 < γ < 1.

Ejercicio 2 Nuevamente, considere la cadena de Markov de la Fig. 3, estime entonces las probabili-

10
 Ebert Brea

dades absolutas, es decir, el vector πn , si la matriz de transición viene dada por

α/3 α/3 α/3

 

P =  β 1−β 0 , (45)
γ 0 1−γ

donde 0 < α < 1; 0 < β < 1; y 0 < γ < 1.

Por otra parte, si considera γ = 0, surge entonces la pregunta: ¿existirá algún estado absorbente,
si γ = 0?

Referencias
Brea, E. 2015. On the convergence of the Mixed Integer Randomized Pattern Search Algorithm.
Manuscript accepted for the ICAEM 2015: 17th International Conference on Applied and
Engineering Mathematics, October 2015. doi:10.13140/RG.2.1.1363.7845.

Brea, E. 2016. On the Performance of the Mixed Integer Randomized Pattern Search Algorithm. In
González, Y., Dávila, E., Duarte, V., Candal, M., Pelliccioni, O., Darías, J., and Cerrolaza, M.,
editors, XIII Congreso Internacional de Métodos Numéricos en Ingeniería y Ciencias Aplicadas
(Cimenics 2016), volume 1, pages Op 61–Op 72, Caracas. Sociedad Venezolana de Métodos
Numéricos en Ingeniería.

Hoel, P. G., Port, S. C., and Stone, C. J. 1972. Introduction to stochastic processes. The Houghton
Mifflin series in statistics. Houghton Mifflin, Boston.

Taha, H. A. 2012. Investigación de operaciones. Pearson/Prentice Hall, México, 9na edition.

11