FACULTAD DE INGENIERÍA

Carrera de Ingeniería Industrial

EVALUACIÓN FINAL

INTEGRANTES:

CUEVA RISCO, JESUS MANUEL N00072767 (COORDINADOR)

LUCAS PUYCAN, CARLOS ALBERTO N00235286

RUIZ TIZNADO, INGRID N00345515

DOCENTE:

JAVES VALLADARES SANTOS SANTIAGO

Trujillo – Perú

2025

MARCO TEORICO
 INVESTIGACION DE OPERACIONES 2

I.1. Introducción a la Cadenas de Markov 3

I.1.1. Modelos de la Cadena de Markov 4
I.1.2. Matrices de Transición 4
I.1.3. Tipos de matrices 5
I.1.4. Propiedades 6
I.1.5. Importancia 7
I.1.6. Ejemplos de aplicación 8
I.2. Cadenas absorbentes y ergódicas 10
1.2.1 Aplicaciones 10
1.2.2 Matrices de cadenas de Márkov 11
1.2.3 Propiedades de Ergodicidad 11
1.2.4 Cadenas de Markov 12
1.2.5 Probabilidad En Estado Estable, Tiempos De Primer Paso,
Matriz Fundamental y Probabilidad De Absorción a Largo Plazo 12

II. RESOLUCION DE EJERCICIOS

II.1. Ejercici
o 1: 13
II.2. Ejercici
o 2: 14
II.3. Ejercici
o 3: 15

III. REFERENCIAS BIBLIOGRAFICAS 16

2
 INVESTIGACION DE OPERACIONES 2

I. MARCO TEORICO

1.1. Introducción a las Cadenas de Markov

Andréyevich Markov (1856-1922), fue un matemático ruso que desarrolló la teoría de

las Cadenas de Markov, la cual se caracteriza por ser un modelo matemático utilizado

para analizar procesos estocásticos, es decir, aquellos que evolucionan de manera no

determinista a lo largo del tiempo dentro de un conjunto de estados posibles. En estos

sistemas, cada cambio de estado se produce a través de una transición, cuya probabilidad

no está predefinida, pero sí determinada por los estados previos. Esta probabilidad se

mantiene constante en el tiempo cuando el sistema es homogéneo temporalmente.

Además, es posible que un estado se mantenga sin cambios en una transición y que,

mediante ciertas intervenciones, se puedan modificar las probabilidades de transición

para influir en la evolución del sistema.

1.1.1. Modelos de la Cadena de Markov

Para modelar un sistema utilizando cadenas de Markov, es necesario definir tres

componentes fundamentales que a continuación se mencionan: los estados, las

transiciones y las probabilidades. En el caso de una cadena de Markov finita, su

formalización requiere los siguientes elementos:

a) Un conjunto finito de estados, los cuales representan las diferentes

configuraciones posibles en las que puede encontrarse el sistema en un instante

determinado.

b) Una función de probabilidad condicional, que determina la probabilidad de que

el sistema adopte un nuevo estado en función de los k estados previos. Cuando la

3
 INVESTIGACION DE OPERACIONES 2

evolución del sistema depende de una cantidad finita de estados anteriores, se dice que

la cadena es de orden k.

En este marco, los estados constituyen una representación formal de la condición del

sistema en un momento específico, proporcionando la base para analizar su dinámica y

evolución a lo largo del tiempo.

Formalmente, en un instante “t” el estado del sistema se expresa mediante una variable

aleatoria cuyos posibles valores pertenecen a un conjunto finito de estados previamente

establecidos. A medida que el sistema evoluciona en el tiempo, esta variable cambia de

valor en momentos discretos, y cada uno de estos cambios se denomina transición.

1.1.2. Matrices de transición de Markov

Las matrices de transición de Markov, también llamadas matrices de probabilidad,

son importantes en las cadenas de Markov, ya que muestran las probabilidades de pasar

de un estado a otro. En estas matrices, cada fila representa el estado en el que se

encuentra el sistema, y cada columna indica los posibles estados a los que puede

cambiar.

En un ejemplo de 3 estados (A, B y C), una matriz de transición podría ser de la siguiente

manera:

Matriz y grafo de transición de 3 estados

4
 INVESTIGACION DE OPERACIONES 2

Este ejemplo de matriz de posición (A, B) es la probabilidad de pasar del estado A al

estado B. Existe la probabilidad de 60% de trasladarse del punto A al B.

1.1.3. Tipos de matrices de Markov

 Matrices de probabilidad de transición.

En una cadena de Markov de orden 1, la probabilidad condicional de que el

sistema se encuentre en un estado p{Et∣Et−1} es significativo. Ahora, si asignamos

índices “i” y “j” a los estados dentro del conjunto definido, esta probabilidad se

denota como pij, lo que permite estructurar la relación en una matriz.

El término pij representa la probabilidad de transición del estado “i” al estado “j”.

siendo así, en la cadena de Markov de primer orden, el estado futuro j solo depende

del estado presente i, sin influencias de estados previos. Para las cadenas finitas de

orden 1, la manera más eficiente de representar esta relación es a través de la matriz

de probabilidades de transición P, comúnmente denominada matriz de la cadena.

 Matrices estocásticas.

En las cadenas de Markov, una matriz estocástica es una matriz de transición en la

que cada fila representa un estado del sistema y contiene las probabilidades de pasar a

otros estados. Una característica fundamental de estas matrices es que la suma de los

valores de cada fila es siempre igual a 1, ya que representan distribuciones de

probabilidad.

En otras palabras, una matriz estocástica describe cómo evoluciona el sistema a lo

largo del tiempo, asegurando que en cada paso la probabilidad total de transición

desde un estado dado se mantenga constante y bien definida dentro del sistema.

5
 INVESTIGACION DE OPERACIONES 2

 Cadenas de orden superior

Las cadenas de Markov de orden superior son aquellas en las que la probabilidad de

estar en un estado específico en el futuro depende no solo del estado actual, sino también

de un número determinado de estados anteriores. En una cadena de orden k, el estado

futuro está condicionado por los k estados previos en lugar de depender únicamente del

último estado, como ocurre en una cadena de orden 1.

Este tipo de cadenas permite modelar sistemas donde la memoria del proceso juega un

papel importante, es decir, donde la evolución del sistema no solo se basa en el presente,

sino también en un historial de estados anteriores.

1.1.4. Propiedades de la matriz de transición

Las matrices de transición exhiben propiedades esenciales:

En primer lugar, cada fila suma 1, lo que garantiza que la totalidad de las probabilidades

de transitar desde un estado dado se normaliza.

En segundo lugar, todos sus elementos son no negativos, ya que representan

probabilidades. Las probabilidades de moverse de un estado a otro en una cadena de

Markov se pueden calcular a partir de la matriz de transición PPP. Al elevar PPP a la

potencia nnn, resulta la matriz PnP^nPn, la cual refleja las probabilidades de transición a

lo largo de “n” pasos.

1.1.5. Importancia de la matriz de transición

Calcular las transiciones a nnn pasos nos permite analizar la evolución del sistema a lo

largo del tiempo. Al examinar cómo varían las probabilidades de encontrarse en

determinados estados tras múltiples pasos, obtenemos una perspectiva más precisa y

6
 INVESTIGACION DE OPERACIONES 2

detallada del comportamiento a largo plazo del sistema. Algunas de las razones

fundamentales para llevar a cabo estos cálculos son:

a). Predicción a largo plazo:

 Calcular PnP^nPn logra predecir las probabilidades de estar en ciertos estados después

de un número específico de pasos. Esto es importante en aplicaciones donde el interés

y predicción radica en el comportamiento futuro del sistema.

b). Estabilidad y estados estacionarios:

 En varias ocasiones las Cadenas de Markov, con el tiempo, el sistema logra conseguir

un estado estacionario o de equilibrio, donde las probabilidades de estar en cada estado

se estabilizan y dejan de variar. Calcular PnP^nPn para valores grandes de nnn ayuda a

identificar estos momentos estacionarios y a comprender la distribución a largo plazo

del sistema.

c). Análisis de comportamiento transitorio:

 Además de los estados estacionarios, también es esencial entender el comportamiento

transitorio del sistema: cómo se moviliza entre diferentes estados antes de lograr el

equilibrio. Esto es importante en casos donde el camino hacia el equilibrio es

relevante, como es en el caso del proceso de aprendizaje o también en la adaptación

de sistemas biológicos.

d). Evaluación de estrategias y decisiones:

 En el caso de aplicaciones como la gestión de riesgos financieros o la optimización de

procesos industriales, determinar las transiciones a “n” pasos permite evaluar las

7
 INVESTIGACION DE OPERACIONES 2

consecuencias de decisiones a lo largo del tiempo. Por ejemplo, en un modelo

financiero, podemos evaluar cómo distintas estrategias de inversión afectarán las

probabilidades de lograr ciertos niveles de rendimiento en el futuro.

1.1.6. Aplicaciones de las cadenas de Markov y las matrices de transición

La aplicación de las cadenas de Markov y las matrices de transición se usan en varias

áreas para modelar fenómenos donde el futuro depende del presente:

1. Economía y finanzas: Se emplean para pronosticar o proyectar precios de

acciones y riesgos crediticios. Los estados pueden representar distintos niveles de

precios o calificaciones crediticias, y las matrices de transición representan las

probabilidades de moverse entre estos niveles.

2. Biología: Se utilizan en algunas ramas de la genética, para modelar la

propagación del material genético en una población. Los estados pueden ser

distintas combinaciones de genes, y las probabilidades de transición pueden

graficar las diferentes tasas de mutación o de reproducción.

3. Ingeniería: En la teoría de colas durante un plan de espera, se aplican para

representar el comportamiento de diferentes sistemas de espera, como es el caso

en líneas de producción o en servicios de atención al cliente. Los estados pueden

ser la cantidad de personas en la cola, y las transiciones representan la llegada o

salida de personas.

4. Procesamiento de lenguaje natural: En este caso se usan hacer representaciones

de secuencias de palabras en forma textual. Los estados son palabras y las

transiciones viene hacer la probabilidad de que una determinada palabra siga a

8
 INVESTIGACION DE OPERACIONES 2

otra, ayudando en la generación de material textual y en la corrección de la

gramática.

5. Ciencias sociales: En la sociología, se suelen utilizar en el estudio de patrones de

comportamiento del ser humano, como son la movilidad social o la difusión de

innovaciones.

Siendo así, las cadenas de Markov y también las matrices de transición son instrumentos

de gran poder para comprender el comportamiento en sistemas que cambian con el tiempo

de manera aleatoria. En el caso de la economía, la biología y la ingeniería, estas técnicas

nos ayudan a modelar y analizar procesos muy complejos, proporcionando valiosas

perspectivas y soluciones prácticas a diversos problemas del mundo real.

9
 INVESTIGACION DE OPERACIONES 2

1.2. Cadenas Absorbentes y Ergódicas:

CADENAS ABSORBENTES:
Son también cadenas de Márkov en las que cada estado puede llegar a un estado
absorbente, es un estado al que una vez que se ingresa no se puede salir y atravez de ellas
se estudia el comportamiento en el régimen transitorio, asi como también son útiles para
modelar procesos en los que hay estados finales inevitables, como juegos de azar,
sistemas de fallo en ingenieria y analisis de tiempo hasta la absorcion en economia y
biologia.
CADENAS ERGODICAS:
Son relativamente modelos probabilísticos que se usados para predecir la evolución y el
comportamiento a corto y a largo plazo en determinados sistemas.
Son cadenas de Márkov en las que la probabilidad de pasar de un estado a otro es
independiente de cuando tienen lugar la transición, toda cadena regular es ergódica pero
una cadena ergódica no es necesariamente regular
Es una cadena en la que, sin importar el estado inicial, el sistema converge a un
comportamiento estable con el tiempo. Esto significa que hay una distribución
estacionaria única y que cualquier estado puede alcanzarse desde cualquier otro en un
numero finito de pasos.

1.2.1 Aplicaciones

Estos procesos se utilizan ampliamente en ingeniería, ciencia y modelado

empresarial. El modelado de Márkov es una técnica amplia utilizada en el estudio del
análisis de confiabilidad del sistema. Se utilizan para modelar un sistema que tiene
memoria limitada de su pasado. En un proceso de Márkov, si se da el estado actual de
estos procesos, el estado a futuro es independiente del pasado. Esta propiedad es
conocida como el proceso de Márkov. Los modelos de Márkov son muy útiles cuando el
problema de decisión implica riesgo continuo en los tiempos, cuando el momento de estos
eventos es importante y cuando estos eventos importantes pueden ocurrir más de una vez.
Representar entornos clínicos con árboles de decisiones convencionales es difícil y se
puede requerir simplificadores poco realistas.

10
 INVESTIGACION DE OPERACIONES 2

 Procesos de manufactura (tiempos de operaciones y mantenimiento de maquinas)

 Modelos de trafico (movimiento de autos en una red de calles)
 Economía (modelos de mercado y predicción de tendencias)
 Redes sociales (modelo del comportamiento de usuarios en plataformas)

1.2.2 Matrices De Márkov en Absorbencia

M. de Transición:
También conocidas como matrices de probabilidad que son como el corazón de las cadenas
de Markov. Estas matrices son las que representan probabilidades de transición entre los
diferentes estados del sistema. Cada fila de la matriz representa un estado actual, y cada
columna representa un estado al que se puede mover.
Matriz General:
Estas contienen estados transitorios y estados absorbentes. El proceso presentara el siguiente
aspecto:
I: Como matriz de identidades de dimensión q
I O O: matriz nula de dimensiónes
Q M Q: Como matriz de dimensión esta contiene probabilidades de paso de estados a
absorbentes
M: Como matriz con las probabilidades de estados transitorios a estados transitorios

1.2.3 Propiedad De Ergodicidad

Propiedad de sistemas mecánicos que nos permiten justificar resultados estadísticos. Se dice

que un sumamente ergódico si sus valores esperados son iguales a su promedio a largo plazo,

11
 INVESTIGACION DE OPERACIONES 2

de modo que sus propiedades estadísticas promedio se pueden deducir de la única muestra

aleatoria suficientemente grande del comportamiento del sistema. Esto corresponde a que el

único conjunto invariante de medida no nula de la hipersuperficie de energía constante del

espacio de las fases es toda la hipersuperficie de energía constante.

1.2.4 Cadenas De Markov

Se llama cadena si alguna potencia de la matriz de transición tiene solo elementos positivos,

son sucesiones de ensayos similares u observaciones en las que cada ensayo tiene el mismo

numero finito de resultados posibles

1.2.5 Probabilidad En Estado Estable, Tiempos De Primer Paso, Matriz Fundamental y

Probabilidad De Absorción a Largo Plazo

PROBABILIDAD EN ESTADO ESTABLE: φ es un vector de probabilidades que especifica

la permanencia del proceso en los estados cuando la influencia del vector de probabilidad

inicial ρ se desvaneció en el tiempo por los efectos de la aleatoriedad.

TIEMPOS DE PRIMER PASO: es el número de transiciones que se realizan para ir de un

estado a otro por primera vez. Se puede definir para un estado o un conjunto de estados.

MATRIZ FUNDAMENTAL: se llama matriz fundamental de la cadena a la matriz resultado

de la operación.

12
 INVESTIGACION DE OPERACIONES 2

F=(I-M)-1

PROBABILIDADES DE ABSORCION A LARGO PLAZO: se calculan en una cadena de

Márkov absorbente.

1.3. Probabilidades en Cadenas de Markov y Análisis de Situaciones en Períodos

Diferentes al Corto Plazo

Si bien es cierto las Cadenas de Markov son un tipo de proceso estocástico en el cual la

probabilidad de que el sistema se encuentre en un determinado estado en el futuro depende

únicamente del estado presente y no de la secuencia de estados anteriores. Este concepto es

fundamental en diferentes sectores como la estadística, la teoría de la probabilidad, la

investigación operativa y la inteligencia artificial (IA).

Uno de los ejemplos más intuitivos de una cadena de Markov es el modelado del clima. Si un

día está soleado, existe una cierta probabilidad de que el siguiente día también lo sea o que se

vuelva nublado. Sin embargo, esta probabilidad solo depende del estado actual del clima y no

de los días previos.

Ahora las cadenas de Markov representan un modelo matemático de procesos estocásticos en

los que la probabilidad de llegar a un estado futuro depende únicamente del estado actual y

no de los anteriores. Su aplicación se extiende en áreas como la economía, la biomedicina y

la inteligencia artificial (IA).

13
 INVESTIGACION DE OPERACIONES 2

Las cadenas de Markov se han aplicado en diferentes campos, como el reconocimiento de

patrones, el modelado de sistemas financieros y el análisis de procesos biológicos. En esta

monografía, exploraremos su teoría, sus propiedades fundamentales y algunas aplicaciones

prácticas

En esta monografía se explorarán las probabilidades en cadenas de Markov, su evolución en

diferentes horizontes de tiempo, la construcción de árboles de decisión y la asignación de

probabilidades en condiciones de incertidumbre.

 Ejemplo (Predicción del Clima)

Se modela el clima como una cadena de Markov con dos estados:

o S1 :Soleado

o S2 : Nublado

Se tiene la siguiente matriz de transición:

P=
[ 0.7
0.6 0.4 ]
0.3

Pregunta:

Si hoy está nublado, ¿cuál es la probabilidad de que esté nublado en dos días?

Solución:

Calculamos P2(la matriz de transición en dos pasos):

P=
[ 0.7 0.3
0.6 0.4 ] ×
[ 0.7 0.3
0.6 0.4 ]=
[ (0.7)
(0.6) ][
(0.7)+¿ (0.3) (0.6) (0.7) ( 0.3 ) +¿(0.3) (0.4) 0.67
=
(0.7)+¿(0.4) (0.6) (0.6) ( 0.3 ) +¿(0.4 ) (0.4) 0.34

Si hoy está nublado, la probabilidad de que en dos días también esté nublado

es 0.34. o 34%

14
 INVESTIGACION DE OPERACIONES 2

II. RESOLUCIÓN DE EJERCICIOS

II.1. Ejercicio 1. Matriz de transición utilizando el método de Cadena de

Markov

En la unidad de cuidados intensivos de un hospital, cada paciente es catalogado

según su estado de salud en algunos de los tres niveles: Estable, Delicado, Muy

Grave.

Las probabilidades que el paciente pase de un estado a otro son las siguientes:

Estable Delicado Muy Grave

Estable 0.52 0.3 0.18
Delicado 0.23 0.35 0.42
Muy Grave 0.07 0.24 0.69

¿Determinar la probabilidad de que un paciente que se reporta en estado Muy

Grave un día lunes, se encuentre Estable el miércoles siguiente?

Primero: escribir la matriz con probabilidades de transicion:

E D MG Donde: P Probabilidad
0.52 0.23 0.07 E E Estable
P 0.3 0.35 0.24 D D Delicado
0.18 0.42 0.69 MG MG Muy grave

Segundo: plantear las probabilidades para lunes, martes, miercoles

Lunes

0 Estable
(X) 0 Delicado
1 Muy Grave 15

Martes

0.52 0.23 0.07 0 0.07 0.52(0) + 0.23(0) + 0.07(1) = 0.07

 0.18 0.42 0.69 1 0.69

Miercoles

0.52 0.23 0.07 0.07 0.1399 INVESTIGACION DE OPERACIONES

0.52(0.07) + 0.23(0.24) + 0.07(0.69) = 0.13992
P(PX) 0.3 0.35 0.24 0.24 0.2706 0.30(0.07) + 0.35(0.24) + 0.24(0.69) = 0.2706
0.18 0.42 0.69 0.69 0.5895 0.18(0.07) + 0.42(0.24) + 0.69(0.69) = 0.5895

Tercero: Resultados
0.14 Estable
P(PX) 0.27 Delicado
0.59 Muy Grave

La probabilidad de que un paciente que se reporta en estado Muy Grave un dia lunes, se
encuentre Estable el dia miercoles, es de proximadamente 14 %

Ejercicio 2: Cadenas de Markov con estados Absorbentes

16
 INVESTIGACION DE OPERACIONES 2

Ejercicio 3(Arboles de Decisiones):

III.1. Ejercicio: Una empresa debe elegir entre dos proyectos de inversión. El
proyecto A tiene un 70% de probabilidad de generar una ganancia de $5000 y un
30% de perder $2000. El proyecto B garantiza una ganancia de $2500.

Solución:

Cálculo del valor esperado para el Proyecto A:

VE A =( 0 . 7 x 5000 ) + ( 0 . 3 x−2000 ) VE A=3500−600=2900

El Proyecto B tiene un valor esperado de $2500. Como $2900 > $2500, la mejor opción es
elegir el Proyecto A.

III.2. Ejercicio 2: Un agricultor puede sembrar maíz o trigo. Siembra maíz con un
60% de probabilidad de obtener un rendimiento alto ($3000) y un 40% de obtener un

17
 INVESTIGACION DE OPERACIONES 2

rendimiento bajo ($1000). Para el trigo, la probabilidad de alto rendimiento es del

50% ($2800) y la de bajo rendimiento es del 50% ($1200).

Solución:

Cálculo del valor esperado para el maíz:

VEmaiz =( 0 . 6 x 3000 )+ ( 0 . 4 x 1000 ) VEmaiz =1800+ 400=2200

Cálculo del valor esperado para trigo

VEtrigo =( 0. 5 x 2800 )+ ( 0 .5 x 1200 ) VEtrigo=1400+ 600=2000

Como $2200 > $2000, la mejor opción es sembrar maíz.

III.3. Ejercicio (Asignación de probabilidades a eventos en condiciones de

riesgo o incertidumbre)

III.3.1. Un empresario Ejercicio 1: Un empresario puede expandir su negocio o no

hacerlo. La expansión tiene un 50% de generar un beneficio de $10,000 y un
50% de una pérdida de $5000. Si no expande, su ganancia es segura en $3000.

Solución:

Cálculo del valor esperado de expandir:

VEexpansion= ( 0 .5 x 10000 )+ ( 0 .5 x−5000 ) VEexpansion=5000+2500=2500

Como $3000 > $2500, la mejor decisión es no expandir el negocio.

III.3.2. Un jugador Un jugador tiene dos opciones en un juego de apuestas. Puede hacer
una apuesta alta con 40% de probabilidad de ganar $5000 y 60% de perder
$2000, o una apuesta baja con 70% de ganar $1000 y 30% de perder $500.

Solución:

18
 INVESTIGACION DE OPERACIONES 2

Cálculo del valor esperado de la apuesta alta:

VEalta =( 0 . 4 x 5000 )+ ( 0 .6 x −2000 ) VE alta=2000+1200=800

Cálculo del valor esperado de la apuesta baja:

VEbaja =( 0 .7 x 1000 ) + ( 0 . 3 x−500 ) VEbaja=700+150=550

Como $800 > $550, la mejor opción es hacer la apuesta alta.

III. REFERENCIAS BIBLIOGRÁFICAS

Fonollosa. J. (2016). Cadenas de Markov. Métodos cuantitativos para la toma de

decisiones III. Universidad Politécnica de Catalunya.1ra. Edición. Barcelona
[Link]
2117/96718/[Link];jsessionid=6CD7628D1856C70AFECD9F4A122A3
BF9?sequence=1

Sandino. L. (2024). Cadenas de Markov y Matrices de Transición: Explorando el

mundo de la aleatoriedad.
[Link]
%C3%B3n-explorando-el-mundo-de-la-aleatoriedad-sus-d0bac1f4c650

Bosso, Jose.A (1966). Definicion y Clasificacion de Cadenas de Markov

[Link]

19
 INVESTIGACION DE OPERACIONES 2

Grimmett, G., & Stirzaker, D. (2001). Probability and Random Processes.

Oxford University Press.
Norris, J. R. (1998). Markov Chains. Cambridge University Press.
Ross, S. M. (2014). Introduction to Probability Models. Academic Press.

20