DIVISIN DE CIENCIAS EXACTAS Y NATURALES DEPARTAMENTO DE MATEMTICAS

UNIVERS IDAD DE SONORA

Una Introducci

de Martingalas

Presenta:

ROSALA GUADALUPE HERNNDEZ AMADOR

Director: Dr. Jess Adolfo Minjrez Sosa

Hermosillo, Sonora

Agosto 2002

A mis padres

Este trabajo fue financiado y apoyado por el Consejo Nacional de Ciencia y Tecnologa (CONACyT) dentro del proyecto "Control Adaptado de Sistemas Estocsticos", con clave 37239E, bajo la direccin del Dr. Jess Adolfo Minjrez Sosa.

ndice General
0.1 Introduccin 2

1 Elementos de la Teora de Probabilidad y Procesos Estocsticos 4 4 1.1 Introduccin 4 1.2 Probabilidad Condicional 6 1.3 Variables y Vectores Aleatorios 11 1.4 Esperanza y Esperanza Condicional 12 Esperanza Condicional 1.4.1 18 1.5 Procesos Estocsticos 19 1.5.1 Cadenas de Markov 2 Martingalas 2.1 Introduccin 2.2 Estrategias de Apuestas 2.3 Martingalas 2.4 Martingalas y Cadenas de Markov 3 Teorema de Paro Opcional y Convergencia de Martingalas 3.1 Introduccin 3.2 Teorema de Paro Opcional 3.3 Teorema de Convergencia de Martingalas 24 24 24 28 35 38 38 38 41

110

0.1 Introduccin
Indudablemente, la probabilidad es una de las ramas de la matemtica que ha jugado un papel fundamental en la solucin de problemas especficos que se presentan en otras reas del conocimiento. Esto se debe a que muchos de estos problemas se pueden modelar mediante una familia de variables aleatorias parametrizadas por el tiempo, como por ejemplo, sistemas dinmicos en los que intervienen elementos aleatorios los cuales representan cierta incertidumbre que influye en el comportamiento del sistema, problemas de decisiones secuenciales, dentro de los cuales se encuentran los juegos de apuestas sucesivas y entre otros. A dicha familia de variables aleatorias se les conoce como procesos estocsticos . Existen muchos tipos de procesos estocsticos cuya clasificacin se tiene en base a sus propiedades particulares. Por ejemplo, procesos estacionarios, con incrementos independientes, de Markov, martingalas, etc., aunque esta clasificacin no los hace excluyentes. La teora desarrollada para cada uno de estos procesos es muy amplia y podramos decir que independientes una de la otra. De los ternas ms estudiados en los cursos de procesos estocsticos nivel licenciatura son las cadenas de Markov. Quiz esto se debe a que sus propiedades basadas en la definicin de probabilidad condicional, son muy intuitivas y tienen aplicaciones directas y muy sencillas. Por lo contrario, las martingalas, cuyas propiedades se enfocan en la definicin de esperanza condicional, es un tema que por lo general se excluye de los cursos, aun siendo igual de importantes que las cadenas de Markov. Esto constituye la motivacin principal de desarrollar este trabajo. Si recurrimos al diccionario de la lengua espaola para ver el significado de la palabra martingala nos podemos topar con lo siguiente: calza que los hombres de armas llevaban debajo de los quijotes; en el juego del monte, lance que consiste en apostar simultneamente a cuatro cartas de las del albur contra la quinta; combinacin que permite ganar el juego;

entre otros, y como sinnimo: artimaa, marrullera, trampa. Sin embargo, en matemticas, las martingalas son una clase de procesos estocsticos cuyo surgimiento fue motivado precisamente al modelar juegos de azar justos, aunque en el transcurso de los aos, su desarrollo ha alcanzado importantes aplicaciones en otras reas, as como dentro de la matemtica misma [ver, e.g., [4]]. El objetivo de este trabajo es presentar una introduccin a la teora de martingalas. En este sentido nos restringiremos al caso ms sencillo: procesos estocsticos discretos a tiempo discreto. Sin embargo, esto no hace que el trabajo carezca de importnancia, ya que existen muchos problemas reales que se modelan en este contexto, como por ejemplo, problemas de apuestas sucesivas, sistemas genticos, problemas de finanzas, y cierta clase de sistemas de colas. Algunos de estos ejemplos se analizarn a lo largo del -trabajo. La tesis est compuesta de tres captulos. En el primero de ellos se han resumido algunos resultados fundamentales de la teora de probabilidad, poniendo nfasis principalmente en el anlisis de esperanza condicional y algunas de sus propiedades ms importantes. Se expone tambin la teora necesaria sobre procesos estocsticos y cadenas de Markov a tiempo discreto, las cuales se retoman en los siguientes captulos Durante el segundo captulo se presenta la definicin de martingala as como sus propiedades fundamentales. Primeramente y a manera de motivacin se presenta un anlisis de estrategias de apuestas, tomando en cuenta que el concepto de martingala en teora de probabilidad tiene su origen en juegos de apuestas, a saber, proporciona un modelo de un juego de azar justo. Posteriormente se exponen algunos ejemplos que ilustran las definiciones introducidas en el captulo, y se presenta tambin un resultado muy importante que nos muestra la relacin que guardan las martingalas y las cadenas de Markov. Finalmente se conluye este trabajo presentando en el tercer captulo, dos resultados clsicos en teora de martingalas: el Teorema de Paro Opcional para Martingalas Acotadas y el Teorema de Convergencia de Martingalas. Ilustramos estos resultados mediante algunos ejemplos.

Captulo 1 Elementos de la Teora de Probabilidad y Procesos Estocsticos

1.1 Introduccin
En este captulo presentamos los elementos de la teora de probabilidad y procesos estocsticos que usaremos a lo largo del trabajo. Se dedica especial atencin al concepto de esperanza condicional y sus propiedades, lo cual constituye la herramienta principal para el desarrollo del mismo. Muchos detalles estndares de la teora de probabilidad sern omitidos, pero se procurar incluir los ms importantes.

1.2 Probabilidad Condicional

Empezamos esta seccin definiendo el espacio de probabilidad fundamental, para despus establecer la definicin de probabilidad condicional. Sea Q el espacio maestral de un experimento y F una a lgebra de subconjuntos de Q. Es decir, F es una familia de subconjuntos de Q que satisface las siguientes propiedades: a) El conjunto vaco 0 pertenece a F; 4

00

b) Si Al, 14.2, ... E r entonces U A. E F;

n=1 e)

Si A E F entonces su complemento A' pertenece a F.

A los elementos de F los llamaremos eventos. Definicin 1.1 Una medida de probabilidad P sobre (Q, F) es una funcin P: que satisface a) P[0] = O, P[Q] 1;

[0, 1]

I)) Si A1, A2, ... es una coleccin de elementos en F tales que A fl Ai -= 0

para todo i j entonces
00 PE 00

U
n=1

Y:P[An],
n=1

y se dice que la medida P es aditivamente numerable.

La terna (Q, F, P) es llamada espacio de probabilidad. Es siempre posible asociar un espacio (Q, F, P) a cada experimento y todas las preguntas en las que podamos estar interesados acerca del experimento, podemos formularlas en trminos de ste. Definicin 1.2 Sean A, B E F eventos tales que P[B] 0. Se define la

probabilidad condicional de A dado el evento B como P[A n B]

P[A

p[3]

Intuitivamente, esto significa que si sabemos (o bajo el supuesto) que un evento B con probabilidad positiva ha ocurrido, el conjunto de posibles resultados se reduce a B, y entonces solamente cabe la posibilidad de que ocurra la parte de A que pertenece tambin a B, esto es, el evento A fl B. As la oportunidad de ocurrencia del evento A dado que ha ocurrido B se convierte en la medida relativa de A n B respecto a B. 5

Definicin 1.3 Los eventos A y B se dicen ser independientes si

P[A n13] = P[A]P[B]. En general, una familia de eventos : i E T} donde T denota un conjunto arbitrario de ndices se dice ser independiente si

pnAi, Hp[Al iEJ

iEJ

para todo subconjunto finito J de T.

Una caracterizacin para conjuntos independientes en trminos de probabilidad condicional es la siguiente: sean A y B eventos tales que P[B] O y P[A] arbitraria. Entonces A y B son independientes si y slo si
P[Ai B] P[A],

lo cual significa que el saber que ha ocurrido el evento B no cambia la probabilidad de ocurrencia de A.

1.3- Variables y Vectores Aleatorios

Presentamos a continuacin la definicin de variable y vector aleatorio, as como sus principales caractersticas.

Definicin 1.4 Sea (2 , E, P) un espacio de probabilidad. Una variable

aleatoria (y. a.) X es una funcin X :5-2 tal que

X-1((-oo,x1) {w E S2 : X(w) < x} E E para cada x E IR. Es decir, una variable aleatoria X es una funcin con valores en los reales que asigna el valor X (&) a cada resultado w E S2 del experimento. As mismo, se requiere que la imgen inversa bajo X de intervalos de la forma (--ce,xl, 6

x E R, pertenezcan a F. Esto nos permite estudiar el cmportamiento probabilstico de las variables aleatorias. Es usual denotar por [X e ( - oo, x1] al conjunto X -1 ((-oo, xl). En muchos casos no es fcil escribir explcitamente el espacio muestral asociado a un experimento aleatorio, lo que hace necesario analizar la caracterstica de inters del experimento por medio de variables aleatorias. En este sentido, es importante estudiar el comportamiento probabilstico de dichas variables. La manera general de hacerlo es mediante la funcin de distribucin. o [X < x]

Definicin 1.5 La funcin de distribucin Fx (le una variable aleatoria

X es la funcin Fx : R dada por Fx (x) := P[X

[0, 1]

Obsrvese que Fx satisface las siguientes propiedades: Es no decreciente, es decir, si x 1 < x 2 entonces Fx (x 1) < Fx (x2); Es continua por la derecha, esto es,
Fx (x + )
h-.0+

lim Fx (x + h) = Fx (x) para cada X E R;

lim Para cada x E IR,

Fx (x) = 1,

X - 00

hm Fx (x) = 0.

Fx(x - )

P[X < x]

donde

Fx (x- )

hlitt

Fx (x - h). 7

En trminos de la funcin de distribucin, podemos clasificar las variables aleatorias como sigue: Definicin 1.6
La variable aleatoria X se dice ser absolutamente continua si su funcin de distribucin se puede expresar como Fx(x) = f f x(u)du, para alguna funcin integrable fx . funcin de densidad de X. xER

[O, oo). fx es llamada la

La variable aleatoria X se dice ser discreta si existe una coleccin numerable {x l , x2 , ...} C R con xi x; para i j tal que F x (x) = P[X <x]=
xn<x

P[X =x], x , es llamada la

La funcin fx definida por f x(x) := P[X funcin de probabilidad de X .

Existen situaciones donde es necesario analizar dos o ms variables aleatorias simultneamente. Esto nos lleva a tener que generalizar las definiciones anteriores. En principio tenemos: Definicin 1.7 Sean X1 , Xn variables aleatorias definidas en el mismo
espacio de probabilidad (12,F , P). Al vector

X = (Xj. ,

X)

se le llama vector aleatorio de dimensin n. Cuando las componentes de X son variables aleatorias discretas, decimos que X es un vector aleatorio discreto. En el caso de ser continuas X1 , ..., X, se dice que X es un vector aleatorio continuo.

En base a esta definicin usaremos indistintamente los trminos "comportamiento conjunto de las variables aleatorias X1 , , X" y "comportamiento del vector X".

Definicin 1.8 La funcin de distribucin conjunta Fx x de las variables aleatorias X 1 , ..., X, definidas sobre el mismo espacio de probabilidad (SI, F, P), se define como la funcin Fx, ,..., dada por xv) PIX1 < xi, , X,i < xul :

to, 1]

Adems, si existe una funcin integrable ---> [O, oo) tal que
11

Ex, x(x1 , x,i ) =

I .

-00

fx (ni ,

un)dni...dun,

decimos que X 1 i , Xn tienen distribucin conjunta continua. En este caso fx,...,x se llama funcin de densidad conjunta de las variables
X7l.

Similarmente, para el caso discreto se tiene que para todo

) E lEtn

Fxl, x. ( 1 1
X

-) X n) =

<wi kn<x,

E fx,,...,x(ki,

7kn) )

X = := P[X]. = k 1, (k', , k,) E Inn donde f x,...,x. ( ki, A f x, ,.. . , x se le conoce como funcin de probabilidad conjunta de X1 , Xn , o funcin de probabilidad del vector X (X1 , . ,

Sea X = (X1 , ..., Xn) un vector aleatorio discreto con funcin de probabilidad fx...,xn y sea f x, la funcin de probabilidad de la variable aleatoria X. Entonces
fx,(x2) --- x,,.)#z f x,, in)

Esto es, la funcin de probabilidad de Xi se puede obtener sumando los valores de f x,,...,x1,(x1, xn) sobre todo x; con j i. En este caso llamamos af x, la funcin de probabilidad marginal de Xi.

Definicin 1.9 Sean X1 ,

X,,, variables aleatorias definidas en el mismo espacio (le probabilidad. Decimos que X 1 , ..., X,,, son independientes si para toda coleccin de intervalos {,/i }r_ 1 con Ji C IR, se tiene que
17,

P[X1

E J1 ,

E J,1 =1111Xt E
i=1

En general, una familia de variables aleatorias {X t : t E T} es independiente si para todo subconjunto finito J de T las variables {X t : t E J} son independientes.

Si X1 , Xn son independientes, entonces X1 , ..., X k son independientes para k < n. Mas an, Xi1 , Xik son independientes para todos los enteros 1 < < < tik < La independencia de variables aleatorias se puede caracterizar por medio de las funciones de distribucin correspondientes, as como por medio de las funciones de probabilidad para el caso discreto como lo muestran los siguientes resultados: Teorema 1.10 Las variables aleatorias X1 , X son independientes si y
slo si la funcin de distribucin conjunta Fx, r _x de X 1 , X,, se puede escribir corno
FX1
X( x l,

xn)

fi
t=1

FX,(1i),

para cada

(X1, ...,

77,) E Rn,

donde Fx, es la funcin de distribucin de la variable aleatoria X t.

Teorema 1.11 Sea X = (X1 , X) un vector aleatorio discreto con funcin de probabilidad f x,...,x, y sea fx la funcin de probabilidad de la van. Entonces X 1 , ..., X, son independientes si y riable aleatoria Xt , i = 1, slo si
(X11 n)

fifxi (Xi),
1=1

(x1,...,x,,) E

Para los objetivos del trabajo es suficiente restringirnos al estudio de variables aleatorias discretas. En este sentido, el resto del trabajo se centrar principalmente en definiciones y resultados que involucran solo a este tipo de variables aleatorias.

10

1.4 Esperanza y Esperanza Condicional

El concepto de esperanza condicional es la herramienta principal en el estudio de martingalas. Es por esto que se dedica la presente seccin a su anlisis. Primero se ver la nocin de valor esperado o esperanza de una variable aleatoria. Posteriormente, se analiza el concepto de esperanza condicional, el cual se realiza primero condicionando sobre un evento y finalmente sobre una variable aleatoria discreta:
Definicin 1.12 La esperanza (valor esperado) de una vari able aleatoria

discreta X con funcin de probabilidad f x se define por EIX] > f x (x),

siempre que la suma sea absolutamente convergente.

Observemos que para un evento A E F y la variable aleatoria l it : Q ---> IR definida corno

f 1 si o.) E A
1A(w) se tiene que E[1 A] P(A).

o si ca E A'

Algunas propiedades que se deducen directamente de la definicin son las siguientes: Supongamos que la variable aleatoria X es constante casi seguramente 1 para alguna constante e E IR, entonces (c.s.), es decir, P[X

E[X] ,----- e.
Sea X una variable aleatoria esencialmente acotada, es decir, = 1 para alguna constante Al E IR, entonces I.E[X]I < PEP( I < Otras propiedades de la esperanza se resumen en los siguientes resultados:

11

Teorema 1.13 Sea X = (X1 ,..., Xn) un vector aleatorio discreto, h : Rn --> 114, y supongamos que la variable aleatoia Y = h(X) es tal que su
esperanza est definida. Entonces E[Y] E[h(X)] >i h(x) fx(x)
xEIR"

donde fx es la funcin de probabilidad conjunta de X 1 , Xn.

Teorema 1.14 Sea X = (X1 , Xn ) un vector aleatorio y supongamos que Yi = gi (X), i 1, ..., n son variables aleatorias con esperanza finita. Entonces Para todas las constantes c 1 , ., en
+ + cflYn] =

Si P[Yi < Y2 ] = 1, entonces

E[Y1 ] E[Y2]. Teofema 1.15 Sean

peranza finita. Entonces E[X1 X2

Xn variables aleatorias independientes con es-

11 1

Xn]

HE[Xi].

1.4.1 Esperanza Condicional

Antes de definir esperanza condicional, primero veamos la siguiente defincin:

Definicin 1.16 Sean X y Y variables aleatorias discretas definidas en el mismo espacio de probabilidad, y sea x E IR tal que fx(x) > O. La funcin
de probabilidad condicional de Y dado que X = x se define como

frix (Y x) :=

P[X x, Y = y]

fx(x)
12

, y E R.

(x) Es claro que para cada x E R, donde fx(x) > O, se tiene

fy ix(Y 1 x)

O, y E R.

Efy i x(yix) = 1.
En base a esta definicin tenemos:

Definicin 1.17 Sean X y Y variables aleatorias discretas definidas en el

mismo espacio de probabilidad con funcin de probabilidad condicional fyix. La esperanza condicional de Y dado X = x se define como

Yhtx(y 1x)
donde la suma es sobre el conjunto numerable de valores de y para los cuales

frix(Y 1 x) > O. Como para cada x E IR donde fx(x) > O, fy ix (y 1 x) es una funcin de probabilidad, la esperanza condicional E[Y X x] satisface las siguientes propiedades, las cuales pueden demostrarse directamente de la definicin: E[ciYi...--i-c11, 1 X x]
E(h(X)

EciE[Yi 1 X = x] para todo el , , cr, E R. R.

x] = h(x) para cualquier funcin h : IR

e) E[Y ] X = xJ = EVJ si X y Y son independientes. En vista de la definicin anterior, podemos ver a E[Y X x] como una funcin de x:
g(x) E[Y ] X x]. (1.1)

De acuerdo a este hecho tenemos la siguiente definicin:

Definicin 1.18 La esperanza condicional de Y dado X se define como

E[Y ] X] donde g est dada por (1.1). g(X),

13

La diferencia esencial entre E[Y ] X x) y E[Y I X] es que E[Y 1 X = xJ es un nmero mientras que E[Y XI es una variable aleatoria. De hecho, E[Y 1 X] se obtiene reemplazando x por X en la expresin para E[Y 1 X = x). En este sentido, estaremos utilizando el trmino casi seguramente (c.s.) para comparar la esperanza condicional con una variable aleatoria. Es decir, escribiremos
E[Y XJ = Z c.s.,

donde c.s. significa que P[E[Y ] X] = Z] = 1. Dentro de las principales propiedades de la esperanza condicional tenemos:

Teorema 1.19 .
La esperanza condicional g(X) E[Y 1 X] satisface E[g(X)h(X)] E[Yh(X)]

para cualquier funcin h : IR --> IR para la cual ambas esperanzas existen. Sea x E IR tal que f x(x)> O. Entonces E[XY 1 X = x] = xE[Y X = x]. c) Si H :R IR es una funcin invectiva, entonces E[Y 1 H(X)] . E[Y x1 c.s.

Demostracin. .
a) Sea fx(x) la funcin de probabilidad de X. Por el Teorema 1.13, tenemos
E[g(X)h(X)] 9(x)h(x).fx(x)= E[Y 1 X x)h(x) f x (x)

= E

Yfrx (Y I x )]

h(x)fx(x)

=F iyh(x)f x, y (x , y) E[Yh(X)].

14

O, este resultado es una consecuencia directa de la Definicin Si 1.17 . En efecto,

E[XY I X x] =Y:z fxylx(z 1 x)
z

P[X = x, XY =
F./

Jex(x) P[X = x, Y
fx(x)

y haciendo y = s se tiene
E[XY I X = x] =

Yx

P[X = x, Y fx (x)

= y]

(DP[X x, Y

= y])

./5(M Y =x = xE[Y I X = x]. El caso x O se sigue trivialmente. Aplicando el hecho de que P[X x] P[H(X) = H(x)] para cada x E IR, se sigue directamente el resultado.

El Teorema 1.19 tiene las siguientes consecuencias importantes: Si h(x) = 1 para todo x decir,
E

IR, en a), entonces E[g(X)] = E[Y]. Es

E[E[Y X]] = MY],

a lo cual se le conoce como la propiedad de la doble esperanza. Sea BCR y tomemos h(x) = 1 B (x), x E IR en a). Entonces E[g(X)1B(X)] E[Y1 B (X)], es decir,
E[E[Y 1 X11 B (X)] E[Y1B(X)].

15

De aqu,
E[Y1B(X)]
x

E[Y I X = x]in(x)fx(x).

(1.2)

Tomando B = IR en (1.2), obtenemos E[Y] =

x

E[Y I X = x]fx(x).

Esta expresin constituye otra forma de calcular esperanzas, la cual es muy prctica en muchas situaciones. De la parte b) del teorema conclumos,
E[XY I X] XE[Y 1 X] c.s.

De hecho, si fi , f2 : IR

son funciones arbitrarias, es fcil ver que

E [f1( X )f2(Y) 1 X] = fi (X)E[f2 (Y) I X] e.s.

En los siguientes dos captulos estaremos usando la esperanza condicional de una variable aleatoria dado un vector aleatorio. La definicin en este caso, as como sus propiedades, se pueden extender de las anteriores.

Definicin 1.20 Sea Y una variable discreta y X =

E[Y 1 X donde fy i x(y I x)
/311/=y,X=4 PIX=x1

Xn) un vector aleatorio discreto. Se define el valor esperado de Y dado X = x como

x] :=

Yfr1x(Y 1 x),

Del mismo modo, se tiene la siguiente definicin:

Definicin 1.21 Sea g :

11171

una funcin dada por

E[Y I X] z1, -1 X,1 = X711

Se define la esperanza condicional de Y dado X como E[Y 1

:= g(X) 16

Considerando estas definiciones y el Teorema 1.19, llegamos a las siguientes propiedades:

Teorema 1.22 Sean Y, Y1 , ..., n variables aleatorias discretas, X (X1 , X)

IR, y f : 1R un vector aleatorio discreto, h : una funcin inyectiva, y el, , c k E H :
E[E[Y 1 X]h(X)] Elf (Y)h(X) 1

IR funciones arbitrarias,
Entonces

E[Yh(X)];
h(X)E[f (Y) 1 X] c.s.; c.s;
k

E[Y 1 H(X)] E[Y 1 X]

+ + ck Yk 1 X] = c i E[Yi 1 X].
i=1

Teorema 1.23 Sea X una variable aleatoria y Y1, Y2 vectores aleatorios

discretos. Entonces E[E[X I Y1, Y211 Yi ] = E[X 1 Yi 1 c.s.

Demostracin. Haremos la prueba para el caso de vectores Y 1 , Y2

1-dimensionales. El caso general se sigue de manera anloga. Fijemos y i y observemos que PRYI , Y2) -,-- (y', y") 1 Y1 = yi ] O para todo y'  yi . Ahora, sea
g (il
Y")

= E [X 1

= Y', Y2

y"].
= y" I Y1 = Y11

Entonces
E[E[X

,Y2] 1

= Y") /1171 xP[X = x 1 P [X

9(Y1) V") /3 1 Y1 y i, Y2

= yl l Y2

y"

1 Y1
Y2 =

----= Yi, Y2 = Y " ] P V1 =

Y2 1/"]

Y " I 171

Yll

= > ,Lx
y" x x/IX x

E[X =

17

Puesto que y i es arbitrario, se tiene el resultado. n

1.5 Procesos Estocsticos

Intuitivamente un proceso estocstico es una coleccin de variables aleatorias que puede ser usada como modelo matemtico de los resultados de una serie de fenmenos aleatorios. Esto ha permitido que un buen nmero de sus aplicaciones se presenten en diversas reas del conocimiento. En esta seccin introducimos los elementos bsicos de la teora de procesos estocsticos y presentamos una clase particular de ellos, los llamados cadenas de Markov, lo cual retomaremos en los captulos siguientes. Definicin 1.24 Un proceso estocstico es una familia X = {X(t) : t E T} de variables aleatorias definidas en (Q, E ,P), donde T C IR es el conjunto
de parmetros.

El hecho de que X(t) sea una variable aleatoria implica que el proceso estocstico se puede ver como una coleccin de funciones reales definidas sobre T x Q, es decir, X(.,.):Tx12> IR las cuales satisfacen: Para cada t E T se tiene que X(t,) es una variable aleatoria. Para cada w E Q, la funcin X(,w) es una funcin real. A la funcin X(,w) : T ---> PR le llamaremos realizacin o trayectoria del proceso estocstico. Es comn pensar que el ndice t representa el tiempo; as X(t) representar, la posicin o estado del proceso al tiempo t. Sin embargo, es importante notar que el conjunto de parmetros no necesariamente se relaciona con el tiempo fsico de ocurrencia de los eventos modelados por la coleccin de variables aleatorias. Cuando el conjunto de parmetros T es numerable, se dice que X = {X(t) : t E T} es un proceso con parmetro (o tiempo) discreto. En este caso, y sin prdida de generalidad, tomamos T = {0,1, ...} de tal manera que el proceso estocstico X toma la forma {X0,

18

Definicin 1.25 El espacio de estados S del proceso X = {X(t) : t E T}

es el conjunto de todos los posibles valores que pueden tomar las variables aleatorias X(t) para cada t E T.

A cada elemento en S se le llama estado del proceso. Si S es finito o numerable, decimos que X es un proceso discreto y si S es un intervalo decimos que el proceso es continuo. En este trabajo solo consideraremos procesos estocsticos discretos a tiempo discreto. En este caso el proceso X ser una sucesin de variables aleatorias discretas definidas en el mismo espacio de probabilidad. A continuacin presentamos una clase particular de este tipo de procesos.

1.5.1 Cadenas de Markov

La teora de cadenas de Markov es muy extensa. Aqu solo presentaremos algunas nociones bsicas acerca de esta clase de procesos que posteriormente utilizaremos en el anlisis de martingalas, en los captulos siguientes. un proceso estocstico discreDefinicin 1.26 Sea X --= {X : n 0, 1, to. Decimos que X es una cadena de Markov si
13 [Xn 1 j I Xn = xn-1, , Xo = xoj = P [ Xn-fri Xn 21, (1.3)

para todos los estados x 0 , ..., xn_ ,2 j'ES y todo n > O.

A la relacin (1.3) se le conoce como propiedad de Markov y tiene la siguiente interpretacin: la distribucin condicional de cualquier estado futuro Xn+1 dado los estados pasados X0 , X_ 1 y el estado presente X,, es independiente de los estados pasados y solo depende del estado presente. Las probabilidades condicionales Pii(n,n + 1) :=-- P(Xu+1 j Xn 21 19

son llamadas probabilidades de transicin o probabilidades en un paso, y representan la probabilidad de pasar al estado j en el tiempo n + 1, estando en el estado i al tiempo n; o bien, la probabilidad de pasar del estado i al estado j en el paso del tiempo n al n + 1. Si las probabilidades de transicin no dependen del tiempo n, decimos que la cadena de Markov X {Xn : n = 0,1, ...} es una cadena homognea o estacionaria en el tiempo y escribimos pii
P[Xj = j I xo
i]

P[X,,,+i

j X =-- i] n,

1, ...; j S.

En adelante, nos restringiremos al estudio de cadenas homogneas.

Definicin 1.27 Sea X {Xn ; n > O} una cadena de Markov. La matriz P (pu ) cuyos elementos son las probabilidades de transicin en un paso, se llama matriz de transicin de la cadena de Markov.

Si el espacio de estados de la cadena de Markoy es finito, digamos con k elementos, entonces P es una matriz de k x k. En caso contrario, P es una matriz infinita. Las probabilidades de transicin satisfacen las siguientes propiedades: pii > 0; Epo 1 para todo i
jES e

S.

Esta ltima propiedad significa que la suma de cada rengln de la matriz P es 1. Una matriz que satisface esta propiedad se llama matriz estocstica. Si adems, la suma de las columnas tambin es 1, la matriz es llamada matriz
doblemente estocstica.

Un ejemplo clsico de cadena de Markov es el siguiente:

20

variables aleatorias independientes tales que Ejemplo 1.28 Sean 21 , P[Zt = 1] p y P[Zi r= 1] = = 1p para i = 1,2, ..., y sea
Z2, ...

S So+ donde So es constante. Observemos que

+ + Z

P[S.+1 = y 1 Sn = x , Sn-1 = 8 n-1, , SO

P[S,H- 1 = Y, Sit = x,

s o] =
== 801

Sn-1 = Sn-1 - SO

_-_

,9-1 = 5- 1 , ..., So = sol P[Sn P[Z i = y X, Zn X s n-1, - , So = SO] P [ Z, = sn-i , , S o = Sol 111Z, 1 = y xtP[Z,-, = x sn-i, -, So = sol So =- so] P[Z = x P[Zn+ i =-- y x].

Por otro lado, P [Sn-Ei = y I Sn

P [ Sn+i

= y, Sr, = x] PES = x]

= y x, P[S x] = P[Zn+i = Y

x]

de aqu que {,9 : n = 0, 1, ...} es una cadena de Markov con probabilidad de transicin pxy P [Z 1 = y x].

Ejemplo 1.29 Consideremos una poblacin de N bolas las cuales pueden ser de uno de dos colores: negra blanca, y sea X la variable aleatoria que
mide el nmero de bolas negras en esta poblacin. Supongamos que de esta poblacin, podemos obtener otra del mismo tamao, de la siguiente manera: tomamos N bolas nuevas, y el color de cada una de ellas se determina de acuerdo a los resultados que se obtienen al extraer con reemplazamiento N bolas de la poblacion anterior, y denotemos por Xn+i a la variable que mide el nmero de bolas negras presentes en esta nueva poblacin. Entonces clara0, 1, ...} es una cadena (le Markov con espacio de estados mente {X : n

21

{O, ..., N}. Observemos que si al tiempo n se tienen x bolas negras, entonces
PPC .+1 = y I Xn.

= =

(nrx\Y y)k.1\11 k

x)N-V N)

pues se tiene probabilidad k de obtener una bola negra.

Definicin 1.30 La probabilidad de transicin en n pasos, n > O,

para una cadena de Markov homognea X se define por P [X,u+n = j 1

Observemos que
pis

= i] para todo m > O; i, j E S.

= P[Xn j I xn, =

= P[Xn j

Xo

tim> 0;i,jES.

Para n = 1, se tiene que

Pii = Pii
ry lr

para n = O,
p2i

I[1

1 O

1 si i si i

j j

Definicin 1.31 Sea X =

: n 0, 1, ...} una cadena de Markov. Se define la matriz de transicin en n pasos, como la matriz P (n) := (pri), donde pri son las probabilidades de transicin en n pasos.
La probabilidad de transicin en n pasos, n > O, satisface: a) > O para todo i, j E S; para todo i E S.

b)

;es

priti = 1

De b) se sigue que PS es una matriz estocstica.

22

Teorema 1.32 Sea X = {X,i; n > O} una cadena de Markov. Entonces

n+m _ pi; kES

Vn, m > O; j

e S.

(1.4)

La ecuacin anterior es llamada ecuacin de Chaptrian-Kohnogorov y nos proporciona una manera prctica de calcular las probabilidades de transicin en n pasos. Adems podemos observar que es equivalente a la ecuacin matricial
p(n+m) = p(n)p(m)

en el caso finito. De (1.4), se sigue que podemos expresar la probabilidad de transicin en n pasos como
pinj kES FikYkj

para todo O < m < n,

o equivalentemente
p(n) p(m)p(n-m) = p(n-m)p(m).

Por otro lado, observemos que PM = Pn . Esto significa que la matriz de transicin en n pasos se puede calcular como la nSima potencia de la matriz P, siempre y cuando la cadena de Markov tenga un nmero finito de estados.

23

Captulo 2 Martingalas
2.1 Introduccin
En matemticas, las martingalas son una clase de procesos estocsticos cuyo surgimiento fue motivado al modelar juegos de azar justos. Sin embargo, el desarrollo de la teora de martingalas ha ido ms all del anlisis de juegos justos y durante el transcurso de los aos ha alcanzado grandes aplicaciones en otras reas, as como dentro de la matemtica misma (ver, e.g., [4]). En este captulo presentamos la teora de martingalas para procesos discretos. A manera de motivacin, en la Seccin 2.2 se hace un anlisis de estrategias de apuesta para juegos, y despus en la Seccin 2.3 se introduce formalmente la definicin de martingala as como sus propiedades bsicas Finalmente, en la Seccin 2.4 presentamos la relacin entre cadenas de Markov y martingalas.

2.2 Estrategias de Apuestas

Existen muchos tipos de juegos de apuestas y por lo tanto un gran nmero de estrategias que utilizan los jugadores para apostar. Nos centraremos en una clase particular de juegos a los cuales se les conoce en la literatura como juegos de apuestas sucesivas. Estos consisten en apostar sucesivamente cierta cantidad, la cual se fija mediante cierta regia, y de tal manera que en cada juego se puede perder o ganar la cantidad apostada. Ejemplos de este tipo de juegos pueden ser apostar a cierto color en la ruleta sucesivamente durante 24

varios juegos; lanzar sucesivamente una moneda al aire y estar apostando a una de las caras u otro juego de azar semejante. Consideremos un juego de apuestas sucesivas y supongamos que p es la probabilidad de ganar en cualesquiera de las jugadas, donde p E (0, 1). Sea Zn la variable aleatoria que toma el valor 1 si se gana en la nsima jugada y 1 si se pierde, es decir, estas variables tienen distribucin p = P[Zn, 1], P[Z = = 1 -- p para cada n N;

y supongamos que Z0, Z1 , ... son independientes (como es el caso de lanzamiento de monedas o el juego de ruleta), donde Z 0 denotar la fortuna inicial del jugador, la cual ser una cantidad conocida. Podemos definir una estrategia de apuestas como sigue: Definicin 2.1 Una estrategia de apuestas es una sucesin de funciones {en : n = 1, 2, ...}, donde
: {Z0 } x { 1, 1} n
+

[0, 00),

tales que en+ i (Zo, Zn) es la cantidad a apostar en la (n+ 1) sima jugada para n = 0, 1, ....

Observemos que
Zn+1 In+1( Z0,

Zn)

representa la ganancia ( prdida) en el (n + 1)simo juego. Adems, si S41 es la fortuna acumulada hasta el tiempo n + 1, entonces
Su+ 1

= So +
=1

e, ( Z0 ,

Zz_ i ) para n = O, 1, ...,

(2.1)

o bien,
Sn+1 -= Sn + Zn+1 n+1( ZO,
Zn)

Para n O, 1, ...,

(2.2)

donde S0 = Z0 , es decir S0 es la fortuna inicial del jugador. A continuacin presentamos algunos ejemplos de estrategias de apuestas. 25

Ejemplo 2.2 Sea c un nmero real positivo y definamos

fl.-1-1( ZO) -, Zn)

co

si S. > c si S < e

para cada n > O. Entonces In Adems, en este caso

n

n = 1,2,...} es una estrategia de apuestas.

Sn

=So+

e
i=

> el

para n = 1,2, .... (2.3)

Observemos que el aplicar esta estrategia implica que en cada jugada siempre se apostar una cantidad constante c, cuando la fortuna sea suficiente, independientemente de los resultados obtenidos en las jugadas anteriores.

Ejemplo 2.3 Sea a E (0, 1] y definamos 1 n

como

Z) = a S para n = 0,1, .... Se tiene que {e : n = 1,2, ...} define una estrategia de apuestas. Notemos que cuando a 1, el jugador apuesta toda su fortuna acumulada en cada jugada mientras que para a E (0, 1) solo apuesta un porcentaje de ella.

En muchos de los juegos de apuestas, el criterio para decidir la cantidad a apostar se basa solamente en el resultado del ltimo juego. En este caso, la estrategia se representa por funciones e+i : { 1, 1} --I [0, oo) para n = 0, 1, .... Un ejemplo de este tipo de estrategia de apuestas es el siguiente:

Ejemplo 2.4 En primer lugar se determina la cantidad que se desea ganar,

la cual denotamos por C. En el primer juego se procede a apostar precisamente esta cantidad. Si se gana, el ciclo ha terminado; si se pierde, se apuesta el doble nuevamente al mismo resultado en la siguiente jugada. Si se gana se habr ganado en esa jugada 2C, y como en la anterior se perdi C la ganancia neta del jugador ser de C. Si se ha perdido en la segunda jugada se procede a apostar 4C nuevamente al mismo resultado (el doble de lo perdido en la jugada anterior). Si se gana en esa jugada (la tercera), se

26

habr ganado entonces 4C, y como en las jugadas anteriores se ha perdido C y 2C, la ganacia neta es de C. As sucesivamente se contina jugando hasta' ganar una sola vez, con lo que la ganancia neta ser precisamente C. En resumen, la estrategia puede describirse como sigue: se apuesta en un principio C y cada vez que se pierda se apuesta el doble de la cantidad perdida en la jugada anterior; se procede de esta manera hasta ganar una sola vez. De aqu, podemos representar esta estrategia como si .Z = 1 en+,(z,)= si Zu = 1 para n = 1, 2, y e l C. Notemos que si T es la variable aleatoria que representa el nmero de juegos que se realizan hasta ganar por primera vez, y suponiendo que P[Zu = 1] para cada n, entonces P[T < oo] 1, pues bajo estas condiciones T sigue una distribucin geomtrica con parmetro 1. Lo anterior significa que aplicando esta estrategia, se ganar con probabilidad 1 en alguna ocasin.

{r

Es claro que el desarrollo del juego depende fuertemente del valor de 1], i 1, 2, Este hecho lo establece el siguiente resultado.

Proposicin 2.5 Sea {en : n = 1,2, ...} una estrategia arbitraria, S u definido

por (2.2) y p P[Zu 1] para todo n E N, Si p 1, entonces E[S, 1 1 Su , ..., So] = Su c.s.; Si p > 1, entonces E[Su+i Su , ..., So] > c. s.; e) Si p < 1, entonces E[Su i I Su, ..., So] < Su
Demostracin. Observemos que la relacin H(Z0,...,Zu):= es uno a uno, donde Su es la fortuna del jugador acumulada hasta la nsima

jugada, n

0, 1, ... (ver (2.1)). Por lo tanto, aplicando el Teorema 1.22 c),

(2.4) Zo] = E[Su+i 1 Su, .., So] c.s.. Por otro lado, de (2.2), el Teorema 1.22 b), y el hecho de que las variables

E[So-E i 1 Zu,

Z.,'s son independientes, se tiene

E[Su+i 1 Zu , ...,Z0] = E[Su + Zn+1 en+i(zo,.., Z4 I Zu, Z0] (2.5) E[Sri Zo] + E[Zu+.1 ti.-1-1( Zo, Zn) I Zn, ...,70] = Sn + eo+1( Zo, Zr,)424 -1. 1 Zu, Zol = Sn + TH-1( Zo, , Zn)E[Z7t+1]
27

Si p = entonces E[Zi] = O para todo i E N. Por lo tanto, la parte a) se sigue de (2.4) y (2.5). Similarmente, si p < 1, entonces E[Zi] = 2p 1 < O para cada ti. Ahora, como las variables aleatorias et 's son no negativas, (2.4) y (2.5) implican la parte b). La parte e) se sigue anlogamente a la parte b). Observemos que de la Proposicin 2.5 y del Teorema 1 22 a), obtenemos: entonces E[S,L+1 Sn] = O para n = 0, 1, ..., lo cual significa Si p que el jugador no espera incrementar ni disminuir su fortuna durante el juego. En tal caso decimos que el juego es un juego justo. para n = 0,1, ... cuando p > 1, es decir, el juego es favorable al jugador pues se espera que obtenga un incremento de su fortuna en cada jugada.
E[Sn+ i Sn] >
O

el juego ser desfavorable al jugador ya que e) En cambio, si p < E[5,,, 1 Sn] < O para cada n = 0,1, .... Adems, observemos que los resultados anteriores se obtienen independientemente de la estrategia que se utiliza al jugar.

2.3 Martingalas
De acuerdo a la Proposicin 2.5, introducimos la siguiente definicin:
Sean X = {X : n = 0, 1, ...} y Y = { Yn n O, 1, ...} dos procesos estocsticos discretos. Decimos que
Definicin 2.6 Y

es una martingala con respecto a la sucesin

si para todo n >

O,

E[IYI] < Do y E[Y,i+ i 1 Xn ,

Y

X0] = Yn c.s;
X

es una submartingala con respecto a la sucesin rti > 0,

si para todo

EnY,,11 < Do y E[17 1 [ 28

X0] > Yr, c.s;

e) Y es una supermartingala con respecto a la sucesin X si para todo n > 0,

E[iYni]

<

oo y E[Yn i I X, X0] < Yn

C.S.

Observemos que Y es una martingala respecto a X si y slo si Y es submartingala y supermartingala respecto a X. entonces De la Proposicin 2.5 y la Definicin 2.6 tenemos que si p 0, 1, ...} (ver (2.2)) es una martingala respecto a si misma. Si{S. : n = milarmente, si p > 2entonces {S, : n = 0,1, ...} es una submartingala y en el caso de ser p < 2 se tiene que {S, : n = 0, 1, ...} es una supermartingala respecto a si misma. Con esto, podemos decir que una martingala es un
modelo de un juego justo.

A continuacin presentamos otros ejemplos que ilustran la Definicin 2.6. Ejemplo 2.7 Sean 770 , n i , ... una sucesin de variables aleatorias discretas e independientes con E[In n < oo para n = 0, 1, ..., y sea
Yn

+ + rin

Claramente, E[lYn i] < oo. Ahora, aplicando el Por otro lado, observemos que Yn+i = Yn Teorema 1.22 b) y por la independencia de las variables aleatorias ni 's se tiene E [Yn+1 I 7/71., no] = E [Yn I 7/n, , no] + E [rIn+1 I 71n),7101 = Yn + E[Thni] Si .E[n n ] = O para todo n, entonces {Yn : n = 0, 1, ...} es una martingala respecto a { n n : n = 0,1, ...}. Si ahora tomamos E[rhi] > O para cada n = 0, 1, ..., entonces es claro que {Yn n = 0, 1, ...} es una submartingala respecto a {77 n : n = 0, 1, ...}, y si EPinl < 0 para todo n, entonces {Yn : n 0,1, ...} es una supermartingala respecto a {rin : n = 0, 1, ...}.
Ejemplo 2.8

29

a) Sean 710 , ql , ... variables aleatorias discretas, independientes, con E[ly n l] < 2 9 ce, tales que E[11n] = O y varbil = Efrin o-,j < co para n 0, 1, .... Definamos
Sn

= so +

donde So es una constante, y sea

vn = Egj2 i=1

la varianza de Sn . Entonces, el proceso {Yn : n = 0,1, ...} donde Yn = Sn vn, es una martingala respecto a {Sn : n = 0,1, ...} . En efecto, primero observemos que E[S7,9 < oo, n> O. Luego,
E [IY,, 1]

= E[18,1 vnl] < E[8.1] + v < oo.

Por otra parte tenemos

yn+1

(sin rin+i)2 syn2

2+1 2 = ( Sn rin+1) 2 Sn an 2rinF1Sn 11n +1 an2+1 2

vn)

Adems, por el Teorema 1.22 b)

E[2 11n+18n 1 sn ,., so] = 2s.E[nn+i 1 sn,

sol = 2SnE[77n+i] = 0 C.S.

pues la independencia de las variables aleatorias 7/i 's implica que nn+1 es independiente de So, ..., S n . De aqu y aplicando el hecho de que 2 E[i1+1 ]= cr n +1 , se tiene que

E[77,,,+1 cf n +1 1 Sn , 2 2
Por tanto Epti.+ 1 Yn 1 Sn, ..., So] =
= O c.s.,

So]

c.s.

+ 7 1+1 = E[27/n-ElSn 1 Sn, 1 SO] Ei1. 11n 2

Cr1+1 1 Sn, ., SO] 2+1 an 1 Sn, , SOI

lo cual significa que {Y, : n = 0,1, ...} es una martingala respecto a {Sn : n = 0,1, ...}.

30

b) Continuando con el ejemplo anterior, definamos ahora

Tn i

sn2,

entonces, por la independencia de ni 's y b) del Teorema 1.22 E [Tn+i nn

no} = ERSti + nit+i) 2 I nn>1710}

Esn + 2s,inn+1 + 7 n+1 I nu,...,n11 2 = sn + 2SnE[.+1 1 rin, ..., in] + EK2+11 2 Tn + E[77,,,+1 1 > Tu.
Por lo tanto, el proceso {Tn : n 0, 1, ...} es una submartingala respecto a {ny, : n -= O, 1, ...}.

Ejemplo 2.9 Sean Co,

distribuidas tales que

... vari ables aleatorias independientes e idnticamente P en = 11 = P en = = 2

y definamos ST1
=

e() + en

Entonces Wn. : n 0, 1, ...}, donde Yn n, es una martingala respecto a {en n = 0, 1, ...}. En efecto, como

IG + ...+
se sigue que

5 IGI +

= n + 1, C.S. (n + 1)2 + n < oe.

E111/n 11 = E[15, ni] 5_ E[SZ1+ n

Ahora, puesto que S1+ 1 + .., en , tenemos E[S1 +1 en, --161

2 en-H. Sn
Co}

52 Y 1.+1 es independiente de
+Els!,
I

Efe+1 11n, . ,. , = El+11+ 2s.EIG+11+ =-- 1+

+ 2Efen_Fis. I

esto implica que

ElYn i en, ,1o1 E[S,2, n n 11, por lo que : n

1 I Cr, , 0, 1,

0, 1, ...} es una martingala respecto a {en : n 31

A continuacin veremos algunos resultados que resumen las principales propiedades de las martingalas.

Proposicin 2.10 Sea Y = {Y, : n = 0, 1, ...} una martingala con respecto a X = {X,2 : n = 0, 1, ...} , entonces:
E[Yn+m Xn , Xol = Y. c.s. para todo n, m > O.

E[Yn] = E[Yo] para todo n.

Demostracin.
Sean Zi = (Xo, Xn) y Z2 = (Xn+1 1 Xn-l-m-1) Por el Teorema 1.23 y el hecho de que Y es martingala, tenemos
E[Yn +oi 1 Xn, Xo] = E [E [Yn+m I Xn+.--1, E[Yn+m-1 Xn/ / X01/
xo] I

X., -, Xo]

e iterando, se obtiene el resultado. Este resultado se sigue directamente de a) y la propiedad de la doble esperanza, pues = E[E[Yn X 1]] = n Observemos que si Y es una submartingala con respecto a X, entonces de la demostracin de la Proposicin 2.10 podemos concluir que E[Yn] > E[Yo], y similarmente si Y es una supermartingala con respecto a X, E[Yn] < E[Yo] para todo n. Antes de continuar con las propiedades de las martingalas veamos la siguiente definicin:

Definicin 2.11 Sea 'r una variable aleatoria positiva que toma valores en
el conjunto {O, 1, ...} U {co}. Decimos que T es un tiempo de paro respecto si el evento [T = n] es determinado por las al proceso Y = { Yn : n variables aleatorias Yo, ...,

32

Intuitivamente podemos decir que una variable aleatoria 'r con rango {0, 1, ...} U {oo} es un tiempo de paro respecto al proceso {Yr, : n = 0, 1, ...}, si la ocurrencia ( no ocurrencia) del evento "paramos al tiempo n" se puede determinar observando los valores del proceso hasta el tiempo n, es decir, observando los valores de Y0 , ..., Yr,

Ejemplo 2.12 Sea {Yn : n

Entonces

0, 1, ...} un proceso discreto y [a, 1)] C IR.

rl = min{n : Yr, E [a
es un tiempo de paro. En efecto, es suficiente observar que para cada n, podernos escribir el evento "paramos al tiempo n", [r1 n], como [9- n)

[Y0 O [a , b]] n

[a, 6)] n [Y, E [a, 111

Por lo tanto, la ocurrencia de los eventos del lado derecho de la igualdad la podemos determinar observando el proceso hasta el tiempo n.

En particular, para el proceso {S,,, : n = 0,1, ...} donde Sr, est dada por (2.2), se tiene que
Vu = min{n

(2.6)

es un tiempo de paro para cada y E IR. Adems, en este caso Vv representa el primer tiempo en que la fortuna Sit ha alcanzado la cantidad y Es por esto que en el problema de apuestas sucesivas, un tiempo de paro es la variable aleatoria que podra representar el momento en que termina el juego, digamos el primer tiempo en que la fortuna acumulada llega a cierta cantidad especfica como puede ser la ruina, o ms en general, el primer tiempo en que la fortuna tome valores fuera de un rango. Sea r un tiempo de paro respecto a un proceso {Yr, : n = 0, 1,...}, y definamos la variable aleatoria -r h n como
7-

A n = min{r, n}. Yr, si n < -r Yr si n > T

Al proceso

n 0, 1,...} definido por

11-An

se le conoce como proceso de paro. Una propiedad importante de este proceso la establece el siguiente resultado. 33

Proposicin 2.13 Sea T un tiempo de paro respecto a {Yn : n = 0, 1, ...}. Si {Yr, : n = 0, 1, ...} es una martingala, entonces {Y.,- A n : n = 0, 1, ...} tambin es una martingala; Si {Yn : n = 0,1, ...} es una submartingala, entonces { Yrmi 0, 1, ...} es una submartingala; n= n=

{Y c) Si {Yn : n = 0, 1, ...} es una supermartingala, entonces rAn 0, 1, ...} es una supermartingala.

Demostracin. Probaremos primero que {Yr A n : n = 0, 1, ...} es una < oo y E[Y- I , YTA(n-1)) 5.377-A11 = L- ,An martingala, es decir,
YrA(n-1) c.s.

Primero observemos que EllYTA nil < co pues {Yn : n = 0, 1, ...} es martingala. Sea si n < T 1 = { 1 si n > r O

Y es decir, l n es 1 si no hemos parado despus de haber observado Entonces

YrAn YrA(n-1) in(Yn Yn-1),

1, ...,Y, _1.

(2.7)

111(1.
111.1,!

y 1 = 1; ahora, si n > T, pues si n r entonces YrAn = Y, YrA ( ,) = entonces Y rA(n-1) YrAn = Yr Por otro lado, de (2.7), usando el hecho de que YrA( n_ i ) y l n estn determinadas por Y1 , ...Yn_ 1 y de que {Yn } es una martingala,

E[Ymn Yn-1,
= YTA(n-1) YrA(n-1)

= E[rmn-l) + in( Yri - Yn-1) Yn-i,

1

lnE[Yn Yn-1

I Yn-15 > Yl]

Ahora, si conocemos los valores de Y1 , ...Yn- 1 , entonces conocemos tamy bin los valores de Y-A1, ...Y.,-A(n-1). Por lo tanto, usando el Teorema 1.23 la relacin (2.7)
MYT An I YrA(n-1),YrAll
ElE[ YrAil 1 YTA(ri-i), 3 YrAll Y7L-1.1 Yl] 1 Yr-A (11-1 ) , .1
/ Y1-1 1 YrA(n-1), ,YrAll

EtE[YrAn

= E[YrA(n-1) 1 Yrn(n- 1), . YTA11 = YTA(n-1),

34

de aqu que {17TA : n 0, 1, ...} es una martingala. Los resultados b) y e) se prueban anlogamente a la parte a). n

La Proposicin 2.13 nos dice que es imposible convertir un juego justo en un juego no justo; un juego favorable en uno desfavorable; y uno desfavorable en uno favorable, sin importar el criterio que se haya decidido para parar de jugar.

2.4 Martingalas y Cadenas de Markov

El hecho de que un proceso estocstico sea una martingala nos lleva a obtener conclusiones y resultados interesantes como veremos en el siguiente captulo. Sin embargo, muchos de los procesos importantes carecen de esta propiedad, (ver Proposicin 2.5 ). como por ejemplo {Su : n = 0, 1, ...} si p Bajo estas circunstancias, lo que se buscara es una transformacin del proceso cuyo resultado sea una martingala, de tal forma que los resultados que se tienen de este nuevo proceso nos permita obtener conclusiones importanes del proceso original. Es decir, si {X : n = 0, 1, ...} es un proceso estocstico, nuestro problema es encontrar una funcin h tal que el proceso {h(Xn ) : n = 0, 1, ...} resulte ser una martingala. Desafortunadamente la existencia de dicha transformacin solo se puede garantizar para las cadenas de Markov, como lo muestra el siguiente resultado. Proposicin 2.14 Sea X = {Xn : n 0, 1, ...} una cadena de Markov homognea en el tiempo con probabilidades de transicin pxv , x, y E {0, 1, ...}, y sea h una funcin del estado x tal que
h(x) =
y=0

h(y).

(2.8)

Entonces el proceso {MT, : n = 0, 1, ...} donde Mn := h(Xn), es una martingala respecto a X.

35

Demostracin. Este resultado se sigue de la propiedad de Markov, pues

EEM +1 1 Xn = x, Xn - 1 = xn - 1, , Xo = xo] = x0] = E[h(Xn+i ) 1 Xn = x, X,i_ 1 ,
oo = E[h(X,,,1) 1 Xn = x] =

Epiyh ( y )
y=0

h(x)

De aqu que E[Mn+i 1 Xn, Xn-1, = h(Xn) = Mn.

Como observamos en la seccin anterior, el proceso {S n : n = 0, 1, ...} donde Sn representa la fortuna acumulada durante el juego hasta el tiempo n, no es, en general, una martingala. Sin embargo, como veremos a continuacin, podemos transformar el proceso {S, : n 0, 1, ...} a una martingala en el caso donde p 1, usando la Proposicin 2.14. Para esto y por simplificacin de clculos, supondremos que el jugador aplica la estrategia del Ejemplo 2.2, donde el jugador apuesta una unidad en cada jugada.. Ejemplo 2.15 Consideremos el juego de apuestas sucesivas del Ejemplo 2.2 con c = 1. En este caso tenemos
Sn+1 = S o +
2=

Z, = S. + Zn+i Pa ra n = 0,1, .

Se vi en el Ejemplo 1.28 que el proceso {Sn : n = 0, 1, ...} es una cadena de Markov con probabilidad de transicin
Pxy = P[Zi. = y x].

(2.9)

Ahora, tomando h(x) . (rn

36

donde p 13 [2. 1], n E N y aplicando (2.9), se tiene

EPxy

1 p P =P

P[Zi

y xl

(1 p\ Y P

11 p )x+1

+ (1 p) (1

p\

P )

(1 p) z

Es decir, la funcin h satisface (2.8), Y por lo tanto, el proceso {()=1 n 0, 1, ...} es una martingala respecto a {Sfi, : n = 0 , 1, - .}

37

Captulo 3 Teorema de Paro Opcional y Convergencia de Martingalas

3.1 Introduccin
4. Concluimos el trabajo presentando dos resultados clsicos en teora de martingalas: el Teorema de Paro Opcional para Martingalas Acotadas y el Teorema de Convergencia para Martingalas. Presentaremos algunos ejemplos en los cuales se pondr nfasis en la importancia de ambos resultados en las aplicaciones.

3.2 Teorema de Paro Opcional

Teorema 3.1 Teorema de paro opcional para martingalas acotadas. Sean {Yn : n = 0, 1, ...} una martingala respecto a {Xn : n = 0, 1, ...} y T un = 1. Si existe 0, 1, ...} con P[r < tiempo de paro respecto a {Xn : n una constante K tal que < K c.s. para todo n, entonces
E[11-] = E[Y0].

es una martingala, y por lo tanto, de la Proposicin 2.10,

E[YrAn] E[Yo] para todo n.

Demostracin. De la Proposicin 2.13 tenemos que {1-An : n = 0, 1 , - }

38

Adems, de la condicin I YTA7/1 < K c.s. para todo n, tenemos que IYTI < K c.s. por lo tanto IE[Yo] E[11-]1 = IE[Yr An ] E[YT]I I E RYTAn Yy ) l [y>/[41 I + I E E(Yri n Yy)11r<ni < 2KP[r > n]. oo en esta expresin, y usando la hiptesis Tomando lmite cuando n < Dei = 1, llegamos a que IE[Yo] E[Y7.]1 = O, lo cual implica que E[Yo] = El hecho de que una martingala modele un juego justo nos hace pensar que nuestra fortuna no se ver incrementada sustancialmente durante el juego, independientemente del criterio que se utilize para dejar de jugar. Observemos que esta propiedad de las martingalas la establece el Teorema 3.1.
Supongamos que en un juego de apuestas sucesivas un jugador sigue la estrategia del Ejemplo 2.2_con-e = 1, es decir, que en cada turno apuesta siempre una unidad. Sea p = P[Zn 1],nENy.5', la fortuna acumulada hasta la nsirna jugada definida en (2.3). Supondremos adems que la fortuna inicial del jugador es So = x. El objetivo es calcular la probabilidad de que el jugador incremente su fortuna a cierta cantidad "b" antes de que disminuya a cierta cantidad "a". El ceso a = O se le conoce como problema de la ruina del jugador. En trminos del tiempo de paro Vy definido en (2.6), lo que queremos calcular es 19.[V6 < Va], donde x e (a, b), a, b, x nmeros enteros no negativos y Px(') 1=-- P [ I So x]. Este clculo se deriva de una simple aplicacin del Teorema 3.1, considerando el tiempo de paro V = min{n > O : Sn (a, b)} y usando el hecho de que los eventos [Sv = b] y [14 < Val son equivalentes, implica que
Ejemplo 3.2

P.[Sv = b] = Pz [Vb < Va].

(3.1)

Para esto, primero veamos que Pi [V < Gol = 1. En efecto, independienx, existe una trayectoria con temente del valor de la fortuna inicial So probabilidad positiva (so, ..., sb_a , ...) del proceso {Sn : n = 0, 1, ...} tal que Sb_ (a, b), lo cual implica que P[Sb_a (a , b)] > O. Por lo tanto, existe k > O tal que Ps [V < < 1 -y. > ry > O, lo cual implica que Pz [V >

39

Ahora aplicando el hecho de que {Sn : n = 0,1, ...} es una cadena de Markov (ver Ejemplo(2.15)) se puede ver que Px [V > 2k] < (1 -y ) 2 . En general tendremos (ver, e.g. (51) Px [V > nk] < (1 li ) n para todo n > 1. Haciendo n oo en esta expresin llegamos a que Px [V < oo] = 1. Como se mostr en la Proposicin 2.5, solo cuando p 3/4 el proceso {S n : n = 0,1, ...} es una martingala. En este sentido, el clculo de Px [14 < Va] lo haremos en dos partes: Consideremos primero el caso p = 3/4. Es claro que Slim,/ E [a, b] para todo n > 0, y por lo tanto {SvAn : n = 0,1, ...} es una martingala = 1 (es decir, acotada. Adems, por el hecho dequ disminuir en una unidad), Sv E la fortuna solo puede incrementar ode e {a, b} . Entonces, del Teorema 3.1 se sigue que x = E1 [510 ]= Ex[Sv] aPx [Sv = a] + bPx [Sv = b], donde Ex [1 := [. [ So = x], es decir, Ex [] es el operador esperanza correspondiente a la probabilidad Px . Ahora, como Px [Sv = a] = 1 Px [Sv = b], tenemos x = a + (b a)Px [Sv = b]. Finalmente, por (3.1) concluimos-- Px [Vb < Va] = xa
ba

, Vx E (a, b).

3/4, {S, : n = 0,1, ...} no es una martingala. Sin embargo, Si p por el Ejemplo(2.15), {h(Sn ) : n = 0,1, ...} es una martingala donde An mas, como SVAn E [a, b] para todo n > 0, entonces h(y) = {h(Sv An ) : n = 0, 1, ...} es una martingala acotada, y por lo tanto, del Teorema 3.1 Ex[ h (Sv)] = Ex[h(So)] = Ex

[e

;p) s,1 =

1'12)x

40

Por otro lado, siguiendo argumentos similares al caso p = 1, tenemos Ex [h(Sv)1 h(a)Px [Sv = a] + h(b)Px[Sv

(1 1 a Px[sv= a]+ ( 1
P

Px [Sv 14
)

-- 29 ) a ) por tanto

pay =

j [(

P )

Px[Vt < Va) =

( LE P b

Y (1)a E2
/.

VX E (a,b).

( ICE )

3.3 Teorema de Convergencia de Martingalas

Antes de establecer el teorema, primero veamos algunas definiciones y resultados. Definicin 3.3 Sean X1 , X2 ,..., X variables aleatorias definidas en el mismo espacio de probabilidad. Decimos que X. converge a X en L 2 , si

E[IX Xl 2] O cuando n cc. Lema de Fatou Si {Y. : n 0, 1, ...} es una sucesin de variables aleatorias tales que //y, > Y c..s para todo n y alguna variable aleatoria Y tal que E[lY1] < ce, entonces inf Yn] < lim inf E[Yr,]. Desigualdad de Doob-Kolmogorov Si : n = 1,2, ...} es una martingala respecto a {Xn : n = 1,2, ...}, entonces P[max ]11,1 > E) < 1 E[Y2] para
1<t<ri E2 n E >

O.

41

Demostracin.

Sean
< Ei para k = 1, 2, ...

Ao = Q,
Ak = < E , ..., Bk = Ak-1 n

observemos que U B i = [max IY1 > e], y adems 1<i<n

i=1

A U Bk = [ I Yi I <
k

< E, k < U
IY I

<

<E

(Ak _

n [NI < E]) u (Ak_i n [ I Ykl  e])

k
1, 2, ....

Por lo tanto
Ak U (UBi) = Ak U Bi U ... U Bk = Ak_i U B i U ... U Bki
= U B1 U U

Bk-2

Al U Bi < El U (52 n

= W1 1 < El u (A, n

> EI) > Ell

=

I < 5 1 U [I YI I -

adems, sta es una unin ajena. En efecto, es claro que B i n 13 = 0 si j, y como Ak n B i = 0 para cada i < k, se sigue que en efecto, para cada 1, 2, ... se tiene k
Ak n (UB,) = (A k

n B i ) u ... u (A k n Bk )

0,

t=i

As, de lo anterior tenemos,

E[Yr,2 ]= E[Y,., 1,4,1 E[Y, 1

i2

3 B1
i=1

E[Y,2 l An] +

E[Y,i2 1,3j > EE[Yn2 iBs], 42

por ser Y2 > O. Por otro lado, para cada i 1, n, E [Y2

1

B, ]=

Y, + Y,)2. 1B,]
in Yi.)Yi 1 13 i ] E[Y,2.

-= ERY Yi ) 2 lai +2E [(

Notemos que
ERY,2 Y,D 2 1 8,1>

O, i = 1, ...,n.

Adems, E [Y2 15,] E[ E 2

18,] = E

2 E[18,]

E 2 P[B i ],

i = 1,

Ahora, aplicando a) y b) del Teorema 1 22

ERY Y)Yi ti

1 Bil E iE RYn Yi) Yi le, 1 Xo ...X1]] E[Y 1B, E RY Yi) I Xi, i =0.

Esto ltimo se debe a que por a) en el Teorema 2.10, E[Y, 1 X ...X1] = Y, Para i = 1,...,n. y E [Y, I Por lo tanto, E [Y2] Es2 /1934.
i=1

Finalmente como U B, = [max IY,I > e], se sigue que i<i<n i=i
E[112]

e2 P[Bi] = e2 P[max IY, I _ e].

Teorema 3.4 Teorema de convergencia de martingalas. Si {Yr,: n 1, 2 , .} es una martingala respecto a {X : n = 1,2, ...} tal que E[Y] < M < cc para algn M y todo n, entonces existe una variable aleatoria Y tal que Yr, converge a Y casi seguramente y en L 2. 43

Mostremos primero que {EIY21 : 71 = 1,2, ...} es una sucesin convergente. Para esto, observemos que
Demostracin.

E[Y,(Y,+ Y,)] = E[YmE[Ym 1 Xm, ya que por a) de la Proposicin 2.10

E[17,,+ 1 Xn...X1 ] = Ym,

= 0, m, n > 1

Adems, E[1772 4,] = E[Y,2 ] E[(Y,+ Y,) 2], n pues

E[Y,,, ] + E [(Ym +n Ym) 21 = E [Y2] + E[Y,1+ 2Ym+n Ym + Y2] 2 = E[Y2 1_,J E[Y,n 2Ym+n Ym + 12] 2 = E[Y,2 _kn ] E[2YZ 2Y,Ym]

(3.2)

2E[Ym _FnY, Ir,2] = E[Y,2 _] 4- 2E[Yra ( Y " m+n )]

E[17,2 +n]

Por lo tanto, E[1724,,..] E[112] para cada rt.

Se sigue que {E[Y2] : n = 1, 2, ...} es una sucesin no decreciente y acotada por M (por hiptesis), por lo tanto {E[Y,,2] : n = 1, 2, ...} converge. Supongamos, sin prdida de generalidad, que E[Y2] n M cuando n --> ce. (3.3)

Enseguida mostraremos que la sucesin {Y,(w) : n = 1,2, ...} converge casi seguramente. Para sto probaremos que el conjunto de puntos donde la sucesin es de Cauchy tiene probabilidad 1. Sea C {w E SZ : {Y,(c4))} es de Cauchy }. Entonces C {u) E SZ : para cada e > O, In (e , w) tal que 111. Yrn+3 1 (w) < E Vi, j >
44 1}.

Por la desigualdad del tringulo - - -i Ym+i Yrati 5- i Ym+i Yrni

I

Ymi

C.S.

as que C {w E
e>0 m

para cada e > 0, 1m tal que IY,n+i 17,2 1 (w) < E Vi > 1}

=nu{ni-Yrni<E para todo i > 1}.

Por lo tanto el complemento de C se debe expresar como Ce =Ym
e>0 m
e

para algn i > 1} ,

o bien,

Ce = un Am(E),
e>0 m

donde Am (E) ---= [int+i Ya' > e para algn i > 1]. Ahora, observemos que
Ain(d) si E >

por lo que
P[C c ] lim P[nAm (s)] < lim lim P[A,(6)].

Probaremos que .13 [C]= 0. Para esto es suficiente mostrar que P [Arn (E)] n O cuando m oo para todo E > 0. Es aqu donde usaremos la Desigualdad de Doob-Kolmogorov. Para m fijo, definamos la sucesin {,9 : n = 1, 2, ...} como Sn = Observemos que {S,-, : n 1, 2, ...} es una martingala respecto a s misma, ya que por a) en Proposicin 2.10
EL5n+1

I X rn+n,
= E[Y,+. 4. 1

Etnia-m-1 Xm+. ,

Y, I X

..., X1]
X I]

E[Yni

I Xm + n ,

= Ym+, Ym = Sn 45

De aqu y (1.23) tenemos

E[S i 1 S, ..., = E[E[S,44 I X ni+,, . , X 1 ] 1 Su, S1] = E[S S, = S,.

Aplicando entoces la Desigualdad de Doob-Kolmogorov a esta martingala tenemos P[jY,+, Y,,4 > E para algn 1 < i < n] < E[(Y,n + Y,42].
Haciendo n

> Do y usando las ecuaciones (3.2) y (3.3)se tiene

1 P[Ani(e)] < p(M E[Yjj)

Pi

y por tanto P[A,(e)] --> O cuando m oo. Con esto hemos probado que {Y,(w) : n ...} es Cauchy convergente en C, por lo tanto existe una variable aleatoria Y tal que Y,, c 4 Y. Por otra parte, probar que Y, converge a Y en L 2 se sigue directamente del Lema de Fatou y las ecuaciones (3.2) y (3.3): E[(Y Y) 2] = E[li m inf(112 Y_) 2 ] < liminfERYn Ym)21
171-1 00 M-.00 = M

E [Y,i2 ] --> O cuando n --> oo.

Recordemos el Ejemplo 1.29. Encontramos que existe una cadena de Markov {X, : n = O, 1, ...} que toma valores en {O, 1, ..., N} con probabilidades de transicin dadas por
Ejemplo 3.5 pn (N)

N )u ( 1

X ) N ---Y

(3.4)

Observemos que por la propiedad de Markov E[X,+ i

1 Xn = Xn, Xo = x o] = E [Xn+1 1 Xn = xn],

46

y ademsEntonce,s por la propiedad de Markov y (3.4)

N E[X

N
=0

n i 1 Xn = xn] = Ej P[Xn+i = j I Xn, = x n] =

jr-0

(1)i (1 = =o N ( xn ) = xn, N N \ l x \.7 1,, pues E (\N es la expresin para la esperanza de una vaN I j=o k il NI riable aleatoria con distribucin binomial con parmetros N y 57 . De aqu que {XX : n = 0, 1, ...} es una martingala. Por otro lado, como E[X,24] < N2 < oo, del Teorema 3.4 se sigue que existe X tal que

47

Bibliografa
L. Breiman (1986), Probability, Addison-Wesley. Tomasz Bojdecki (1985), Ciencia, Qu es y para qu sirve una martingala?, pgs. 59-65. J. L. Doob (1971), The American Mathematical monthly, What is a Martngale?, pgs. 451-463. L. Dubins and L.J. Savage (1976), Inequalities for Stochastic Processes, Dover, New York. R. Durrett (1999), Essentials of Stochastic Processes, Springer, New York. W. Feller (1985), Introduccin a la Teora de Probabilidades y sus Aplicaciones, Vol. II, Segunda Edicin, LIMUSA, Mxico, D.F.. Grimmett and D.R. Stirzaker (1992), Probability and Random Processes, Oxford Sc. Pub. S.M.Ross (1983), Stochastic Processes, John Wiley Sons.

48