Indice general

Indice general

1. Teora de la Probabilidad
1.1. Medida de Probabilidad . . . . . . . . . . . . . . . . . . .
1.2. Asignacion de Probabilidades . . . . . . . . . . . . . . . .
1.2.1. Conteo: Conceptos Fundamentales de Combinatoria
1.3. Probabilidad Condicional . . . . . . . . . . . . . . . . . . .
1.3.1. Dependencia e Independencia . . . . . . . . . . . .
1.4. Teorema de Bayes . . . . . . . . . . . . . . . . . . . . . . .
1.5. Redes Probabilsticas . . . . . . . . . . . . . . . . . . . . .
1.5.1. Sistemas Inteligentes . . . . . . . . . . . . . . . . .
1.5.2. Sistemas Inteligentes Probabilsticos . . . . . . . . .
1.5.3. Redes Bayesianas . . . . . . . . . . . . . . . . . . .
1.5.4. Razonamiento Probabilstico. Inferencia . . . . . .
1.6. Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . . .

.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.

1
1
2
4
6
6
7
10
11
12
15
16
16

CAPITULO 1
Teora de la Probabilidad

1.1. Medida de Probabilidad

Para medir la incertidumbre existente en un experimento aleatorio1 dado,
se parte de un espacio muestral M en el que se incluyen todos los posibles resultados individuales del experimento (sucesos elementales); es decir,
el conjunto muestral es un conjunto exhaustivo (contiene todas las posibles
ocurrencias) y m
utuamente exclusivo (no pueden darse dos ocurrencias a
la vez). Una vez definido el espacio muestral, el objetivo consiste en asignar a todo suceso compuesto A M un n
umero real que mida el grado
de incertidumbre sobre su ocurrencia. Para obtener medidas con significado
matematico claro y practico, se imponen ciertas propiedades intuitivas que
definen una clase de medidas que se conocen como medidas de probabilidad.
Definici
on 1.1 Medida de Probabilidad. Una funcion p que proyecta los
subconjuntos A M en el intervalo [0, 1] se llama medida de probabilidad si
satisface los siguientes axiomas2 :
Axioma 1 (Normalizaci
on): p(M) = 1.
1

Un experimento se denomina aleatorio cuando puede dar resultados distintos al realizarse en las mismas condiciones (por ejemplo, lanzar un dado al aire y observar el nmero
resultante).
2
Formalmente, una medida de probabilidad se define sobre una -algebra del espacio
muestral, que es una coleccion de subconjuntos que es cerrada para los operadores de union

AB y complementario A = M\A (por tanto, tambien para intersecciones AB = A B).

Sin embargo, optamos por una definicion menos rigurosa y mas intuitiva para introducir
este concepto.

1. TEORIA DE LA PROBABILIDAD

Axioma 2 (Aditividad): Para cualquier sucesi

on infinita, A1 , A2 , . . .,
de subconjuntos disjuntos de M, se cumple la igualdad
p

[
i=1

Ai =

p (Ai ).

(1.1)

i=1

El Axioma 1 establece que, independientemente de nuestro grado de certeza,

ocurrira un elemento del espacio muestral M (es decir, el conjunto M es
exhaustivo). El Axioma 2 es una formula de agregacion que se usa para
calcular la probabilidad de la union de subconjuntos disjuntos. Establece que
la incertidumbre de un cierto subconjunto es la suma de las incertidumbres
de sus partes (disjuntas). Notese que esta propiedad tambien se cumple para
sucesiones finitas.
De los axiomas anteriores pueden deducirse propiedades muy interesantes
de la probabilidad. Por ejemplo:
Complementariedad: La probabilidad de un suceso y la de su com = 1.
plementario suman uno, p(A) + p(A)
Normalizaci
on: La evidencia asociada a una ausencia completa de
informacion es cero, p() = 0. Su demostracion es sencilla:
1 = p(M) = p(M ) = p(M) + p() p() = 0.
Acotaci
on: La probabilidad de cualquier suceso es menor o igual que
la unidad, p(A) 1, para A M.
Monotonicidad: La evidencia de la pertenencia de un elemento a un
conjunto debe ser al menos la evidencia de cualquiera de sus subconjuntos. Si A B M, entonces p(A) p(B).
p(B) = p((B A)(B \A)) = p(A(B \A)) = p(A)+p(B \A) p(A).
Inclusi
on-Exclusi
on: Dado cualquier par de subconjuntos A y B de
M, se cumple siempre la siguiente igualdad:
p(A B) = p(A) + p(B) p(A B).

(1.2)

Esta propiedad establece que las probabilidades de los conjuntos A, B, A

B, y A B no son independientes.

1.2. Asignacion de Probabilidades

Para un mismo experimento aleatorio, existen numerosas medidas de probabilidad que cumplen los axiomas anteriores; sin embargo, la medida de
probabilidad que se asigna a un experimento real debe de ajustarse a la incertidumbre real asociada con cada uno de los posibles sucesos. As, sabemos

 DE PROBABILIDADES
1.2. ASIGNACION

que al jugar a los dados, los seis nmeros tienen la misma probabilidad de ocurrir, si los dados no estan trucados. Esta idea se corresponde con el enfoque
clasico de la asignacion de probabilidades, que se remonta al nacimiento de
esta disciplina (Bernoulli, Laplace), y se basa en el principio de indiferencia:
todos los sucesos elementales del espacio muestral son equiprobables (por
ejemplo, en el caso de un dado no trucado). En este caso, la probabilidad
de un suceso dado se puede obtener como el cociente del n
umero de casos
favorables a dicho suceso entre el n
umero de casos posibles.
En la practica, la probabilidad asociada a un suceso cualquiera de un
experimento se puede asignar repitiendo el experimento un n
umero suficiente
de veces y observando las frecuencias relativas de dicho suceso. Por ejemplo, si
se quiere asignar una probabilidad a los suscesos elementales del lanzamiento
de un dado, se puede repetir el experimento un n
umero elevado de veces y
observar las frecuencias de aparicion del 1, 2, 3, 4, 5 y 6; en este caso, si
alguna de las frecuencias se separa mucho del valor 1/6 se puede concluir que
es un dado trucado. Ello lleva a definir la probabilidad de un suceso A como
el lmite asintotico de la frecuencia relativa de ocurrencia de dicho suceso en
la realizacion del experimento: p(A) = n
lm fn (A), donde fn (A) representa
la frecuencia relativa del suceo A en n realizaciones del experimento. En
la practica una aproximacion del lmite asintotico se obtiene repitiendo el
experimento un n
umero suficientemente elevado de veces, a partir del cual
fn (A) se estabiliza.
Por ejemplo, si queremos asignar una probabilidad a los distintos sucesos
meteorologicos que pueden producirse seg
un la estacion del a
no, la direccion
del viento y la ausencia o no de lluvia, podemos definir una medida de probabilidad en base a las frecuencias observadas en un perodo amplio de tiempo
(por ejemplo, diez a
nos):
N=3650
NE
SE
SW
NW

INVIERNO
Seco Lluvia
190
99
24
18
98
223
49
150

PRIMAVERA
Seco Lluvia
287
166
6
4
18
119
95
277

VERANO
Seco Lluvia
360
162
1
9
15
71
108
251

OTONO
Seco Lluvia
177
89
33
26
94
248
36
147

Una vez que se han hallado las probabilidades de los sucesos elementales,
se pueden aplicar las propiedades de la probabilidad descritas anteriormente
para calcular la probabilidad de sucesos compuestos como que sea invierno
o llueva, que el viento no sople del NE, o que sea invierno y llueva.
Ejemplo 1.1 (Lanzamiento de un dado). Un ejemplo clasico que ilustra
los axiomas y la asignacion de probabilidades es el del lanzamiento de un
dado no trucado. En este caso el espacio muestral es M = {1, 2, 3, 4, 5, 6}, es
decir, el conjunto de los posibles resultados del lanzamiento. Las frecuencias
relativas de cada uno de estos sucesos elementales convergen al valor 1/6,
indicando que son equiprobables (ver figura 1.1). A partir de esta asignacion
de probabilidades, y utilizando las propiedades de las medidas de probabilidad,

1. TEORIA DE LA PROBABILIDAD

se puede calcular p({1, 3}) = p({1}) + p({3}) = 1/3, p(impar) = p{1, 3, 5}

= 1/2, etc.
Un experimento equivalente a lanzar el dado consiste en extraer una bola
de una urna que contiene seis bolas numeradas. Como se ve en la figura
1.1 los espacios muestrales y las asignaciones de probabilidades coinciden en
ambos casos, indicando que ambos experimentos son equivalentes.
x Ps(x) s(x)
1
2

Dado

P(x)

1
2
3
4
5
6

1/6
1/6
1/6
1/6
1/6
1/6

3
6

1
2
3
4
5
6

1/6
1/6
1/6
1/6
1/6
1/6

1
1
1
1
1
1

Urna 1
x Ps(x) s(x)

2
2

1
2

4
3

1
2
3
4
5
6

1/9
3/9
1/9
2/9
1/9
1/9

1.5
0.5
1.5
0.75
1.5
1.5

Urna 2

Figura 1.1: Experimentos aleatorios equivalentes y no equivalentes.

1.2.1. Conteo: Conceptos Fundamentales de Combinatoria

En numerosas situaciones practicas, el problema de la asignacion de probabilidades se reduce a un simple problema de combinatoria en el que es
necesario contar el n
umero de resultados posibles (sucesos elementales) y
cuantos de estos son favorables al suceso cuya probabilidad se quiere calcular.
La siguentes definiciones muestran las reglas de conteo mas elemtales, con
las cuales pueden resolverse numerosas situaciones practicas.
Definici
on 1.2 Regla multiplicativa. Dados k conjuntos con n1 , . . ., nk
elementos, respectivamente, el n
umero de muestras distintas de k elementos
que pueden obtenerse tomando un elemento de cada conjunto es n1 . . . nk .
Definici
on 1.3 Combinaciones y Variaciones. Dado un conjunto de n
elementos, el n
umero de suconjuntos (no importa el orden) de m elementos
distintos que pueden formarse viene dado por el n
umero combinaciones de n
elementos tomados de m en m:

n
Cm

n
m

n!
.
(n m)! m!

(1.3)

 DE PROBABILIDADES
1.2. ASIGNACION

Por otra parte, el n

umero de conjuntos con elementos repetidos viene dado
por las combinaciones con repetici
on:

n
CRm
=

n
m

(n + m 1)!
.
(n 1)! m!

(1.4)

En cambio, el n
umero de vectores (conjuntos ordenados) de m elementos
distintos viene dado por variaciones de n elementos tomados de m en m:
Vmn = n(n 1) . . . (n m + 1) =

n!
.
(n m)!

(1.5)

Asmismo, cuando existe repetici

on se habla de variaciones con repetici
on
n
V Rm
= mn .
La regla multiplicativa permite dividir un problema en partes (que seran
finalmente multiplicadas) y las variaciones y combinaciones permiten tratar
cada una de estas partes.
Ejemplo 1.2 En una competici
on donde participan 50 atletas, Cuantos podium (primero, segundo y tercero) distintos se pueden dar?, de cuantos formas distintas se puede elegir el conjunto de los tres mejores atletas?
El n
umero total de podium distintos viene dado por las permutaciones de las 50
personas tomadas de tres en tres 20 19 18
= 6840. En cambio, las posibilidades
para elegir a los tres mejores atletas son 20
= 1140.
3

Ejemplo 1.3 Al lanzar una moneda 4 veces, de cuantas formas se pueden

obtener 3 caras?. Y dos caras y dos cruces?.
De

4
3

=4y

4
2

= 6, respectivamente.

Ejemplo 1.4 (El problema de cumplea

nos). Si k personas estan en una
habitacion, Cual es la probabilidad p(k) de que almenos dos personas cumplan a
nos el mismo da?.
El n
umero total de combinaciones de das para los cumplea
nos de k personas es
365k . Calculamos la probabilidad del suceso complementario al pedido en el enunciado, es decir, el suceso todas las personas cumplen a
nos en das distintos.
El n
umero de permutaciones posibles es a = 365 364 . . . 365 k + 1 =
365!/(365 k)!. Por tanto la probabilidad de que todas la personas cumplan a
nos
k
en das distintos es b = a/365 y la probabilidad de su suceso complementario, es
decir, que al menos dos personas cumplan a
nos el mismo da ser
a:
p(k) = 1 b = 1

365!
Vk365
=
1

.
365k (365 k)!
V Rk365

Por ejemplo, se puede observar que para que la probabilidad sea mayor de 0.5
es necesario un grupo de, al menos, 21 personas.

1. TEORIA DE LA PROBABILIDAD

1.3. Probabilidad Condicional

El conocimiento de la ocurrencia de un suceso puede modificar las probabilidades de otros sucesos. Por ejemplo, la probabilidad de obtener un dos
al lanzar un dado cambia si se sabe que el resultado es un n
umero par, tambien la probabilidad de que un paciente tenga una enfermedad dada puede
cambiar tras el conocimiento de los resultados de un analisis de sangre. Por
ello, cada vez que se dispone de nueva informacion, las probabilidades de los
sucesos pueden, y suelen, cambiar. Esto conduce al concepto de probabilidad
condicional.
Definici
on 1.4 Probabilidad condicional. Sean A e B dos sucesos tales
que p(B) > 0. Entonces, la probabilidad condicional de A dado B viene dada
por
p(A B)
p(A|B) =
.
(1.6)
p(B)
La ecuacion (1.6) implica que la probabilidad del suceso A B viene dada
por
p(A B) = p(B)p(A|B).
(1.7)
Esta formula puede generalizarse para intersecciones de mas conjuntos,
dando lugar a la llamada regla de la cadena:
p(A1 A2 . . . An ) = p(A1 )p(A2 |A1 ) . . . p(An |A1 . . . An1 ).

(1.8)

Esta formula puede probarse de forma sencilla a partir de (1.7).

1.3.1. Dependencia e Independencia

Cuando un suceso sucesos no suministra informacion alguna sobre la ocurrencia de otro se dice que estos dos sucesos son independientes.
Definici
on 1.5 (Independencia de sucesos) Sean A y B dos sucesos tales
queP (A) > 0 y P (B) > 0, se dice que el suceso B es independiente del A si
P (B/A) = P (B).
Una propiedad importante de la relacion de independencia es su simetra.
Recordando la definicion de probabilidad condicionada se tiene
P (B/A) =

P (B A)
= P (B)
P (A)

P (A B) = P (A) P (B)

y por tanto
P (A/B) =

P (A) P (B)
P (A B)
=
= P (A)
P (B)
P (B)

1.4. TEOREMA DE BAYES

luego si A es independiente de B, tambien B es independiente de A, por lo

que se dice que A y B son independientes. Notese que en la definicion 1.5
puede utilizarse la condicion
P (A B) = P (A)P (B)

(1.9)

Ejemplo 1.5 Supongamos que durante 10 aos los fenomenos: estacion del
ao, direcci
on del viento y lluvia se han dado con las frecuencias mostradas
en la siguiente tabla:

N=3650
NE
SE
SW
NW
TOTAL

ANUAL
Seco Lluvia
1014
516
64
57
225
661
288
825
1591
2059

INVIERNO
Seco Lluvia
190
99
24
18
98
223
49
150
361
490

PRIMAVERA
Seco Lluvia
287
166
6
4
18
119
95
277
406
566

VERANO
Seco Lluvia
360
162
1
9
15
71
108
251
484
493

OTOO
Seco Lluvia
177
89
33
26
94
248
36
147
340
510

Si tomamos como sucesos elementales cada una las posibles combinaciones (estacion, viento, lluvia), podemos calcular:
P (lluvia) = 2059/3650 = 0.564.
P (lluvia|SW ) = P (LL SW )/P (SW ) = 661/886 = 0.746
De esta forma vemos que los sucesos lluvia y viento son dependientes.
Supongamos ahora que en lugar de considerar la estacion del ao, consideramos la fase lunar:

N=3650
NE
SE
SW
NW
TOTAL

ANUAL
Seco Lluvia
1014
516
64
57
225
661
288
825
1591
2059

Llena
Seco Lluvia
255
137
12
12
59
165
51
192
377
506

C. Menguante
Seco Lluvia
208
106
16
16
65
166
77
231
366
519

C. Creciente
Seco Lluvia
297
132
22
12
58
175
82
225
459
544

Nueva
Seco Lluvia
254
141
14
17
43
155
78
177
389
490

Ahora:
P (lluvia) = 2059/3650 = 0.564.
P (lluvia|CC) = 490/(490 + 389) = 0.557
P (lluvia|LN ) = 544/(544 + 459) = 0.542
P (lluvia|CM ) = 519/(519 + 366) = 0.586
P (lluvia|LL) = 506/(506 + 377) = 0.573,
lo que indica que la lluvia y la fase lunar son independientes.

1.4. Teorema de Bayes

El teorema de Bayes es una u
til formula que nos permite dar la vuelta.a
las probabilidades condicionadas y resolver casos practicos en los que la inforamcion disponible a priori no permite realizar el calculo de forma directa.

1. TEORIA DE LA PROBABILIDAD

Teorema 1.1 (Probabilidad total). Sea {A1 , A2 , . . . An } una clase exhaustiva (su union es el espacio muestral) de sucesos incompatibles dos a
dos. Entonces se tiene que
P (B) =

n
X

P (B/Ai ) P (Ai )

i=1

Este teorema se puede demostrar facilmente de la siguiente forma:

P (B) = P (B (

n
S

i=1

Ai )) = P (

n
P
i=1

n
S

i=1

(B Ai )) =

P (B Ai ) =

n
P
i=1

P (B/Ai ) P (Ai )

Por ejemplo, la siguiente figura muestra (en su zona sombreada) los individuos que poseen una enfermedad (cancer de estomago), denotado con g,
mientras que la zona blanca son los individuos libres de la enfermedad, g
(estos dos sucesos son exhaustivos e incompatibles). A su vez, existen otros
sucesos (sntomas) presentes en la poblacion. El teorema de la probablidad
total dice que la probabilidad de un sntoma (por ejemplo, dolor d) se puede
obtener como P (d) = P (d|g)P (g) + P (d|
g )P (
g ).

Teorema 1.2 (Bayes). En las condiciones del teorema anterior se tiene:

P (B/Ai ) P (Ai )
P (Ai /B) = P
n
P (B/Ai ) P (Ai )
i=1

La demostracion de este teorema tambien es muy sencilla:

P (Ai B) = P (B/Ai ) P (Ai ) = P (Ai /B) P (B)

1.4. TEOREMA DE BAYES

y despejando P (Ai /B) y teniendo en cuenta el teorema de la probabilidad

total resulta el teorema de Bayes.
A las probabilidades P (Ai ) se las suele llamar probabilidades a priori, por
ser las probabilidades antes de conocer la informacion B. Las probabilidades
P (Ai /B), que son las probabilidades de Ai despues de conocer la informacion B, reciben el nombre de probabilidades a posteriori. Finalmente, las
probabilidades P (B/Ai ) se llaman verosimilitudes.
Los conceptos presentados en este captulo tienen mucha importancia
en diversos campos aplicados como, por ejemplo en la inteligencia artificial
(sistemas expertos probabilsticos) pues permiten inferir conclusiones en base
a informacion cuantitativa; en estos sistemas, los modelos de aprendizaje se
basan fundamentalmente en la probabilidad condicionada. En el siguiente
ejemplo se muestra una de las aplicaciones mas importantes de este campo
(el diagnostico medico) a la vez que se ilustra la aplicacion del teorema de
Bayes.
Ejemplo 1.6 (Diagn
ostico M
edico).Un centro medico tiene una base de
datos consistente en los historiales clnicos de n = 1000 pacientes; hay 700
pacientes (la region sombreada) que tienen la enfermedad adenocarcinoma
gastrico (g), y 300 que no la tienen. Tres sntomas, dolor (d), p
erdida de peso
(p) y v
omitos (v), se considera que estan ligados a esta enfermedad. Por
tanto, cuando un paciente nuevo llega al centro medico, hay una probabilidad
700/1000 = 70 % de que el paciente tenga adenocarcinoma gastrico. Esta es
la probabilidad inicial, o a priori, puesto que se calcula con la informacion
inicial, es decir, antes de conocer informacion alguna sobre el paciente. Por
tanto, pueden hacerse las afirmaciones siguientes:
probabilidad a priori: 440 de 1000 pacientes vomitan. Por ello, p(v) =
card(v)/n = 440/1000 = 0.44, donde card(v) denota la frecuencia absoluta de pacientes de la base de datos que vomitan. Esto significa que
el 44 % de los pacientes vomitan.
Verosimilitud: El 50 % de los pacientes que tienen la enfermedad vomitan, puesto que p(v|g) = card({v, g})/card(g) = 350/700 = 0.5,
mientras que solo 30 % de los pacientes que no tienen la enfermedad
vomitan, puesto que p(v|
g ) = card({v, g})/card(
g ) = 90/300 = 0.3.
Verosimilitud: El 45 % de los pacientes que tienen la enfermedad vomitan y pierden peso, p({v, p}|g) = card({v, p, g})/card(g) = 315/700 =
0.45, mientras que solo el 12 % de los que no tienen la enfermedad vomitan y pierden peso, p({v, p}|
g ) = card({v, p, g})/card(
g ) = 35/300
0.12.
Puesto que la probabilidad inicial de que el paciente tenga adenocarcinoma gastrico, p(g) = 0.7, no es suficientemente alta para hacer un diagnostico
(notese que tomar una decision ahora implica una probabilidad 0.3 de equivocarse), el doctor decide examinar al paciente para obtener mas informacion.
Supongase que los resultados del examen muestran que el paciente tiene los

1. TEORIA DE LA PROBABILIDAD

10

sntomas vomitos y perdida de peso. Ahora, dada la evidencia (el paciente

tiene esos sntomas), cual es la probabilidad de que el paciente tenga la
enfermedad? Esta probabilidad a posteriori puede ser obtenida de la probabilidad a priori y de las verosimilitudes, aplicando el teorema de Bayes
en dos etapas, como sigue:
Tras observar que el paciente vomita la probabilidad a posteriori es
p(g|v) =
=

p(g)p(v|g)
p(g)p(v|g) + p(
g )p(v|
g)
0.7 0.5
= 0.795.
(0.7 0.5) + (0.3 0.3)

Tras observar que el paciente vomita y presenta perdida de peso la

probabilidad a posteriori es
p(g|{v, p}) =
=

p(g)p({v, p}|g)
p(g)p({v, p}|g) + p(
g )p({v, p}|
g)
0.7 0.45
= 0.9.
(0.7 0.45) + (0.3 0.12)

(1.10)

Notese que cuando se aplica el teorema de Bayes sucesivamente, la probabilidad a posteriori calculada en una etapa dada es la misma que la probabilidad a priori en la etapa siguiente. Por ejemplo, la probabilidad a
posteriori, que se ha calculado en la primera etapa anterior, puede ser usada
como probabilidad a priori en la segunda etapa, es decir,
p(g|{v, p}) =
=

p(g|v)p(p|{g, v})
p(g|v)p(p|{g, v}) + p(
g |v)p(p|{
g , v})
0.795 0.9
= 0.9,
(0.795 0.9) + (0.205 0.389)

que da la misma respuesta que en (1.10). Notese tambien que la probabilidad

cambia tras observar las evidencias. La probabilidad de tener la enfermedad
era inicialmente 0.7, despues aumento a 0.795, y luego a 0.9 tras observar
la evidencia acumulada. Al final de la u
ltima etapa, el paciente tiene una
probabilidad 0.9 de tener la enfermedad. Esta probabilidad puede ser suficientemente alta (comparada con la probabilidad a priori 0.7) para que el
doctor diagnostique que el paciente tiene la enfermedad. Sin embargo, sera
conveniente observar nuevas evidencias antes de hacer este diagnostico.

1.5. Redes Probabilsticas

Durante los u
ltimos a
nos la probabilidad se ha convertido en una herramienta fundamental en distintas areas de la computacion: aprendizaje automatico (machine learning), computacion neuronal, etc. En la u
ltima decada